JP4933386B2 - Display control apparatus, control method therefor, and program - Google Patents

Display control apparatus, control method therefor, and program Download PDF

Info

Publication number
JP4933386B2
JP4933386B2 JP2007228286A JP2007228286A JP4933386B2 JP 4933386 B2 JP4933386 B2 JP 4933386B2 JP 2007228286 A JP2007228286 A JP 2007228286A JP 2007228286 A JP2007228286 A JP 2007228286A JP 4933386 B2 JP4933386 B2 JP 4933386B2
Authority
JP
Japan
Prior art keywords
frame
moving image
frames
display control
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007228286A
Other languages
Japanese (ja)
Other versions
JP2009060539A5 (en
JP2009060539A (en
Inventor
基起 仲間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007228286A priority Critical patent/JP4933386B2/en
Priority to US12/194,439 priority patent/US20090063981A1/en
Priority to CN2008101355674A priority patent/CN101382865B/en
Publication of JP2009060539A publication Critical patent/JP2009060539A/en
Publication of JP2009060539A5 publication Critical patent/JP2009060539A5/ja
Application granted granted Critical
Publication of JP4933386B2 publication Critical patent/JP4933386B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

本発明は表示制御装置及びその制御方法、プログラムに関し、特に、動画像に含まれるフレームを表示する技術に関する。
The present invention is a display control apparatus and a control method thereof, relates to a program, and more particularly to a technique for displaying a frame included in the moving picture.

デジタルカメラやデジタルビデオカメラ、携帯電話などのデジタルデバイスの高性能・低価格化、及びこれらの機器に搭載されるストレージの大容量化によって、個人でも簡単に動画データを記録できるようになってきている。それに伴い個人が所有する動画データは多様かつ膨大なものとなっている。このような状況の中、個々の動画データの全容を簡単に短時間で把握したいというニーズや、動画データ内の所望のシーンを素早く検索して再生したいというニーズが、益々高くなってきている。   With the high performance and low price of digital devices such as digital cameras, digital video cameras and mobile phones, and the increased storage capacity of these devices, it has become possible for individuals to easily record video data. Yes. Along with this, video data owned by individuals has become diverse and enormous. Under such circumstances, there is an increasing need to easily grasp the entire contents of individual moving image data in a short time and to quickly search and reproduce a desired scene in the moving image data.

従来の動画データ内のシーン検索は、一般に、先頭からの再生および早送りによる順次検索により行われている。しかし、シーン検索は、所望とするシーンを検索する作業はユーザにとって多大な時間がかかる大変なものであった。   Conventional scene search in moving image data is generally performed by sequential search by reproduction from the beginning and fast-forwarding. However, in the scene search, it takes a long time for the user to search for a desired scene.

また、別の検索手法として、動画データから複数のフレーム(静止画)をインデックスフレームとして取り出し、これらをチャプターもしくは代表シーンとしてインデックス表示することで所望のシーンを検索できるようにすることも広く行われている。   As another search method, a plurality of frames (still images) are extracted as index frames from moving image data, and these are indexed as chapters or representative scenes so that a desired scene can be searched. ing.

しかし、インデックス表示で利用されるインデックスフレームは、動画データ制作者が選択したフレーム、もしくは各種画像処理技術によって自動的に選択された固定的なフレームである。このため、このようなインデックスフレームは、ユーザが所望する動画フレーム(またはシーン)と必ずしも一致しないという課題があった。結果として、表示されたインデックスフレームだけでは、動画データの全容を簡単に短時間で把握することや、所望の動画フレームを素早く検索することが困難な場合があった。   However, the index frame used in the index display is a frame selected by the video data creator or a fixed frame automatically selected by various image processing techniques. For this reason, there is a problem that such an index frame does not necessarily match a moving image frame (or scene) desired by the user. As a result, there are cases where it is difficult to grasp the entire video data in a short time and to quickly search for a desired video frame using only the displayed index frames.

このような課題を解決するために、動画データから取り出すフレームを変更可能とし、所望とする動画フレームをユーザが検索して再生するときの操作性向上を図った構成が知られている(特許文献1、特許文献2)。これらの構成では、動画データのフレームを取り出す時間間隔で階層化し、その階層(時間間隔)を簡単な操作で切り換えることで、動画データの内容を表すインデックスフレームを任意に変更表示できるようにしている。
特開2006−279267号公報 特開2006−186617号公報
In order to solve such a problem, a configuration is known in which a frame to be extracted from moving image data can be changed, and operability is improved when a user searches and reproduces a desired moving image frame (Patent Document). 1, Patent Document 2). In these structures, the index frames representing the contents of the moving image data can be arbitrarily changed and displayed by layering at the time intervals for extracting the frames of the moving image data and switching the layers (time intervals) with a simple operation. .
JP 2006-279267 A JP 2006-186617 A

しかしながら、特許文献1、2の構成では、例えば一覧表示されたインデックスフレームを拡大するズームイン操作等を行って、表示するインデックスフレームの時間間隔を短くしている場合、画面に表示されるのは動画データのほんの一部分となってしまう。動画全体を再び把握するためには、例えばズームアウト操作等を行って、時間間隔の長い場合のインデックスフレームを表示し直さなければならない。結果として、目的の動画フレームに行き着くまでに階層の切り替え(ズームイン、ズームアウト)を繰り返さなければならず、ユーザの操作が煩雑であった。   However, in the configurations of Patent Documents 1 and 2, for example, when a zoom-in operation for enlarging the index frames displayed in a list is performed and the time interval of the index frames to be displayed is shortened, a moving image is displayed on the screen. It becomes only a part of the data. In order to grasp the entire moving image again, for example, a zoom-out operation or the like is performed, and the index frame when the time interval is long must be displayed again. As a result, layer switching (zoom-in and zoom-out) must be repeated before reaching the target moving image frame, and the user's operation is complicated.

本発明は上記課題に鑑みなされたものであり、簡易な操作で動画データ全体の内容を把握可能とする技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that makes it possible to grasp the contents of the entire moving image data with a simple operation.

上記目的を達成するため、本発明による表示制御装置は以下の構成を備える。即ち、
動画像の開始から終了までの複数のフレームを表示手段に表示する表示制御装置であって、
前記動画像の開始から終了までの複数のフレームの中から第1フレームの選択を受け付ける受付手段と、
前記第1フレームの前記動画像内の位置からの時間軸上の距離に比例して異なるフレーム間隔で、前記動画像の開始から終了までの複数のフレームのうち前記第1フレーム以外の複数の第2フレームをいくつかのグループにグループ化するグループ化手段と、
前記グループ化手段によるグループ化により得られた複数のグループそれぞれに含まれる代表フレームを前記表示手段に表示する表示制御手段と、
を備え、
前記グループ化手段は、
前記複数の第2フレームのグループ化に際して、前記第1フレームの前記動画像内の位置からの時間軸上の距離が遠くなるに従って、1つのグループとしてまとめるフレームの間隔を広げる。
In order to achieve the above object, a display control apparatus according to the present invention comprises the following arrangement. That is,
A display control device that displays a plurality of frames from the start to the end of a moving image on a display means,
Accepting means for accepting selection of a first frame from a plurality of frames from the start to the end of the moving image;
The plurality of frames other than the first frame among the plurality of frames from the start to the end of the moving image at different frame intervals in proportion to the distance on the time axis from the position in the moving image of the first frame. Grouping means for grouping two frames into several groups;
Display control means for displaying on the display means representative frames included in each of a plurality of groups obtained by grouping by the grouping means;
With
The grouping means includes
When grouping the plurality of second frames, as the distance on the time axis from the position of the first frame in the moving image becomes longer, the interval between frames to be grouped as one group is increased.

また、上記目的を達成するため、本発明による表示制御装置の制御方法は以下の構成を備える。即ち、
動画像の開始から終了までの複数のフレームを表示手段に表示する表示制御装置の制御方法であって、
受付手段が、前記動画像の開始から終了までの複数のフレームの中から第1フレームの選択を受け付ける受付工程と、
グループ化手段が、前記第1フレームの前記動画像内の位置からの時間軸上の距離に比例して異なるフレーム間隔で、前記動画像の開始から終了までの複数のフレームのうち前記第1フレーム以外の複数の第2フレームをいくつかのグループにグループ化するグループ化工程と、
表示制御手段が、前記グループ化手段によるグループ化により得られた複数のグループそれぞれに含まれる代表フレームを前記表示手段に表示する表示制御工程と、
を備え、
前記グループ化工程においては、前記複数の第2フレームのグループ化に際して、前記第1フレームの前記動画像内の位置からの時間軸上の距離が遠くなるに従って、1つのグループとしてまとめるフレームの間隔を広げる。
In order to achieve the above object, a display control apparatus control method according to the present invention comprises the following arrangement. That is,
A control method of a display control apparatus for displaying a plurality of frames from the start to the end of a moving image on a display means,
An accepting step for accepting selection of a first frame from a plurality of frames from the start to the end of the moving image;
The grouping means includes the first frame of the plurality of frames from the start to the end of the moving image at different frame intervals in proportion to the distance on the time axis from the position in the moving image of the first frame. A grouping step of grouping a plurality of second frames other than
A display control step for displaying a representative frame included in each of the plurality of groups obtained by the grouping by the grouping unit on the display unit;
With
In the grouping step, when grouping the plurality of second frames, an interval between frames to be grouped as one group is increased as the distance on the time axis from the position in the moving image of the first frame becomes longer. spread.

本発明によれば、簡易な操作で動画データ全体の内容を把握可能とする技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the technique which makes it possible to grasp | ascertain the content of the whole moving image data by simple operation can be provided.

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。   Embodiments according to the present invention will be described below in detail with reference to the accompanying drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention only to them. In addition, not all the combinations of features described in the present embodiment are essential for the solving means of the invention.

<<第1実施形態>>
(システム構成)
図1は、本発明の第1実施形態に係る動画表示装置(表示制御装置)100の基本的なシステム構成を示す図である。図1に示すように、動画表示装置100には動画データが表示可能なディスプレイ101が接続される。ユーザからの各種操作指示はリモートコントローラ(リモコン)に代表される操作入力装置102で行われる。
<< First Embodiment >>
(System configuration)
FIG. 1 is a diagram showing a basic system configuration of a moving image display apparatus (display control apparatus) 100 according to the first embodiment of the present invention. As shown in FIG. 1, a display 101 capable of displaying moving image data is connected to the moving image display device 100. Various operation instructions from the user are performed by an operation input device 102 represented by a remote controller (remote controller).

本実施形態では、動画表示装置100はセットトップボックスにより実現される。ただし、動画表示装置100は、家庭用ゲーム機、デジタルビデオディスク(DVD)プレイヤー、DVDレコーダー、デジタルカメラ、デジタルビデオカメラ、薄型テレビ受像機等のデジタル家電により実現しても構わない。或いは、パーソナルコンピュータ(PC)やワークステーション、携帯情報端末(PDA)等の情報処理装置や、携帯電話、さらには半導体集積回路等の電子部品等で実現しても構わない。   In the present embodiment, the moving image display apparatus 100 is realized by a set top box. However, the moving image display apparatus 100 may be realized by a digital home appliance such as a home game machine, a digital video disk (DVD) player, a DVD recorder, a digital camera, a digital video camera, a thin television receiver, or the like. Alternatively, it may be realized by an information processing apparatus such as a personal computer (PC), a workstation, or a personal digital assistant (PDA), a mobile phone, and an electronic component such as a semiconductor integrated circuit.

また、操作入力装置102は、キーボード、ポインティングデバイス、タッチパネル等で実現してもよい。   Further, the operation input device 102 may be realized by a keyboard, a pointing device, a touch panel, or the like.

(ハードウェア構成)
図2は本実施形態に係る動画表示装置100のハードウェア構成図である。図2に示すように、動画表示装置100のハードウェアは、CPU201、RAM202、ROM203、ディスプレイインターフェース(ディスプレイI/F)204を備える。また、ストレージインターフェース(ストレージI/F)205、ストレージ206、リモコンインターフェース(リモコンI/F)207を備える。
(Hardware configuration)
FIG. 2 is a hardware configuration diagram of the moving image display apparatus 100 according to the present embodiment. As shown in FIG. 2, the hardware of the moving image display apparatus 100 includes a CPU 201, a RAM 202, a ROM 203, and a display interface (display I / F) 204. Further, a storage interface (storage I / F) 205, a storage 206, and a remote control interface (remote control I / F) 207 are provided.

CPU201は、ストレージ206に格納されているアプリケーションプログラム、オペレーティングシステム(OS:Operating System)や制御プログラム等を実行する。そして、RAM202にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。   The CPU 201 executes an application program, an operating system (OS), a control program, and the like stored in the storage 206. Then, the RAM 202 is controlled to temporarily store information, files, etc. necessary for program execution.

ROM203は読み出し専用メモリであり、内部には基本I/Oプログラム等のプログラム、基本処理において使用するフォントデータ、テンプレート用データ等の各種データを記憶する。RAM202は書き込み可能メモリであり、各種データを一時記憶し、CPU201の主メモリ、ワークエリア等として機能する。   A ROM 203 is a read-only memory, and stores therein various data such as programs such as basic I / O programs, font data used in basic processing, and template data. A RAM 202 is a writable memory, temporarily stores various data, and functions as a main memory, a work area, and the like of the CPU 201.

ディスプレイインターフェース204は、動画表示装置100内部で生成される画面情報をディスプレイ101が処理可能な信号に変換する。ストレージインターフェース205は、動画表示装置100内部で利用可能なデータ形式とストレージに記憶するためのデータ形式とを互いに変換する。リモコンインターフェース207は、操作入力装置102からの信号を受信し、動画表示装置100が処理可能な情報に変換する。   The display interface 204 converts screen information generated inside the video display device 100 into a signal that can be processed by the display 101. The storage interface 205 converts between a data format that can be used inside the moving image display device 100 and a data format that is stored in the storage. The remote control interface 207 receives a signal from the operation input device 102 and converts it into information that can be processed by the video display device 100.

また、図2には示されていないが、OSをはじめ、本発明に係る各処理プログラム、デバイスドライバ等はROM203に記憶され、適宜RAM202に一時記憶され、CPU201によって実行される。ここでOSはストレージ206に記憶されていてもよく、その場合は電源投入時にRAM202に適宜OSが読み込まれ、CPU201によって起動される。ストレージ206には動画表示装置100が検索・再生するデータが膨大に記録されており、動画表示装置100内部に搭載されていても良いし、イーサネット(登録商標)やUSBなどの各種インターフェースを介して接続されていてもよい。またその際ストレージ206は複数台接続されていても構わない。   Although not shown in FIG. 2, the OS, each processing program according to the present invention, a device driver, and the like are stored in the ROM 203, temporarily stored in the RAM 202 as appropriate, and executed by the CPU 201. Here, the OS may be stored in the storage 206. In this case, the OS is appropriately read into the RAM 202 when the power is turned on, and is started by the CPU 201. The storage 206 stores a large amount of data to be searched and reproduced by the moving image display device 100, and may be mounted inside the moving image display device 100, or via various interfaces such as Ethernet (registered trademark) and USB. It may be connected. At that time, a plurality of storages 206 may be connected.

尚、以下、特に断らない限り、他図を用いて説明されたものは同一の符号を付し、その説明を省略する。   In the following description, unless otherwise specified, the same reference numerals are given to those described with reference to other drawings, and the description thereof is omitted.

(機能構成)
図3は本実施形態に係る動画表示装置100の機能ブロック図である。図3に示すように、動画表示装置100は、操作取得部301、表示出力部302、表示切替部303、インデックス画面作成部304、インデックスフレーム生成部305、フレームグループ化部306、フレーム位置検知部307を備える。更に、動画データ記憶部308、フレームデータ取得部309、デコーダ310、操作解析部311を備える。これらの各機能ブロックは、ハードウェア、ソフトウェアの組み合わせによって様々な形で実現できる。
(Functional configuration)
FIG. 3 is a functional block diagram of the moving image display apparatus 100 according to the present embodiment. As shown in FIG. 3, the moving image display apparatus 100 includes an operation acquisition unit 301, a display output unit 302, a display switching unit 303, an index screen creation unit 304, an index frame generation unit 305, a frame grouping unit 306, and a frame position detection unit. 307. Furthermore, a moving image data storage unit 308, a frame data acquisition unit 309, a decoder 310, and an operation analysis unit 311 are provided. Each of these functional blocks can be realized in various forms by a combination of hardware and software.

動画データ記憶部308には、動画表示装置100で検索・再生する動画データが膨大に記憶されている。本実施形態では、動画データ記憶部308に記憶されている動画は複数のフレームからなる動画データである。ただし、動画データ記憶部308に記憶される動画は、複数の動画フレームからなるもののみに限定されず、本実施形態で利用可能なフレーム形式に変換可能ならば、どのようなフォーマットの動画データであっても構わない。例えば、MPEG−2データはI、P、Bのフレームを有するが、本実施形態では、他のフレームとの差違をもとにしたフレーム間圧縮がなされたPフレーム、Bフレームは記憶せず、空間型圧縮のみがなされたIフレームのみを記憶することができる。また、例えば、MotionJPEGでは全フレームを動画データ記憶部308に記憶すればよい。   The moving image data storage unit 308 stores a large amount of moving image data to be searched for and reproduced by the moving image display device 100. In the present embodiment, the moving image stored in the moving image data storage unit 308 is moving image data including a plurality of frames. However, the moving image stored in the moving image data storage unit 308 is not limited to only a plurality of moving image frames, and any format of moving image data can be used as long as it can be converted into a frame format usable in this embodiment. It does not matter. For example, MPEG-2 data has I, P, and B frames, but in this embodiment, P frames and B frames subjected to inter-frame compression based on differences from other frames are not stored. Only I frames that have only undergone spatial compression can be stored. Further, for example, in Motion JPEG, all the frames may be stored in the moving image data storage unit 308.

フレームデータ取得部309は、動画データ記憶部308からフレームのデータを順次読み出す。フレーム位置検知部307は読み出されたフレームの動画データ内での位置を検知する。検知されたフレーム位置情報は動画表示装置100のRAM202に保持され、フレームグループ化部306に利用される。   The frame data acquisition unit 309 sequentially reads frame data from the moving image data storage unit 308. The frame position detection unit 307 detects the position of the read frame in the moving image data. The detected frame position information is held in the RAM 202 of the moving image display device 100 and used by the frame grouping unit 306.

フレームグループ化部306は、検知したフレーム位置からの距離に比例した異なるフレーム間隔でグループ化を行う。インデックスフレーム生成部305はフレームグループ化部306でグループ化されたグループから代表となるフレームを取り出し、インデックスフレームを作成する。   The frame grouping unit 306 performs grouping at different frame intervals proportional to the distance from the detected frame position. The index frame generation unit 305 extracts a representative frame from the group grouped by the frame grouping unit 306 and creates an index frame.

インデックス画面作成部304はインデックスフレーム生成部305で作成された複数枚のインデックスフレームをフレーム順に配列した画面を作成する。作成されたインデックス画面は表示切替部303を介して表示出力部302からデジタルTV等のディスプレイ101に出力される。   The index screen creation unit 304 creates a screen in which a plurality of index frames created by the index frame generation unit 305 are arranged in frame order. The created index screen is output from the display output unit 302 to the display 101 such as a digital TV via the display switching unit 303.

操作取得部301は、ユーザからの操作内容をリモコンインターフェース207から取得する。操作解析部311は、操作取得部301が取得した操作内容を解析する。表示切り替え部303は、操作解析部311による解析結果に基づいて、ユーザが所望するようにインデックス画面の表示を切り替える。また、フレームデータ取得部309は、操作解析部311による解析結果に基づきユーザ所望の動画を取得する。デコーダ310は、フレームデータ取得部309が取得したフレームをデコードして画像を取得する。   The operation acquisition unit 301 acquires the operation content from the user from the remote control interface 207. The operation analysis unit 311 analyzes the operation content acquired by the operation acquisition unit 301. The display switching unit 303 switches the display of the index screen as desired by the user based on the analysis result by the operation analysis unit 311. The frame data acquisition unit 309 acquires a user-desired moving image based on the analysis result by the operation analysis unit 311. The decoder 310 acquires an image by decoding the frame acquired by the frame data acquisition unit 309.

(操作入力装置)
ユーザはディスプレイ101に出力された画面を確認し、操作入力装置102を利用することによって、動画表示装置100への各種操作を行う。図4は動画表示装置100を操作するための操作入力装置102の一例を示す図である。
(Operation input device)
The user confirms the screen output on the display 101 and uses the operation input device 102 to perform various operations on the moving image display device 100. FIG. 4 is a diagram illustrating an example of the operation input device 102 for operating the moving image display device 100.

本実施形態において操作入力装置はリモコン400である。リモコン400は、フォーカスしているフレームを変更するための左右ボタン402、405、フォーカスしているフレームの選択を確定するためのOKボタン403を備えている。本実施形態では、OKボタン403でフレームの選択確定操作を行うと該選択したフレーム位置から動画データを再生することができる。また本実施形態では利用しないが、リモコン400は上下ボタン401、404も備えている。   In this embodiment, the operation input device is a remote controller 400. The remote control 400 includes left and right buttons 402 and 405 for changing the focused frame, and an OK button 403 for confirming selection of the focused frame. In the present embodiment, when a frame selection confirmation operation is performed with the OK button 403, moving image data can be reproduced from the selected frame position. Although not used in the present embodiment, the remote control 400 also includes up and down buttons 401 and 404.

ユーザがリモコン400を使って指示する各種操作は、操作取得部301を経由して動画表示装置100に取り込まれ、操作解析部で解析された結果が表示切替部303、フレームデータ取得部309へフィードバックされる。   Various operations instructed by the user using the remote controller 400 are taken into the moving image display device 100 via the operation acquisition unit 301, and the results analyzed by the operation analysis unit are fed back to the display switching unit 303 and the frame data acquisition unit 309. Is done.

(俯瞰用インデックス表示処理)
図5は、本実施形態において動画表示装置100が実行する俯瞰用インデックス表示処理のメインフローを示すフローチャートである。このフローチャートを参照して、本実施形態における俯瞰用インデックス表示処理の詳細を説明する。以下の各ステップの処理は、CPU201の制御に基づいて実行される。
(Overhead view index display processing)
FIG. 5 is a flowchart showing a main flow of the overhead index display processing executed by the moving image display apparatus 100 in the present embodiment. The details of the overhead index display processing in the present embodiment will be described with reference to this flowchart. The processing of the following steps is executed based on the control of the CPU 201.

図5に示すように、動画表示装置100において俯瞰用インデックス表示が開始されると、動画表示装置100は、まず、インデックス表示を行う動画データのフレーム総数を取得する(ステップS10)。取得した値は変数sumに保持する。   As shown in FIG. 5, when the index display for overhead view is started in the moving image display device 100, the moving image display device 100 first acquires the total number of frames of moving image data on which index display is performed (step S10). The acquired value is stored in the variable sum.

次に、動画表示装置100は、インデックス表示を行う動画データの先頭フレームにフォーカスをあわせる(ステップS11)。   Next, the moving image display apparatus 100 focuses on the first frame of the moving image data for index display (step S11).

次に、その先頭フレームをもとに初期表示されるインデックス表示画面を作成する(ステップS12)。このときに作成される初期インデックス表示画面について、図11を参照して説明する。図11は初期インデックス表示画面の一例を示す図である。   Next, an index display screen initially displayed based on the top frame is created (step S12). The initial index display screen created at this time will be described with reference to FIG. FIG. 11 is a diagram showing an example of the initial index display screen.

図11に示すように、フォーカス(第1フレーム)しているフレームおよびインデックスフレーム(第2フレーム)はフレーム順に整列して表示される。本実施形態では、フォーカスしているフレームをインデックスフレームより大きいサイズで表示することで区別しているが、色や形などで区別して表示しても構わない。インデックス画面を表示する処理の詳細は後述する。   As shown in FIG. 11, the focused frame (first frame) and the index frame (second frame) are displayed in the order of the frames. In the present embodiment, the focused frame is distinguished by being displayed in a size larger than the index frame. However, the focused frame may be distinguished and displayed by color or shape. Details of the processing for displaying the index screen will be described later.

ユーザはディスプレイ101に表示された初期のインデックス表示画面とリモコン400を利用して、動画表示装置100に指示を行う。リモコン400の左右キー(402、405)が押下されると(ステップS13でYES)、動画表示装置100は、フォーカスされているフレームを左または右に移動する(ステップS14)。   The user uses the initial index display screen displayed on the display 101 and the remote controller 400 to instruct the moving image display apparatus 100. When the left and right keys (402, 405) of remote controller 400 are pressed (YES in step S13), moving image display apparatus 100 moves the focused frame to the left or right (step S14).

そして、その新たにフォーカスされたフレームをもとにインデックス表示画面を再び作成する(ステップS15)。インデックス画面を表示する処理の詳細は後述する。   Then, an index display screen is created again based on the newly focused frame (step S15). Details of the processing for displaying the index screen will be described later.

次に、ディスプレイ101に更新表示する(ステップS16)。この時作成されるインデックス表示画面について、図12を参照して説明する。図12はインデックス表示画面の一例を示す図である。   Next, it is updated and displayed on the display 101 (step S16). The index display screen created at this time will be described with reference to FIG. FIG. 12 shows an example of the index display screen.

図12に示すように、動画表示装置100は、フォーカスしているフレームの近傍を細かな(小さい)フレーム間隔で、遠方を粗い(大きな)フレーム間隔でインデックス表示を行う。ユーザは、このように表示されているフレームを、リモコン400のOKボタン403を押下することによって選択することで、選択されたフレームからの動画再生が可能である。   As shown in FIG. 12, the moving image display apparatus 100 performs index display in the vicinity of the focused frame at fine (small) frame intervals and at a distant place with coarse (large) frame intervals. The user can select a frame displayed in this manner by pressing the OK button 403 of the remote controller 400, and can play a moving image from the selected frame.

インデックス表示終了の指示がなされる(ステップS17でYES)と、動画表示装置100は、図11に示す俯瞰用インデックス表示処理のメインフローを終了する。   When an instruction to end index display is given (YES in step S17), the moving image display apparatus 100 ends the main flow of the index display process for overhead view shown in FIG.

(インデックス画面作成処理)
次に、図5のフローチャートのステップS12、S15で実行するインデックス画面作成処理について、図6〜図8を参照して説明する。図6は、本実施形態におけるインデックス画面作成のアルゴリズムを説明する図であり、図7、図8は、インデックス画面作成処理のフローを示すフローチャートである。
(Index screen creation process)
Next, the index screen creation process executed in steps S12 and S15 of the flowchart of FIG. 5 will be described with reference to FIGS. FIG. 6 is a diagram for explaining an algorithm for creating an index screen in the present embodiment, and FIGS. 7 and 8 are flowcharts showing a flow of index screen creation processing.

図6のように、インデックス画面作成処理では、フォーカスしているフレームの位置xから前後の等しい距離、即ち、等しいフレーム間隔でフレームをグループ化し、そのグループから代表となるインデックスフレームを取り出す処理を実行する。以下、図7、図8を参照してインデックス画面作成処理のフローを説明する。   As shown in FIG. 6, in the index screen creation process, frames are grouped at equal distances before and after the focused frame position x, that is, at equal frame intervals, and a representative index frame is extracted from the group. To do. Hereinafter, the flow of the index screen creation process will be described with reference to FIGS.

図7に示されるように、インデックス画面作成処理が開始されると、まず最初に初期化処理(ステップS20)を行う。図9は、初期化処理の処理フローを示すフローチャートである。   As shown in FIG. 7, when the index screen creation process is started, an initialization process (step S20) is first performed. FIG. 9 is a flowchart showing the process flow of the initialization process.

初期化処理では、まず増分フレーム間隔の設定を行う(ステップS50)。動画表示装置100において生成されるインデックスフレームは異なるフレーム間隔でグループ化されたグループの代表フレームである。この増分フレーム間隔を適切に設定することによって、様々なフレーム間隔でのグループ化が可能となる。本実施形態においては、前記のように増分フレーム間隔をΔfに設定し、フレーム間隔をフォーカスフレームの位置からの距離に比例して広げるようにする。ただし、これ以外にも、例えば、増分フレーム間隔をフォーカスフレームの位置に応じて減少するように設定したり、二次曲線的に増加するようにしても構わない。   In the initialization process, first, an incremental frame interval is set (step S50). Index frames generated in the moving image display apparatus 100 are representative frames of groups grouped at different frame intervals. By appropriately setting this incremental frame interval, grouping at various frame intervals becomes possible. In the present embodiment, the incremental frame interval is set to Δf as described above, and the frame interval is increased in proportion to the distance from the focus frame position. However, other than this, for example, the increment frame interval may be set to decrease according to the position of the focus frame, or may be increased in a quadratic curve.

次に初期フレームの間隔をF01=0、F02=0に設定し(ステップS51)、インデックス表示枚数をIに設定する(ステップS52)。インデックス表示枚数Iは画面に表示するインデックスフレームの数を示す定数であり、例えば、インデックス表示に6枚のインデックスフレームを表示する場合はI=6が設定される。   Next, the initial frame interval is set to F01 = 0 and F02 = 0 (step S51), and the index display number is set to I (step S52). The index display number I is a constant indicating the number of index frames to be displayed on the screen. For example, when six index frames are displayed in the index display, I = 6 is set.

次に、インデックス画面作成処理で作成されたインデックスフレームの数を保持しておくための変数iを0に初期化する(ステップS53)。そして、処理回数の初期化cnt_01=1、cnt_02=1(ステップS54)とチェックフラグの初期化chk_01=false、chk_02=false(ステップS55)を行う。

ここで、チェックフラグchk_01は、フォーカスしているフレームの後からのフレーム取得を完了したか否か、言い換えると、フォーカスしているフレームの後のフレームを更に取得できるか否かを示すフラグである。chk_01=falseはフレーム取得が完了していないこと、即ち、更にフレームを取得できることを示しており、chk_01=trueはフレーム取得が完了したことを示す。同様に、チェックフラグchk_02は、フォーカスしているフレームの前からのフレーム取得を完了したか否か、言い換えると、フォーカスしているフレームの前のフレームを更に取得できるか否かを示すフラグである。これで初期化処理のフローは終了し、インデックス画面作成処理フローにリターンする。
Next, a variable i for holding the number of index frames created in the index screen creation process is initialized to 0 (step S53). Then, the process count initialization cnt — 01 = 1, cnt — 02 = 1 (step S54), and check flag initialization chk — 01 = false, chk — 02 = false (step S55) are performed.

Here, the check flag chk_01 is a flag indicating whether or not frame acquisition after the focused frame has been completed, in other words, whether or not further frames after the focused frame can be acquired. . chk_01 = false indicates that frame acquisition has not been completed, that is, further frames can be acquired, and chk_01 = true indicates that frame acquisition has been completed. Similarly, the check flag chk_02 is a flag indicating whether or not acquisition of a frame from the front of the focused frame is completed, in other words, whether or not a frame before the focused frame can be further acquired. . This completes the initialization process flow and returns to the index screen creation process flow.

図7の説明に戻る。初期化処理(ステップS20)が終了すると、フォーカスしているフレームの動画データ内での位置を検知して、変数xに保持する(ステップS21)。   Returning to the description of FIG. When the initialization process (step S20) ends, the position of the focused frame in the moving image data is detected and held in the variable x (step S21).

次に、chk_01==falseの判定、即ちchk_01がfalseであるか否かの判定を行う(ステップS22)。chk_01がtureならば(ステップS22でNO)ステップS23へ進み、falseならば(ステップS22でYES)ステップS24へ進む。   Next, it is determined whether chk_01 == false, that is, whether chk_01 is false (step S22). If chk_01 is true (NO in step S22), the process proceeds to step S23, and if false (YES in step S22), the process proceeds to step S24.

ステップS23では、さらにchk_02==tureの判定を行う。chk_02がfalseならば(ステップS23でNO)ステップS34へ移行し、trueならば(ステップS23でYES)ステップS45へ処理フローは移行する。   In step S23, it is further determined that chk_02 == true. If chk_02 is false (NO in step S23), the process proceeds to step S34, and if true (YES in step S23), the process flow proceeds to step S45.

ステップS24では、xからのフレーム間隔がF01のフレームnを取得する。次に、sum>=nの判定を行い(ステップS25)、sum<nであれば(ステップS25でNO)ステップS26へ移行し、sum>=nであれば(ステップS25でYES)ステップS27へ移行する。   In step S24, a frame n whose frame interval from x is F01 is acquired. Next, sum> = n is determined (step S25), and if sum <n (NO in step S25), the process proceeds to step S26, and if sum> = n (YES in step S25), the process proceeds to step S27. Transition.

ステップS26では、chk_01にtrueを設定する。そして、処理フローはステップS34へ移行する。   In step S26, true is set in chk_01. Then, the process flow moves to step S34.

ステップS27では、さらにxからのフレーム間隔がF01=F01+cnt_01*Δfのフレームn_1を取得する(ステップS27)。次に、sum>=n_1の判定を行い(ステップS28)、sum>=n_1であれば(ステップS28でYES)ステップS29へ移行し、sum<n_1であれば(ステップS28でNO)ステップS30へ移行する。   In step S27, a frame n_1 having a frame interval from x of F01 = F01 + cnt_01 * Δf is acquired (step S27). Next, sum> = n_1 is determined (step S28). If sum> = n_1 (YES in step S28), the process proceeds to step S29. If sum <n_1 (NO in step S28), the process proceeds to step S30. Transition.

ステップS29では、n〜n_1間のフレームをグループ化する。そして、ステップS31へ進む。   In step S29, frames between n and n_1 are grouped. Then, the process proceeds to step S31.

一方、ステップS30では、n〜sum間のフレームをグループ化する。そして、ステップS31へ進む。   On the other hand, in step S30, frames between n and sum are grouped. Then, the process proceeds to step S31.

ステップS31では、このグループ化されたフレームからインデックスフレームをインデックスフレーム生成処理によって生成する。インデックスフレームの生成処理(ステップS31)については後で、その詳細を説明する。   In step S31, an index frame is generated from the grouped frames by an index frame generation process. Details of the index frame generation process (step S31) will be described later.

グループ化したフレームからインデックスフレームを生成する(ステップS31)と、次に、処理回数cnt_01および生成したインデックスフレームの枚数iをそれぞれインクリメントする(ステップS32)。   When an index frame is generated from the grouped frames (step S31), next, the processing count cnt_01 and the number i of the generated index frames are respectively incremented (step S32).

次に、この時生成されたインデックスフレーム総数が表示可能なインデックスフレーム枚数Iと等しいか否かを判定する。等しくない場合(ステップS33でNO)はステップS34へ移行し、等しい場合(ステップS33でYES)はステップS45へ移行する。   Next, it is determined whether or not the total number of index frames generated at this time is equal to the number I of index frames that can be displayed. If they are not equal (NO in step S33), the process proceeds to step S34. If they are equal (YES in step S33), the process proceeds to step S45.

次に、図8を参照してインデックス画面作成処理の後半の動作を詳細に説明する。ステップS34では、chk_02==falseの判定を行う。chk_02がtureならば(ステップS34でNO)ステップS35へ進み、chk_02がfalseならば(ステップS34でYES)ステップS36へ進む。   Next, the second half of the index screen creation process will be described in detail with reference to FIG. In step S34, chk_02 == false is determined. If chk_02 is true (NO in step S34), the process proceeds to step S35, and if chk_02 is false (YES in step S34), the process proceeds to step S36.

ステップS35では、さらにchk_01==tureの判定を行う。chk_01がtrueならば(ステップS35でYES)ステップS45へ移行し、falseならば(ステップS35でNO)ステップS22へ移行する。   In step S35, it is further determined that chk_01 == true. If chk_01 is true (YES in step S35), the process proceeds to step S45, and if false (NO in step S35), the process proceeds to step S22.

一方、ステップS36では、xからのフレーム間隔がF02のフレームmを取得する。次に、m>1の判定を行い(ステップS37)、m<=1ならば(ステップS37でNO)ステップS34へ移行し、m>1ならば(ステップS37でYES)ステップS38へ移行する。   On the other hand, in step S36, a frame m whose frame interval from x is F02 is acquired. Next, m> 1 is determined (step S37). If m <= 1 (NO in step S37), the process proceeds to step S34, and if m> 1 (YES in step S37), the process proceeds to step S38.

ステップS34では、chk_02にtureを設定し、処理フローはステップS22へ移行する。   In step S34, true is set in chk_02, and the process flow proceeds to step S22.

一方、ステップS38では、さらにxからのフレーム間隔がF02=F02−cnt_02*Δfのフレームm_1を取得する。   On the other hand, in step S38, a frame m_1 with a frame interval from x further F02 = F02−cnt — 02 * Δf is acquired.

次に、m_1>=1の判定を行う(ステップS39)。m_1>=1の場合(ステップS39でYES)はステップS40へ進み、m_1<1の場合(ステップS39でNO)はステップS41へ進む。   Next, it is determined that m_1> = 1 (step S39). If m_1> = 1 (YES in step S39), the process proceeds to step S40. If m_1 <1 (NO in step S39), the process proceeds to step S41.

ステップS40では、m〜m_1間のフレームをグループ化する。そして、ステップS42へ進む。   In step S40, frames between m and m_1 are grouped. Then, the process proceeds to step S42.

ステップS41では、1〜m間のフレームをグループ化する。そして、ステップS42へ進む。   In step S41, frames between 1 and m are grouped. Then, the process proceeds to step S42.

ステップS42では、ステップS40又はS41でグループ化されたフレームからインデックスフレームをインデックスフレーム生成処理により生成する。インデックスフレームの生成処理(ステップS42)については後で、その詳細を説明する。   In step S42, an index frame is generated by the index frame generation process from the frames grouped in step S40 or S41. Details of the index frame generation processing (step S42) will be described later.

グループ化したフレームからインデックスフレームが生成される(ステップS42)と、処理回数cnt_02と生成したインデックスフレームの枚数iとをそれぞれインクリメントする(ステップS43)。   When an index frame is generated from the grouped frames (step S42), the processing count cnt_02 and the number i of the generated index frames are respectively incremented (step S43).

次に、この時までに生成されたインデックスフレーム総数iが表示可能なインデックスフレーム枚数Iと等しいか否かを判定する。等くない場合(ステップS44でNO)はステップS22へ進み、等しい場合(ステップS44でYES)はステップS45へ進む。 ステップS45では、フォーカスしているフレームと生成したインデックスフレームをフレーム順に整列する。そして、ステップS46において、出力画面として俯瞰用インデックス画面を作成する。   Next, it is determined whether or not the total number i of index frames generated so far is equal to the number I of index frames that can be displayed. If not equal (NO in step S44), the process proceeds to step S22, and if equal (YES in step S44), the process proceeds to step S45. In step S45, the focused frame and the generated index frame are aligned in frame order. In step S46, an overhead index screen is created as an output screen.

以上の処理でインデックス画面作成処理は完了し、作成されたインデックス画面が動画表示装置100のメインフローにリターンされ、ディスプレイ101に表示される。   With the above processing, the index screen creation processing is completed, and the created index screen is returned to the main flow of the moving image display device 100 and displayed on the display 101.

(インデックスフレーム生成処理)
次に図10を参照して、本実施形態におけるインデックスフレーム生成処理(ステップS31,S42)の動作を説明する。図10は、インデックスフレーム生成処理のフローを示すフローチャートである。
(Index frame generation processing)
Next, with reference to FIG. 10, the operation | movement of the index frame production | generation process (step S31, S42) in this embodiment is demonstrated. FIG. 10 is a flowchart showing the flow of index frame generation processing.

インデックスフレーム生成処理が開始されると、まずグループから代表となるフレームの切り出し(取得)を行う(ステップS60)。本実施形態ではグループを代表するフレームとして、グループの末尾のフレームを切り出すようにした。もちろんグループ先頭のフレーム、もしくは画像処理技術で選択されたフレーム、もしくは動画データに予め記録されているチャプターフレームなどを優先的に代表フレームとして切り出しても構わない。   When the index frame generation process is started, a representative frame is first cut out (acquired) from the group (step S60). In this embodiment, the last frame of the group is cut out as a frame representing the group. Of course, a frame at the head of the group, a frame selected by an image processing technique, a chapter frame recorded in advance in moving image data, or the like may be cut out preferentially as a representative frame.

次に切り出したフレームの付加情報を保持し(ステップS60)、それらの情報をもとにインデックスフレームを生成する(ステップS62)。以上の処理でインデックスフレーム生成処理は完了し呼び出し元の処理にその結果がリターンされる。   Next, additional information of the cut frame is held (step S60), and an index frame is generated based on the information (step S62). With the above processing, the index frame generation processing is completed, and the result is returned to the calling process.

以上のように、本実施形態に係る構成は、動画像に含まれるフォーカスフレーム(第1フレーム)の選択を受け付ける受付処理を行い、フォーカスフレームの前及び後の少なくともいずれかから複数のインデックスフレーム(第2フレーム)を取得する。そして、フォーカスフレームのサムネイルと、複数のインデックスフレームのサムネイルとをディスプレイ101に表示する表示制御処理を行う。ここで、動画表示装置100互いに隣接するフォーカスフレーム又は複数のインデックスフレームのフレーム間隔が、該隣接するフレームがフォーカスフレームから離れるに従って広がるように、インデックスフレームを取得する。   As described above, the configuration according to the present embodiment performs reception processing for receiving selection of a focus frame (first frame) included in a moving image, and includes a plurality of index frames (at least before and after the focus frame). 2nd frame) is acquired. Then, display control processing for displaying the thumbnail of the focus frame and the thumbnails of the plurality of index frames on the display 101 is performed. Here, the index frame is acquired so that the frame interval between the focus frames or the plurality of index frames adjacent to each other in the moving image display apparatus 100 increases as the adjacent frames move away from the focus frame.

このため、本実施形態に係る構成によれば、動画フレームの選択に応じて動画コンテンツを俯瞰するためのインデックスフレームが表示されるため、ユーザは動画コンテンツの大まかな流れを容易に把握することができる。また、インデックスフレームの間隔は、フォーカスフレーム位置の近傍では狭く、遠方では広く設定されるため、異なるフレーム間隔で動画の流れを把握することができる。そして、ユーザは、注目しているフォーカスフレームの近傍ではフレームを細かく確認できると同時に、フォーカスフレームの遠方では動画のおおまかな変化を確認することができ、所望とするシーンを容易に探し当てることができる。従って、ユーザは簡易な操作で動画データ全体の内容を把握可能である。   For this reason, according to the configuration according to the present embodiment, an index frame for overlooking the moving image content is displayed according to the selection of the moving image frame, so that the user can easily grasp the rough flow of the moving image content. it can. In addition, since the index frame interval is set narrow in the vicinity of the focus frame position and wide in the distance, it is possible to grasp the flow of moving images at different frame intervals. The user can check the frame in the vicinity of the focus frame of interest, and at the same time, can check the rough change of the video in the distance from the focus frame, and can easily find the desired scene. . Therefore, the user can grasp the contents of the entire moving image data with a simple operation.

また、動画表示装置100は、動画像の時間軸に対応するスクロール領域をディスプレイ101に表示するとともに、フォーカスするフレーム位置をユーザからのスクロール操作に応じてスクロール領域においてスクロールしてディスプレイ101に表示する。そして、ユーザのスクロール操作に応じて、フォーカスされたフレーム位置に対応するフレームをフォーカスフレームの選択として受け付ける。このため、ユーザはスクロールという簡易な操作のみで動画データ全体の内容を把握することができる。   In addition, the moving image display apparatus 100 displays a scroll area corresponding to the time axis of the moving image on the display 101, and scrolls and displays the focused frame position in the scroll area in accordance with the scroll operation from the user. . Then, in response to the user's scroll operation, a frame corresponding to the focused frame position is accepted as a focus frame selection. For this reason, the user can grasp the contents of the entire moving image data only by a simple operation of scrolling.

また、動画表示装置100は、互いに隣接するインデックスフレームのフレーム間隔が、フォーカスフレームと該フォーカスフレームに隣接するインデックスフレームとの距離の倍数となるように、インデックスフレームを取得する。このようにインデックスフレームは規則的に取得されるため、ユーザは簡易な操作で動画データ全体の内容を把握可能である。   In addition, the moving image display apparatus 100 acquires index frames so that the frame interval between index frames adjacent to each other is a multiple of the distance between the focus frame and the index frame adjacent to the focus frame. Since the index frames are regularly acquired in this way, the user can grasp the contents of the entire moving image data with a simple operation.

また、動画表示装置100は、動画像に含まれるフレームを複数のグループに分けるとともに、このグループのそれぞれから代表となるフレームをインデックスフレームとして取得する。このように、インデックスフレームは各グループを代表するフレームであるため、ユーザはインデックスフレームのサムネイルを参照することで動画データ全体の内容を容易に把握可能である。   In addition, the moving image display apparatus 100 divides frames included in the moving image into a plurality of groups, and acquires a representative frame from each of the groups as an index frame. Thus, since the index frame is a frame representing each group, the user can easily grasp the contents of the entire moving image data by referring to the thumbnail of the index frame.

また、動画表示装置100は、ユーザからの指示に応じてフォーカスフレームから動画像を再生するように制御する。このため、ユーザは所望とするフレームから動画を再生して内容を確認することができる。   In addition, the moving image display apparatus 100 controls to reproduce a moving image from the focus frame in accordance with an instruction from the user. For this reason, the user can check the contents by playing a moving image from a desired frame.

また、動画表示装置100は、フォーカスされているフレームの移動にともなって、俯瞰用インデックス表示を次々に更新する。これにより、単に動画フレームを1枚1枚表示していくよりも簡単かつ短時間に、動画データの大まかな流れを把握することが可能となる。   In addition, the moving image display apparatus 100 updates the bird's-eye view index display one after another as the focused frame moves. As a result, it is possible to grasp the rough flow of moving image data in a simpler and shorter time than simply displaying moving image frames one by one.

<<第2実施形態>>
次に、本発明の第2実施形態について図面を参照して詳細に説明する。本実施形態は、インデックス画面作成処理で作成される俯瞰用インデックス表示を動画フレームのスクロール表示と一緒に出力することが第1実施形態と異なっている。
<< Second Embodiment >>
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. This embodiment is different from the first embodiment in that an overhead index display created in the index screen creation process is output together with the scroll display of the moving image frame.

ここで、システム構成図、ハードウェア構成図は図1、図2を用いて説明した第1実施形態と同様である。また機能ブロック図は図3を用いた第1実施形態と同様である。また動画表示装置100を操作するための操作入力装置は図4を用いて説明した第1実施形態と同様である。また動画表示装置100のメインフロー処理および俯瞰用インデックス表示処理フローも図5〜図10を参照して説明した第1実施形態と同様である。尚、本実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。   Here, the system configuration diagram and the hardware configuration diagram are the same as those in the first embodiment described with reference to FIGS. The functional block diagram is the same as that of the first embodiment using FIG. The operation input device for operating the moving image display device 100 is the same as that in the first embodiment described with reference to FIG. The main flow process and the overhead index display process flow of the moving image display apparatus 100 are also the same as those in the first embodiment described with reference to FIGS. Also in this embodiment, unless otherwise specified, the same reference numerals are given to those described with reference to other drawings, and the description thereof is omitted.

図13、図14は、本実施形態において出力される画面表示の一例を示す図である。図13は動画表示装置100が俯瞰インデックス表示を開始する際の初期のインデックス表示である。フォーカスしているフレームがスクロールするのに応じて、図14に示すようなインデックス表示に逐次更新して表示する。ユーザは、この時表示されているフレームを、リモコン400のOKボタン403を押下して選択することで、選択されたフレームからの動画再生が可能である。   FIG. 13 and FIG. 14 are diagrams illustrating an example of a screen display output in the present embodiment. FIG. 13 is an initial index display when the moving image display apparatus 100 starts the overhead index display. As the focused frame scrolls, the index display as shown in FIG. 14 is sequentially updated and displayed. The user can select a frame displayed at this time by pressing the OK button 403 of the remote controller 400, thereby reproducing a moving image from the selected frame.

本実施形態では動画フレームのスクロール表示を表示画面下部に表示し、俯瞰用インデックス表示を表示画面上部に表示する例を示したが、この限りではない。また動画フレームのスクロール表示において、フォーカスされているフレームを他のフレームと区別するために、フォーカスされたフレームを他のフレームより大きいサイズで表示しているが、色や形などで区別して表示しても構わない。   In the present embodiment, the scroll display of the moving image frame is displayed at the lower part of the display screen, and the overhead index display is displayed at the upper part of the display screen, but this is not restrictive. In the scroll display of video frames, the focused frame is displayed in a size larger than other frames to distinguish the focused frame from other frames. It doesn't matter.

本実施形態では、動画フレームのスクロール表示に加えて、スクロール表示位置に応じて逐次更新されるインデックス表示を俯瞰表示として同時に表示する。これにより、動画フレーム検索時のスクロール操作に対する操作性を向上することができる。このことを図15を用いて簡単に説明する。図15は、動画フレーム検索において操作性が向上することを説明する図である。   In the present embodiment, in addition to the scroll display of the moving image frame, the index display that is sequentially updated according to the scroll display position is simultaneously displayed as an overhead view display. Thereby, the operativity with respect to the scroll operation at the time of a moving image frame search can be improved. This will be briefly described with reference to FIG. FIG. 15 is a diagram for explaining that the operability is improved in the moving picture frame search.

例えば動画データ内でフォーカスされているフレームが図15のような位置にあり、CMが図に示すような長さ(1505)存在する場合、本実施形態における動画表示装置100を用いることで簡単にCMをスキップすることが可能となる。ここで1501〜1504はフレームグループ化部306でグループ化されたフレーム間隔の異なるグループを表している。また各グループから切り出されるインデックスフレームはインデックスフレーム生成部305で生成され、本実施形態においては各グループの末尾のフレームとなっている。   For example, when the focused frame in the moving image data is at a position as shown in FIG. 15 and the CM has a length (1505) as shown in the drawing, it is easy to use the moving image display apparatus 100 according to this embodiment. It becomes possible to skip the CM. Here, reference numerals 1501 to 1504 denote groups with different frame intervals grouped by the frame grouping unit 306. The index frame cut out from each group is generated by the index frame generation unit 305, and is the last frame of each group in this embodiment.

この時、フレームグループ1501のインデックスフレームを参照することで、このフレーム範囲はまだCM中であることが確認できる。さらにグループ1502のインデックスフレームを参照し、このフレーム範囲もまだCM中であることが確認できる。同様にグループ1503のフレーム範囲もCM中であることが確認できる。そしてグループ1504のインデックスサムネイルを参照するともう既にCMが終了し、本編がはじまっていることが確認できる。従って、上記よりフレームグループ1501〜1503の間のフレームはスクロールによって高速にスキップしてよいと判断できる。   At this time, by referring to the index frame of the frame group 1501, it can be confirmed that this frame range is still in the CM. Further, referring to the index frame of the group 1502, it can be confirmed that this frame range is still in the CM. Similarly, it can be confirmed that the frame range of the group 1503 is also in the CM. Then, referring to the index thumbnail of the group 1504, it can be confirmed that the CM has already ended and the main part has begun. Therefore, it can be determined that the frames between the frame groups 1501 to 1503 may be skipped at high speed by scrolling.

以上のように本実施形態では、フォーカスされているフレームの近傍を細かなフレーム間隔、遠方を粗いフレームという具合に異なるフレーム間隔(粒度)でインデックスフレームを表示する。これによりユーザは、スキップできるフレーム範囲を簡単に判断することができる。細かなフレーム間隔でのみインデックスフレームを表示すれば、スキップ判定するまでの判定回数が増加する。逆に粗いフレーム間隔でのみインデックスフレームを表示すれば、CMと本編の切れ目をとらえられない可能性が高くなる。これに対して、本実施形態では、動画データを検索している際に、所望の動画シーンが近くにない場合、異なる間隔(粒度)でインデックスフレームを表示することができる。従って、ユーザは、より少ない判定回数でより多くのフレームをスキップすることが可能となる。   As described above, in the present embodiment, index frames are displayed with different frame intervals (granularity) such as a fine frame interval near the focused frame and a distant frame coarse. As a result, the user can easily determine the frame range that can be skipped. If index frames are displayed only at fine frame intervals, the number of determinations until skip determination increases. Conversely, if index frames are displayed only at coarse frame intervals, there is a high possibility that the cuts between the CM and the main part cannot be captured. On the other hand, in this embodiment, when searching for moving image data, if a desired moving image scene is not nearby, index frames can be displayed at different intervals (granularity). Therefore, the user can skip more frames with a smaller number of determinations.

また、動画表示装置100は、フォーカスフレームの、前及び後の少なくともいずれか一方から、予め定められた数の連続するフレームのサムネールをディスプレイ101に表示する。このため、ユーザはフォーカスフレームの前後を確認して、より容易かつ適切にフォーカスフレームを選択することができる。   In addition, the moving image display apparatus 100 displays a predetermined number of consecutive frame thumbnails on the display 101 from at least one of the front and rear of the focus frame. For this reason, the user can select the focus frame more easily and appropriately by checking before and after the focus frame.

<<その他の実施形態>>
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
<< Other Embodiments >>
The exemplary embodiments of the present invention have been described in detail above. However, the present invention can take embodiments as, for example, a system, apparatus, method, program, or storage medium. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.

尚、本発明の目的は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成してもよい。   An object of the present invention is to supply a program that realizes the functions of the above-described embodiments directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code. May also be achieved.

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。   Therefore, since the functions of the present invention are implemented by a computer, the program code installed in the computer is also included in the technical scope of the present invention. That is, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)等が含まれる。   Examples of the recording medium for supplying the program include the following. That is, flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), etc. included.

その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをHD等の記録媒体にダウンロードする形態も考えられる。また、本発明に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   In addition, the following types of programs may be considered. That is, it is also possible to connect to a homepage on the Internet using a browser of a client device and download a computer program according to the present invention or a compressed file including an automatic installation function from the homepage to a recording medium such as an HD. It can also be realized by dividing the program code constituting the program according to the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してCD−ROM等のコンピュータ読み取り可能な記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。   The following supply forms are also conceivable. That is, first, the program according to the present invention is encrypted, stored in a computer-readable storage medium such as a CD-ROM, and distributed to users. Further, the present invention allows a user who has cleared a predetermined condition to download key information to be decrypted from a homepage via the Internet, execute a program encrypted by using the key information, and install the program on a computer. The structure which concerns on is implement | achieved. Such a supply form is also possible.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。   In addition to realizing the functions of the above-described embodiments by the computer executing the read program, the following implementation modes are also assumed. In other words, based on the instructions of the program, the OS running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいても前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, after the program read from the recording medium is written in the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, the above-described embodiment is also based on the instructions of the program. The function is realized. That is, a CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

上記のように、本構成によれば、ユーザは、逐次更新されるインデックス表示を利用することにより、動画データの大まかな流れをより簡単かつ短時間に把握することが可能となる。   As described above, according to this configuration, the user can grasp the rough flow of moving image data more easily and in a short time by using the index display that is sequentially updated.

また、本構成は、動画フレームのスクロール表示の際に加えて、該スクロール表示位置に連動して逐次更新されるインデックス表示を俯瞰表示として同時に表示する。これにより、動画フレーム検索時のスクロール操作に対する操作性を向上することが可能となる。このとき、本構成は、スクロール位置からの距離に比例して異なるフレーム間隔でフレームをグループ化し、該グループからインデックスフレームを取り出す。これにより、ユーザは、異なるフレーム間隔(粒度)で動画の流れを把握することが可能となる。つまり所望の動画シーンが近くにない場合に、ユーザは、この異なるフレーム間隔(粒度)で表示される俯瞰用インデックス表示を利用することで、どこまで動画フレームを飛ばしてスクロールすれば良いかを判断することができる。   Further, in this configuration, in addition to the scroll display of the moving image frame, the index display that is sequentially updated in conjunction with the scroll display position is simultaneously displayed as an overhead view display. Thereby, it becomes possible to improve the operability with respect to the scroll operation at the time of moving picture frame search. At this time, in this configuration, the frames are grouped at different frame intervals in proportion to the distance from the scroll position, and the index frame is taken out from the group. Thereby, the user can grasp the flow of the moving image at different frame intervals (granularity). That is, when the desired moving image scene is not nearby, the user determines how far to skip the moving image frame by using the overhead view index display displayed at different frame intervals (granularity). be able to.

動画表示装置の基本的なシステム構成を示す図である。It is a figure which shows the basic system configuration | structure of a moving image display apparatus. 動画表示装置のハードウェア構成図である。It is a hardware block diagram of a moving image display apparatus. 動画表示装置の機能ブロック図である。It is a functional block diagram of a moving image display device. 動画表示装置を操作するための操作入力装置の一例を示す図である。It is a figure which shows an example of the operation input apparatus for operating a moving image display apparatus. 俯瞰用インデックス表示処理のメインフローを示すフローチャートである。It is a flowchart which shows the main flow of the index display process for bird's-eye views. インデックス画面作成のアルゴリズムを説明する図である。It is a figure explaining the algorithm of index screen creation. インデックス画面作成処理のフローを示すフローチャートである。It is a flowchart which shows the flow of an index screen creation process. インデックス画面作成処理のフローを示すフローチャートである。It is a flowchart which shows the flow of an index screen creation process. 初期化処理の処理フローを示すフローチャートである。It is a flowchart which shows the processing flow of an initialization process. インデックスフレーム生成処理のフローを示すフローチャートである。It is a flowchart which shows the flow of an index frame production | generation process. 初期インデックス表示画面の一例を示す図である。It is a figure which shows an example of an initial index display screen. インデックス表示画面の一例を示す図である。It is a figure which shows an example of an index display screen. 出力される画面表示の一例を示す図である。It is a figure which shows an example of the screen display output. 出力される画面表示の一例を示す図である。It is a figure which shows an example of the screen display output. 動画フレーム検索において操作性が向上することを説明する図である。It is a figure explaining operativity improving in animation frame search.

Claims (8)

動画像の開始から終了までの複数のフレームを俯瞰可能に表示手段に表示する表示制御装置であって、
前記動画像の開始から終了までの複数のフレームの中から第1フレームの選択を受け付ける受付手段と、
前記第1フレームの前記動画像内の位置からの時間軸上の距離に比例して異なるフレーム間隔で、前記動画像の開始から終了までの複数のフレームのうち前記第1フレーム以外の複数の第2フレームをいくつかのグループにグループ化するグループ化手段と、
前記グループ化手段によるグループ化により得られた複数のグループそれぞれに含まれる代表フレームを前記表示手段に表示する表示制御手段と、
を備え、
前記グループ化手段は、
前記複数の第2フレームのグループ化に際して、前記第1フレームの前記動画像内の位置からの時間軸上の距離が遠くなるに従って、1つのグループとしてまとめるフレームの間隔を広げる
ことを特徴とする表示制御装置。
A display control device that displays a plurality of frames from the start to the end of a moving image on a display means so as to be able to look down,
Accepting means for accepting selection of a first frame from a plurality of frames from the start to the end of the moving image;
The plurality of frames other than the first frame among the plurality of frames from the start to the end of the moving image at different frame intervals in proportion to the distance on the time axis from the position in the moving image of the first frame. Grouping means for grouping two frames into several groups;
Display control means for displaying on the display means representative frames included in each of a plurality of groups obtained by grouping by the grouping means;
With
The grouping means includes
In the grouping of the plurality of second frames, the interval between frames grouped as one group is increased as the distance on the time axis from the position in the moving image of the first frame increases. Control device.
前記表示制御手段は、
前記動画像の時間軸に対応するスクロール領域を前記表示手段に更に表示し、
前記受付手段は、
前記スクロール領域におけるユーザからのスクロール操作に応じて、前記第1フレームの選択を受け付ける
ことを特徴とする請求項1に記載の表示制御装置。
The display control means includes
A scroll area corresponding to the time axis of the moving image is further displayed on the display means;
The accepting means is
The display control apparatus according to claim 1, wherein selection of the first frame is received in accordance with a scroll operation from a user in the scroll area.
前記グループ化手段は、The grouping means includes
前記複数の第2フレームのグループ化に際して、前記第1フレームの前記動画像内の位置からの時間軸上の距離が遠くなるに従って、1つのグループとしてまとめるフレームの間隔を倍数で広げていく  When grouping the plurality of second frames, as the distance on the time axis from the position of the first frame in the moving image becomes longer, the interval between frames to be grouped as one group is increased by a multiple.
ことを特徴とする請求項1又は2に記載の表示制御装置。  The display control apparatus according to claim 1, wherein the display control apparatus is a display control apparatus.
前記表示制御手段は、前記第1及び第2のフレームに加えて、
前記第1フレームの、前及び後の少なくともいずれか一方から、予め定められた数の連続するフレームも前記表示手段に表示する
ことを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
The display control means, in addition to the first and second frames,
Of the first frame, from the front and at least one post, according to any one of claims 1 to 3 also consecutive frames of a predetermined number and displaying on said display means Display control device.
ユーザからの指示に応じて前記第1フレームから前記動画像を再生するように制御する制御手段を更に備える
ことを特徴とする請求項1乃至のいずれか1項に記載の表示制御装置。
The display control device according to any one of claims 1 to 4, characterized in that it comprises further control means for controlling to reproduce the moving image from the first frame in response to an instruction from the user.
前記表示制御手段は、The display control means includes
前記第1のフレームと前記第2のフレームとに対応する前記動画像内の位置を線でつなげて表示する  The positions in the moving image corresponding to the first frame and the second frame are connected and displayed.
ことを特徴とする請求項1乃至5のいずれか1項に記載の表示制御装置。  The display control apparatus according to claim 1, wherein the display control apparatus is a display control apparatus.
動画像の開始から終了までの複数のフレームを俯瞰可能に表示手段に表示する表示制御装置の制御方法であって、
受付手段が、前記動画像の開始から終了までの複数のフレームの中から第1フレームの選択を受け付ける受付工程と、
グループ化手段が、前記第1フレームの前記動画像内の位置からの時間軸上の距離に比例して異なるフレーム間隔で、前記動画像の開始から終了までの複数のフレームのうち前記第1フレーム以外の複数の第2フレームをいくつかのグループにグループ化するグループ化工程と、
表示制御手段が、前記グループ化手段によるグループ化により得られた複数のグループそれぞれに含まれる代表フレームを前記表示手段に表示する表示制御工程と、
を備え、
前記グループ化工程においては、前記複数の第2フレームのグループ化に際して、前記第1フレームの前記動画像内の位置からの時間軸上の距離が遠くなるに従って、1つのグループとしてまとめるフレームの間隔を広げる
ことを特徴とする表示制御装置の制御方法。
A control method of a display control device that displays a plurality of frames from the start to the end of a moving image on a display means so as to be able to look down,
An accepting step for accepting selection of a first frame from a plurality of frames from the start to the end of the moving image;
The grouping means includes the first frame of the plurality of frames from the start to the end of the moving image at different frame intervals in proportion to the distance on the time axis from the position in the moving image of the first frame. A grouping step of grouping a plurality of second frames other than
A display control step for displaying a representative frame included in each of the plurality of groups obtained by the grouping by the grouping unit on the display unit;
With
In the grouping step, when grouping the plurality of second frames, an interval between frames to be grouped as one group is increased as the distance on the time axis from the position in the moving image of the first frame becomes longer. A control method for a display control device, characterized in that the display control device is expanded .
コンピュータを請求項1乃至のいずれか1項に記載の表示制御装置として機能させるためのプログラム。 The program for functioning a computer as a display control apparatus of any one of Claims 1 thru | or 6 .
JP2007228286A 2007-09-03 2007-09-03 Display control apparatus, control method therefor, and program Expired - Fee Related JP4933386B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007228286A JP4933386B2 (en) 2007-09-03 2007-09-03 Display control apparatus, control method therefor, and program
US12/194,439 US20090063981A1 (en) 2007-09-03 2008-08-19 Display control apparatus and control method thereof, program, and recording medium
CN2008101355674A CN101382865B (en) 2007-09-03 2008-09-03 Display control apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007228286A JP4933386B2 (en) 2007-09-03 2007-09-03 Display control apparatus, control method therefor, and program

Publications (3)

Publication Number Publication Date
JP2009060539A JP2009060539A (en) 2009-03-19
JP2009060539A5 JP2009060539A5 (en) 2010-10-14
JP4933386B2 true JP4933386B2 (en) 2012-05-16

Family

ID=40555833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007228286A Expired - Fee Related JP4933386B2 (en) 2007-09-03 2007-09-03 Display control apparatus, control method therefor, and program

Country Status (1)

Country Link
JP (1) JP4933386B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5231928B2 (en) 2008-10-07 2013-07-10 株式会社ソニー・コンピュータエンタテインメント Information processing apparatus and information processing method
JP2015135575A (en) * 2014-01-16 2015-07-27 Necパーソナルコンピュータ株式会社 Information processing apparatus, control method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11238181A (en) * 1998-02-24 1999-08-31 Matsushita Electric Ind Co Ltd Image recorder
JP3738843B2 (en) * 2002-06-11 2006-01-25 ソニー株式会社 Image detection apparatus, image detection method, and image detection program
JP2006333216A (en) * 2005-05-27 2006-12-07 Canon Inc Image reproducing apparatus, image reproducing method and control program
JP4162003B2 (en) * 2005-12-08 2008-10-08 株式会社日立製作所 Image storage device, monitoring system, storage medium

Also Published As

Publication number Publication date
JP2009060539A (en) 2009-03-19

Similar Documents

Publication Publication Date Title
US20090063981A1 (en) Display control apparatus and control method thereof, program, and recording medium
JP4935551B2 (en) Display control apparatus, display control method, and program
JP3897774B2 (en) Multimedia playback apparatus and menu screen display method
KR101065849B1 (en) Display controlling apparatus, display controlling method, and recording medium
JP4774940B2 (en) Information processing apparatus, display method, and program thereof
JP5231928B2 (en) Information processing apparatus and information processing method
JP4386283B2 (en) Video split display device
KR100830739B1 (en) Multimedia playback device and playback method
CA2253124C (en) Video searching method and apparatus, video information producing method, and storage medium for storing processing program thereof
JP3787529B2 (en) Optical disc recording / reproducing apparatus
JP5326555B2 (en) Information processing apparatus, moving image clipping method, and moving image clipping program
JP2010288015A (en) Information processing device, information processing method, and information processing program
JP2007142785A (en) Recording and reproducing device
JP5188124B2 (en) Display control apparatus, control method therefor, program, and recording medium
JP2007323698A (en) Multi-media content display device, method, and program
US20170150237A1 (en) Image processing device, image processing method, and program
JP4772583B2 (en) Multimedia playback device, menu screen display method, menu screen display program, and computer-readable storage medium storing menu screen display program
JP4933386B2 (en) Display control apparatus, control method therefor, and program
JP4200976B2 (en) Content reproduction apparatus and electronic device
JP2005252574A (en) Device and method for creating multimedia content, program for making computer execute method, and multimedia content creating system
JP6639242B2 (en) Information processing device
JP6117621B2 (en) Information processing apparatus, information processing method, and information processing program
JP2009047721A (en) Display control device, display control method and program
JP4007372B2 (en) Optical disc recording / reproducing apparatus
JP4774090B2 (en) Data selection apparatus and control method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120216

R151 Written notification of patent or utility model registration

Ref document number: 4933386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees