JP2009059312A - Display controller, its control method, program, and recording medium - Google Patents
Display controller, its control method, program, and recording medium Download PDFInfo
- Publication number
- JP2009059312A JP2009059312A JP2007228285A JP2007228285A JP2009059312A JP 2009059312 A JP2009059312 A JP 2009059312A JP 2007228285 A JP2007228285 A JP 2007228285A JP 2007228285 A JP2007228285 A JP 2007228285A JP 2009059312 A JP2009059312 A JP 2009059312A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- scroll
- display
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御装置及びその制御方法、プログラム、記録媒体に関し、特に、画像の配列から所望の画像を容易に検索するための技術に関する。 The present invention relates to a display control apparatus, a control method therefor, a program, and a recording medium, and more particularly to a technique for easily retrieving a desired image from an image arrangement.
近年、デジタルカメラ、デジタルビデオカメラ、デジタルビデオディスクレコーダ、薄型テレビ受像機等のデジタル家電の普及が急速に進んでいる。これらデジタル家電では静止画、動画等のコンテンツデータが作成され、閲覧される。また、テレビ受像機(以下、テレビ)がセットトップボックスや家庭用ゲーム機等を介してパーソナルコンピュータ(以下、PC)と連携することにより、ユーザは、PCに蓄積された動画像データ等のコンテンツデータもテレビで閲覧できるようになりつつある。 In recent years, digital home appliances such as a digital camera, a digital video camera, a digital video disk recorder, and a flat-screen television receiver are rapidly spreading. In these digital home appliances, content data such as still images and moving images are created and viewed. In addition, a television receiver (hereinafter referred to as a television) cooperates with a personal computer (hereinafter referred to as a PC) via a set-top box, a home game machine, or the like, so that the user can store contents such as moving image data stored in the PC. Data can be viewed on TV.
デジタル家電でコンテンツデータを閲覧する場合は、ユーザの操作は単純であることが求められる。そこで、キー等の操作に基づいてコンテンツのサムネイル画像を順次表示し、サムネイル画像の選択に応じて対応するコンテンツを再生する構成が知られている(特許文献1参照)。 When browsing content data with a digital home appliance, the user's operation is required to be simple. Therefore, a configuration is known in which thumbnail images of content are sequentially displayed based on an operation of a key or the like, and the corresponding content is reproduced according to the selection of the thumbnail image (see Patent Document 1).
また、コンテンツデータを整理する構成として、ユーザの操作指示に基づいてコンテンツを分類し、分類に基づいてコンテンツを格納するディレクトリを形成し、このディレクトリに各コンテンツを格納する構成が知られている(特許文献2参照)。この構成では、各コンテンツは階層的に管理されており、上位階層における管理単位は「アルバム」と呼ばれている。コンテンツを格納するディレクトリ階層はコンテンツを管理する階層に対応しており、各アルバムはディレクトリ階層における上位のディレクトリと対応している。このようにして、この構成は、画像に対応づけられたコンテンツをディレクトリによりアルバム単位にまとめて管理し、アルバムの選択及びアルバム内のインデックス画像の選択に応じて所望のデータを選択可能にしている。 As a configuration for organizing content data, a configuration is known in which content is classified based on user operation instructions, a directory for storing content is formed based on the classification, and each content is stored in this directory ( Patent Document 2). In this configuration, each content is managed hierarchically, and the management unit in the upper hierarchy is called “album”. A directory hierarchy for storing contents corresponds to a hierarchy for managing contents, and each album corresponds to an upper directory in the directory hierarchy. In this way, this configuration manages contents associated with images collectively in units of albums using a directory, and makes it possible to select desired data in accordance with the selection of an album and the selection of index images within the album. .
また、動画内の任意のシーンを選択し再生表示するための構成として、動画像全体をその構成や意味内容に則して短時間のフレーム列として階層的に分割し、各フレーム列の代表フレームの静止画像を表示する構成が知られている(特許文献3参照)。この構成によれば、ユーザは、代表フレームの静止画像を参照して、各フレーム列の内容を確認することができる。
しかしながら、近年、記憶メディアの大容量化、低価格化に伴い、記憶されるコンテンツの数や動画の録画時間が増加する傾向にある。コンテンツの数や録画時間が増加すると、上記のスクロールによる構成(特許文献1)では、ユーザは、所望のコンテンツを選択するために大量のサムネイル画像を確認する必要がある。 However, in recent years, with the increase in capacity and price of storage media, the number of stored contents and the video recording time tend to increase. When the number of contents and the recording time increase, in the above-described configuration based on scrolling (Patent Document 1), the user needs to confirm a large number of thumbnail images in order to select desired contents.
また、アルバム単位で管理する構成(特許文献2)では、アルバム内に所望のコンテンツが存在するか否かを、アルバム名称等の属性情報からは判断できない場合には、ユーザはアルバムを一つ一つ開きインデックス画像を確認する必要がある。別の言い方をすると、コンテンツの閲覧作業を簡易にするために、ユーザは、コンテンツをアルバムへ適切に分類する必要がある。従って、この構成では、コンテンツの分類作業と閲覧作業の少なくとも一方におけるユーザの作業負担が大きい。 Further, in the configuration managed in units of albums (Patent Document 2), when it is impossible to determine whether or not desired content exists in the album from the attribute information such as the album name, the user selects the album one by one. It is necessary to check the index image. In other words, in order to simplify the browsing operation of the content, the user needs to appropriately classify the content into albums. Therefore, in this configuration, the user's work burden is large in at least one of content classification work and browsing work.
また、動画像全体を階層的に分割する構成(特許文献3)では、表示数が少ない上位階層の代表フレームを表示した場合は、シーンの粒度が粗くなってしまう。このため、所望のシーンが含まれているか否かをユーザが代表フレームから把握することは困難である。従って、ユーザは、代表フレームを確認しながら上位階層から把握可能な下位階層まで行き来するか、最初から下位階層の代表フレームを一つ一つ確認するかのどちらかを行う必要がある。 In addition, in the configuration in which the entire moving image is divided hierarchically (Patent Document 3), the scene granularity becomes coarse when an upper layer representative frame with a small number of displays is displayed. For this reason, it is difficult for the user to grasp from the representative frame whether or not a desired scene is included. Therefore, the user needs to go from the upper layer to the lower layer that can be grasped while confirming the representative frame, or to confirm the lower layer representative frame one by one from the beginning.
上記の何れの従来技術も、ユーザに多くの判断又は操作を要求するため、操作性が低い。 Any of the above-described conventional techniques requires many judgments or operations from the user, and therefore has low operability.
本発明は上記課題に鑑みなされたものであり、操作性の高い画像閲覧技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide an image browsing technique with high operability.
上記目的を達成するため、本発明による表示制御装置は以下の構成を備える。即ち、
画像の配列に含まれる画像を表示手段に表示する表示制御装置であって、
前記配列における画像の順序に対応するスクロール領域を前記表示手段に表示する表示制御手段と、
ユーザからのスクロール操作に応じて、前記配列に含まれる第1画像の選択を受け付ける受付手段と、
前記第1画像の、前及び後の少なくともいずれか一方から複数の第2画像を取得する取得手段と、
を備え、
前記表示制御手段は、前記第1画像と、前記複数の第2画像とを前記表示手段に表示し、
前記取得手段は、前記スクロール操作の特性に基づいて前記第2画像の取得の仕方を切り替える。
In order to achieve the above object, a display control apparatus according to the present invention comprises the following arrangement. That is,
A display control apparatus for displaying an image included in an array of images on a display means,
Display control means for displaying a scroll area corresponding to the order of the images in the array on the display means;
Accepting means for accepting selection of a first image included in the array in response to a scroll operation from a user;
Obtaining means for obtaining a plurality of second images from at least one of the front and rear of the first image;
With
The display control means displays the first image and the plurality of second images on the display means,
The acquisition unit switches the acquisition method of the second image based on characteristics of the scroll operation.
また、本発明による表示制御装置の制御方法は以下の構成を備える。即ち、
画像の配列に含まれる画像を表示手段に表示する表示制御装置の制御方法であって、
前記配列における画像の順序に対応するスクロール領域を前記表示手段に表示する第1表示制御工程と、
ユーザからのスクロール操作に応じて、前記配列に含まれる第1画像の選択を受け付ける受付工程と、
前記第1画像の、前及び後の少なくともいずれか一方から複数の第2画像を取得する取得工程と、
前記第1画像と、前記複数の第2画像とを前記表示手段に表示する第2表示制御工程と、
を備え、
前記取得工程においては、前記スクロール操作の特性に基づいて前記第2画像の取得の仕方を切り替える。
The display control apparatus control method according to the present invention comprises the following arrangement. That is,
A control method for a display control apparatus for displaying an image included in an array of images on a display means,
A first display control step of displaying on the display means a scroll area corresponding to the order of the images in the array;
An accepting step of accepting selection of a first image included in the array in response to a scroll operation from a user;
An acquisition step of acquiring a plurality of second images from at least one of the front and rear of the first image;
A second display control step of displaying the first image and the plurality of second images on the display means;
With
In the acquisition step, the method of acquiring the second image is switched based on the characteristics of the scroll operation.
本発明によれば、操作性の高い画像閲覧技術を提供することができる。 According to the present invention, it is possible to provide an image browsing technique with high operability.
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。 Embodiments according to the present invention will be described below in detail with reference to the accompanying drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention only to them. In addition, not all the combinations of features described in the present embodiment are essential for the solving means of the invention.
<<実施形態1>>
(ハードウェア構成)
図1は実施形態1における画像閲覧装置(表示制御装置)のハードウェア構成図である。図1において、100は画像閲覧装置、110は液晶ディスプレイ、CRTディスプレイ等のディスプレイ、120は図6を参照して後述する赤外線リモコンである。図1のように、画像閲覧装置100は、CPU101、ROM102、RAM103、ハードディスクドライブ(HDD)106、赤外線(入力)インタフェース105、ディスプレイインタフェース104を備える。
<<
(Hardware configuration)
FIG. 1 is a hardware configuration diagram of an image browsing apparatus (display control apparatus) according to the first embodiment. In FIG. 1, 100 is an image browsing device, 110 is a display such as a liquid crystal display and a CRT display, and 120 is an infrared remote controller which will be described later with reference to FIG. As shown in FIG. 1, the
CPU101は、HDD106に格納されているアプリケーションプログラム、オペレーティングシステム(OS:Operating System)や制御プログラム等を実行する。そして、RAM103にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。
The
ROM102は、画像閲覧装置100の電源投入時に、HDD106に記憶されたOSを起動するためのブートプログラムを記憶する。CPU101は、このブートプログラムに基づいてOSを起動する処理を行う。OSを起動した後に、HDD106から本実施形態に係る処理プログラムが読み出されて、実行される。また、ROM102は、基本I/Oプログラム等のプログラム、基本処理において使用するフォントデータ、テンプレート用データ等の各種データを記憶する。
The
RAM103は各種データを一時記憶し、CPU101の主メモリ、ワークエリア等として機能する。
The
HDD106は大容量メモリとして機能する外部記憶装置である。HDD106には、各処理プログラム、各種情報、映像データ、デバイスドライバ等が格納される。 The HDD 106 is an external storage device that functions as a large-capacity memory. The HDD 106 stores processing programs, various types of information, video data, device drivers, and the like.
赤外線入力インタフェース105は、赤外線リモコン120からの赤外線信号を受信し、赤外線インタフェース・デバイスドライバ(不図示)が処理可能な情報に変換する。ディスプレイインタフェース104は、ディスプレイ・デバイスドライバ(不図示)からの画面情報をディスプレイ110が表示処理可能な信号に変換し、この信号をディスプレイ110へ出力する。
The
尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。 In addition, it can also be comprised as an alternative of a hardware apparatus with the software which implement | achieves a function equivalent to the above each apparatus.
本実施形態では、画像閲覧装置100はセットトップボックスにより実現される。ただし、画像閲覧装置100は、家庭用ゲーム機、デジタルビデオディスク(DVD)プレイヤー、DVDレコーダー、デジタルカメラ、デジタルビデオカメラ、薄型テレビ受像機等のデジタル家電により実現しても構わない。或いは、パーソナルコンピュータ(PC)やワークステーション、携帯情報端末(PDA)等の情報処理装置や、携帯電話、さらには半導体集積回路等の電子部品等で実現しても構わない。
In the present embodiment, the image browsing
また、本実施形態では、大容量メモリとして機能する外部記憶装置としてHDD106を想定するが、これに限られない。例えば、フレキシブルディスク(FD)、CD−ROM、CD−R、CD−RW、PCカード、DVD、ICメモリカード、MO等のメディアを用いて実現してもよい。
In the present embodiment, the
また、本実施形態では、説明の便宜のため、本実施形態に係る画像閲覧装置100を1つの装置で実現した構成について述べるが、複数の装置にリソースを分散した構成によって実現してもよい。例えば、記憶や演算のリソースを複数の装置に分散した形に構成してもよい。或いは、画像閲覧装置100上で仮想的に実現される構成要素毎にリソースを分散し、並列処理を行うようにしてもよい。
In this embodiment, for convenience of explanation, a configuration in which the
尚、以下特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。 Unless otherwise specified, the same reference numerals are given to those described with reference to other drawings, and the description thereof is omitted.
(機能構成)
図2は本実施形態における画像閲覧装置100の機能構成図である。図2に示すように、画像閲覧装置100は、動画データ記憶部201、動画データ読出部202、画面表示部203、フレーム選択位置取得部204、代表フレーム選択範囲決定部205、代表フレーム選択部206の機能ブロックを備える。
(Functional configuration)
FIG. 2 is a functional configuration diagram of the
動画データ記憶部201は、HDD106の記憶領域を使用して、動画データ、動画フレーム画像、図3を用いて後述する動画フレーム情報300を記憶する。動画データ読出部202は、動画フレーム情報300及び動画フレーム情報300に基づく動画フレーム画像(画像の配列)を読み出し、画面表示部203を介してディスプレイ110に表示する。
The moving image
画面表示部203は、表示画面をディスプレイ110に表示する。例えば、図4及び図5を参照して後述するユーザインタフェース画面400、500を表示したり、赤外線リモコン120からの操作入力に基づき動画データ読出部202を介して動画データを読み出して表示したりする。
The
フレーム選択位置取得部204は、動画データ読出部202により読み出されて画面表示部203により、順次、表示されているフレームのフレーム選択位置を取得する。ここで、フレーム選択位置は、先頭フレームからのフレーム数により規定される。
The frame selection
代表フレーム選択範囲決定部205は、フレーム選択位置取得部204を介して取得されたフレーム選択位置に基づいて、代表フレーム(第2画像)を選択する範囲を決定する。ここで本実施形態では、動画の先頭からフレーム選択位置までと、フレーム選択位置から動画の最後尾までとの二つの範囲を代表フレーム選択範囲と決定する。
The representative frame selection
代表フレーム選択部206は、代表フレーム選択範囲決定部205により決定された代表フレーム選択範囲に基づき代表フレームを選択する。そして、画面表示部203を介して図4及び図5を参照して後述する代表フレーム画像をディスプレイ110に表示する。
The representative
(動画フレーム情報)
図3は本実施形態における動画フレーム情報の一例を示す図である。図3に示すように、動画フレーム情報300には、フレームID301、フレーム画像ファイル名302、動画ファイル名303、タイムスタンプ304が含まれる。
(Video frame information)
FIG. 3 is a diagram showing an example of moving picture frame information in the present embodiment. As shown in FIG. 3, the moving
ここで、フレームID301は同一動画データ内でフレームを一意に識別するIDであり、フレーム画像ファイル名302は対応するフレームを静止画像ファイルとして保存したファイルシステム上でのパス名である。また、動画ファイル名303は対応するフレームが属している動画データのファイルシステム上でのパス名であり、タイムスタンプ304は動画データ内でのフレーム位置を時間で表した情報である。
Here, the
例えば、図3の例では、フレームID301が100のフレームは、パス名contents/video0.mpgの動画データの時間50秒の位置のフレームである。そして、このフレームの画像は、パス名thumb/video0_100.jpgのファイルである。
For example, in the example of FIG. 3, a frame with
動画データ読出部202は、フレームIDを順次インクリメントし、対応するフレーム画像ファイル名から画像データを読み出して、画面表示部203を介してディスプレイ110にスクロール表示する。画面表示部203を介して赤外線リモコン120から動画再生の操作入力があった場合、動画データ読出部202は、動画ファイル名の動画データを、タイムスタンプの位置から読み出し、画面表示部203を介して頭出し再生表示する。
The moving image
尚、図3で示した動画フレーム情報300は一例であり、情報の構成、フレームの数、位置、ファイル名、ファイルフォーマット等、これに限られるものではない。
The moving
(ユーザインタフェース画面)
図4は本実施形態におけるユーザインタフェース画面の一例を示す図である。図4に示すように、ユーザインタフェース画面400には、スクロール表示領域401、インジケータ表示領域402、代表フレーム画像表示領域403が含まれる。
(User interface screen)
FIG. 4 is a diagram showing an example of a user interface screen in the present embodiment. As shown in FIG. 4, the
スクロール表示領域(スクロール領域)401は、動画フレーム情報300に基づき動画フレーム画像をスクロール表示し、代表フレーム画像表示領域403は代表フレームの画像を表示する。即ち、動画における画像の順序に対応するスクロール領域を表示している。ここで、スクロール表示とはフレーム画像を左右に移動し、順次、表示することである。本実施形態では、スクロール表示領域401において中央に位置するフレームが選択中のフレーム(第1画像)である。つまり、画像閲覧装置100は、ユーザからのスクロール操作に応じて、動画像に含まれるフレームの選択を受け付ける受付処理を行う。画像閲覧装置100は、再生操作に応じてこのフレームから再生を開始する。
A scroll display area (scroll area) 401 scrolls and displays a moving image frame image based on the moving
インジケータ表示領域402は動画データ全体を水平の帯で表し、動画データ全体の中での、選択中のフレームの位置、代表フレームの位置を表示する。図4の例では、インジケータ404が選択中のフレームの位置を表示し、インジケータ405が代表フレームの位置を表示している。
The
図4では、12分46.5秒の動画データの4分00秒の位置のフレームがスクロールにより選択されている。そして、1分00秒、2分00秒、3分00秒、6分11.5秒、8分23秒、10分34.5秒のフレームが代表フレームとして選択されている。 In FIG. 4, the frame at the position of 4:00 seconds of the moving image data of 12 minutes 46.5 seconds is selected by scrolling. Then, frames of 1 minute 00 seconds, 2 minutes 00 seconds, 3 minutes 00 seconds, 6 minutes 11.5 seconds, 8 minutes 23 seconds, 10 minutes 34.5 seconds are selected as representative frames.
また、代表フレームは、先頭0分00秒からフレーム選択位置4分00秒までの範囲とフレーム選択位置4分00秒から最後尾12分46.5秒までの範囲とで、それぞれで均等の時間間隔となるように選択されている。 In addition, the representative frame has the same time in the range from the top 0 minutes 00 seconds to the frame selection position 4:00 seconds and the range from the frame selection positions 4:00 seconds to the last 12 minutes 46.5 seconds. The interval is selected.
尚、ユーザインタフェース画面400は一例を示したものであり、構成、配置等これに限られるもではない。
The
図5は本実施形態におけるユーザインタフェース画面の別の例を示す図である。図4の場合と同様に、ユーザインタフェース画面500には、スクロール表示領域501、インジケータ表示領域502、代表フレーム画像表示領域503が含まれる。
FIG. 5 is a diagram showing another example of the user interface screen in the present embodiment. As in the case of FIG. 4, the
ユーザインタフェース画面500では、ユーザインタフェース画面400とは異なり7分20秒のフレームが選択されている。そして、1分50秒、3分40秒、5分30秒、8分41.5秒、10分03秒、11分24.5秒のフレームが代表フレームとして選択されている。ここで、代表フレームは、フレーム選択位置が変化したことに応じて、先頭0分00秒からフレーム選択位置7分20秒までの範囲と、フレーム選択位置7分20秒から最後尾12分46.5秒までの範囲とのそれぞれから選択されている。
On the
尚、ユーザインタフェース画面500は一例を示したものであり、配置等これに限られるもではない。
Note that the
(リモコン)
図6は本実施形態における赤外線リモコン120の一例を示す図である。図6のように、赤外線リモコン120は、左スクロールボタン605、右スクロールボタン604、高速の左スクロールを指示する左高速スクロールボタン606、高速の右スクロールを指示する右高速スクロールボタン603を有している。ここで、左スクロールとはスクロール表示領域のフレーム画像を左に移動すること、すなわち表示画面上で右に位置するフレームを選択することを意味する。右スクロールとはその逆である。また、赤外線リモコン120は、選択中のフレームからの再生を指示する再生ボタン601、再生の停止を指示する(再生)停止ボタン602を有する。
(Remote controller)
FIG. 6 is a diagram showing an example of the infrared
尚、本実施形態の赤外線リモコン120は一例を示したものであり、ボタン構成、配置、ボタン名称等、これに限られるものではない。また、本実施形態では、赤外線リモコン120がユーザの操作指示を受け付けるが、キーボード、ポインティングデバイス、タッチパネル、ジョグダイアル等のユーザの操作を受け付ける装置ならばどのような装置が受け付けても構わない。また、ユーザの操作指示を受け付ける装置は画像閲覧装置100と同一の筐体に存在してもよい。
Note that the infrared
(メイン処理)
図7は本実施形態の画像閲覧装置100のメイン処理のフローを示すフローチャートである。図7のフローの各ステップはCPU101の制御に基づいて実行される。
(Main process)
FIG. 7 is a flowchart showing a flow of main processing of the
図7に示すように、メイン処理が開始されると、動画フレーム選択位置の初期化を行う(S701)。ここではフレームIDを0に設定する。 As shown in FIG. 7, when the main process is started, the moving image frame selection position is initialized (S701). Here, the frame ID is set to 0.
次に、図4及び図5に示すような画面構成に従って動画フレーム選択位置から予め定められた範囲のフレームのフレーム画像をスクロール表示領域401に表示する(S702)。図4、図5の例では、選択中のフレームを中心に5つのフレームを表示している。
Next, a frame image of a frame in a predetermined range from the moving image frame selection position is displayed in the
次に、赤外線リモコン120により右スクロールボタン604が押下されたことを検出すると(S703でYES)、スクロールの間隔を制御するタイマ値を標準値、スクロールの方向を右に設定し(S721)、S708へ進む。
Next, when it is detected that the
右スクロールボタン604の押下が検出されず(S703でNO)、左スクロールボタン605が押下されたことを検出すると(S704でYES)、S722へ進む。S722では、スクロールの間隔を制御するタイマ値を標準値、スクロールの方向を左に設定する。そして、S708に進む。
If pressing of the
左スクロールボタン605押下が検出されず(S704でNO)、右高速スクロールボタン603が押下されたことを検出すると(S705でYES)、S723へ進む。S723では、スクロールの間隔を制御するタイマ値を高速値、スクロールの方向を右に設定する。そして、S708へ進む。
If it is not detected that the
右高速スクロールボタン603押下が検出されず(S705でNO)、左高速スクロールボタン606が押下されたことを検出すると(S706でYES)、S724へ進む。S724では、スクロールの間隔を制御するタイマ値を高速値、スクロールの方向を左に設定する。そして、S708に進む。
If it is not detected that the right high
左高速スクロールボタン606の押下が検出されず(S706でNO)、再生ボタン601が押下されたことを検出すると(S707でYES)、S731へ進む。再生ボタン601の押下が検出されない場合は(S707でNO)、S703へ戻って処理を繰り返す。
If pressing of the left high
S731では、動画フレーム情報300に基づき選択中のフレームの動画ファイルをタイムスタンプの位置から頭出し再生を開始する。続いて、停止ボタン602の押下又は動画の最後尾まで再生したか否かを判定する(S732)。どちらでもない場合(S732でNO)にはS732での判定を繰り返し、すくなくとも何れか一方が検出された場合には(S732でYES)、再生を終了し(S733)、S702へ戻る。
In S731, cueing reproduction of the moving image file of the frame being selected based on the moving
さて、S708では右スクロールに設定されているか否かを判定する。右スクロールの場合には(S708でYES)、動画フレーム選択位置、ここではフレームIDをデクリメントする(S741)。一方、右スクロールでない場合(S708でNO)はインクリメントする(S709)。 In step S708, it is determined whether right scrolling is set. In the case of right scrolling (YES in S708), the moving image frame selection position, here, the frame ID is decremented (S741). On the other hand, if it is not right scroll (NO in S708), it is incremented (S709).
次に、動画フレーム選択位置に基づきスクロール表示領域401、501の動画フレーム表示を更新する(S710)。
Next, the moving image frame display in the
次に、動画フレーム選択位置が所定の位置であるか否かを判定する(S711)。尚、S711における所定の位置とは、本実施形態では20フレーム毎とする。所定位置ではない場合(S711でNO)は、タイマ値に基づき一時休止し(S712)、S703から処理を繰り返す。S711において動画フレーム選択位置が所定の位置である場合(S711でYES)は、S751へ進む。 Next, it is determined whether or not the moving image frame selection position is a predetermined position (S711). Note that the predetermined position in S711 is every 20 frames in this embodiment. When the position is not the predetermined position (NO in S711), the CPU pauses based on the timer value (S712) and repeats the processing from S703. If the moving image frame selection position is a predetermined position in S711 (YES in S711), the process proceeds to S751.
S751では、先頭から動画フレーム選択位置までの範囲を予め定められた数でシーン分割する。この処理は、動画像に含まれるフレームを複数のグループに分けるグループ化処理に相当する。そして、各シーン(グループ)の最後方のフレームを代表フレームとして選択する(S752)。続いて、動画フレーム選択位置から最後尾までの範囲でシーン分割を行い(S753)、各シーンの先頭フレームを代表フレームとして追加する(S754)。 In S751, the range from the beginning to the moving image frame selection position is divided into a predetermined number of scenes. This process corresponds to a grouping process for dividing frames included in a moving image into a plurality of groups. Then, the last frame of each scene (group) is selected as a representative frame (S752). Subsequently, scene division is performed in the range from the moving image frame selection position to the tail (S753), and the first frame of each scene is added as a representative frame (S754).
そして、選択された代表フレームの画像を代表フレーム画像表示領域403、503に時系列に配置し、インジケータ表示領域402、502と対応付けて表示し(S755)、S712に進む。
The selected representative frame image is arranged in time series in the representative frame
上記のように、画像閲覧装置100は、ユーザのスクロール操作の特性に基づいて代表フレームの取得の仕方を切り替えてディスプレイ110に表示する。このため、ユーザは、単純なスクロール操作を適当に実行することで、様々な仕方で代表フレームを表示させることができる。従って、操作性の高い画像閲覧技術が提供される。
As described above, the
また、画像閲覧装置100は、選択を受け付けたフレームの全画像(画像の配列)における位置に基づいて、代表フレームの取得の取得の仕方を切り替える。このため、ユーザは、スクロール操作によりフレームを適当に選択することによって、様々な仕方で代表フレームを表示させることができる。
In addition, the
また、画像閲覧装置100は、選択を受け付けたフレームの、前及び後の少なくともいずれか一方から、予め定められた個数の、等間隔の代表フレームを取得する。このため、ユーザは、簡易な操作で動画データ全体の内容を把握することができる。
In addition, the
また、画像閲覧装置100は、全画像に含まれる画像を複数のグループに分け、このグループから代表となる画像を代表フレームとして取得する。このように、代表フレームは各グループを代表するフレームであるため、ユーザは代表フレームを参照することで動画データ全体の内容を容易に把握可能である。
In addition, the
また、画像閲覧装置100は、選択されたフレーム及び代表フレームのフレーム全体における位置をディスプレイ110に表示する。このため、ユーザは、画像全体の変化を一見して把握することが可能である。
Further, the
また、画像閲覧装置100は、ユーザからの指示に応じて選択されたフレームから動画像を再生するように制御する。このため、ユーザは所望とするフレームから動画を再生して内容を確認することができる。
In addition, the
また、本実施形態によれば、20フレームスクロールする毎に、スクロール方向の代表フレームの選択範囲が狭まることにより、シーン分割が詳細化され、代表フレームから目的とするシーンの位置を把握し易くなる。 In addition, according to the present embodiment, each time 20 frames are scrolled, the selection range of the representative frame in the scroll direction is narrowed, so that the scene division is detailed and the position of the target scene can be easily grasped from the representative frame. .
尚、本実施形態では、映像データとして動画データ内の動画フレームを閲覧する例を示したが、複数の静止画データを閲覧する場合であっても、撮影日時等の意味のある並び順で並んでいるデータであれば同様の効果が得られる。 In this embodiment, an example in which a moving image frame in moving image data is browsed as video data has been shown. However, even when a plurality of still image data is browsed, they are arranged in a meaningful arrangement order such as shooting date and time. The same effect can be obtained if the data is in the range.
また、本実施形態では動画フレームをスクロール表示する例を示したが、一般的な再生表示であって同様の効果が得られる。 Further, in the present embodiment, an example in which a moving image frame is scroll-displayed has been shown, but the same effect can be obtained with general reproduction display.
また、本実施形態では先頭から動画フレーム選択位置又は動画フレーム選択位置から最後尾までの範囲を選択する例を示したが、選択範囲を、選択範囲より十分に小さいサイズで増減させても同様の効果が得られる。 In this embodiment, an example in which the range from the beginning to the moving image frame selection position or the range from the moving image frame selection position to the end is shown, but the same may be achieved by increasing or decreasing the selection range with a size sufficiently smaller than the selection range. An effect is obtained.
また、動画は、MPEG符号方式等のフレーム間の差分情報を用いた圧縮方式により符号化されていてもよい。この場合も、復号された各フレームについて上記と同様の処理を行うことができる。 In addition, the moving image may be encoded by a compression method using difference information between frames such as an MPEG encoding method. Also in this case, the same processing as described above can be performed for each decoded frame.
<<実施形態2>>
次に、本発明の実施形態2について図面を参照して詳細に説明する。本実施形態では、スクロール方向に存在するフレームから代表フレームを取得する構成について説明する。
<<
Next,
尚、ハードウェア構成は図1を用いて説明した実施形態1と同様である。また、機能構成は図2を用いて説明した実施形態1と同様である。また、動画フレーム情報は図3を用いて説明した実施形態1と同様である。また、赤外線リモコンは図6を用いて説明した実施形態1と同様である。 The hardware configuration is the same as that of the first embodiment described with reference to FIG. The functional configuration is the same as that of the first embodiment described with reference to FIG. The moving image frame information is the same as that in the first embodiment described with reference to FIG. The infrared remote controller is the same as that of the first embodiment described with reference to FIG.
(ユーザインタフェース画面)
図8及び図9は本実施形態における左スクロール時のユーザインタフェース画面の一例を示す図である。図4、図5の場合と同様に、ユーザインタフェース画面800、900には、それぞれ、スクロール表示領域801、901、インジケータ表示領域802、902、代表フレーム画像表示領域803、903が含まれる。代表フレーム画像表示領域803、903は、代表フレーム画像表示領域403、503と異なり、スクロールによる進行方向のみの代表フレーム画像のみが表示されている。
(User interface screen)
FIG. 8 and FIG. 9 are diagrams showing an example of a user interface screen at the time of left scroll in this embodiment. As in FIGS. 4 and 5, the user interface screens 800 and 900 include
具体的には、左スクロール、即ち、動画データの後方に向かうスクロールを行っているため、図8では、フレーム選択位置1分20秒から最後尾12分46.5秒までの範囲から代表フレームが選択されている。図9では、ユーザインタフェース画面900は、800に比べて、スクロールが進んだことにより、より狭い範囲、即ち、7分40秒から最後尾までの範囲から代表フレームが選択されている。
Specifically, since the left scroll, that is, the scroll toward the rear of the moving image data, is performed, in FIG. 8, the representative frame is displayed from the range from the
図10及び図11は本実施形態における右スクロール時のユーザインタフェース画面の一例を示す図である。図8、図9の場合と同様に、ユーザインタフェース画面1000、1100には、それぞれ、スクロール表示領域1001、1101、インジケータ表示領域1002、1102、代表フレーム画像表示領域1003、1103が含まれる。代表フレーム画像表示領域1003、1103は、代表フレーム画像表示領域803、903と同様、スクロールによる進行方向のみの代表フレーム画像が表示されている。
10 and 11 are diagrams showing examples of the user interface screen at the time of right scrolling in the present embodiment. 8 and 9, the
図10では、代表フレーム画像表示領域1003、1103は、スクロール表示方向が再生方向に対して逆方向であるため、代表フレーム画像表示領域803、903の場合とは逆方向の範囲の代表フレーム画像が表示されている。図11において、ユーザインタフェース画面1100は、1000に比べて、スクロールが進んだことにより、より狭い範囲から代表フレームが選択されている。
In FIG. 10, in the representative frame
尚、ユーザインタフェース画面800、900、1000、1100は一例を示したものであり、構成、配置等これに限られるもではない。 Note that the user interface screens 800, 900, 1000, and 1100 are merely examples, and the configuration and arrangement are not limited thereto.
(メイン処理)
図12は本実施形態の画像閲覧装置100のメイン処理のフローを示すフローチャートである。図12のフローの各ステップはCPU101の制御に基づいて実行される。
(Main process)
FIG. 12 is a flowchart showing a flow of main processing of the
図12に示すように、メイン処理が開始されると、動画フレーム選択位置の初期化を行う(S1201)。ここではフレームIDを0に設定する。 As shown in FIG. 12, when the main process is started, the moving image frame selection position is initialized (S1201). Here, the frame ID is set to 0.
次に、図8〜11に示すような画面構成に従って動画フレーム選択位置から予め定められた範囲のフレームのフレーム画像を表示する(S1202)。 Next, frame images of frames in a predetermined range from the moving image frame selection position are displayed according to the screen configurations as shown in FIGS. 8 to 11 (S1202).
次に、赤外線リモコン120により右スクロールボタン604が押下されたことを検出すると(S1203でYES)、S1221へ進む。S1221では、スクロールの間隔を制御するタイマ値を標準値、スクロールの方向を右に設定する。そして、S1208に進む。
Next, when it is detected that the
右スクロールボタン604押下が検出されず(S1203でNO)、左スクロールボタン605が押下されたことを検出すると(S1204でYES)、S1222へ進む。S1222では、スクロールの間隔を制御するタイマ値を標準値、スクロールの方向を左に設定する。そして、S1208に進む。
If it is not detected that the
左スクロールボタン605押下が検出されず(S1204でNO)、右高速スクロールボタン603が押下されたことを検出すると(S1205でYES)、S1223へ進む。S1223では、スクロールの間隔を制御するタイマ値を高速値、スクロールの方向を右に設定する。そして、S1208に進む。
If it is not detected that the
右高速スクロールボタン603の押下が検出されず(S1205でNO)、左高速スクロールボタン606が押下されたことを検出すると(S1206でYES)、S1224へ進む。S1224では、スクロールの間隔を制御するタイマ値を高速値、スクロールの方向を左に設定する。そして、S1208に進む。
If pressing of the right high
左高速スクロールボタン606の押下が検出されず(S1206でNO)、再生ボタン601が押下されたことを検出すると(S1207でYES)、S1231へ進む。S1231では、動画フレーム情報300に基づき選択中のフレームの動画ファイルをタイムスタンプの位置から頭出し再生を開始する。
If pressing of the left high
続いて、停止ボタン602の押下又は動画の最後尾まで再生したか否かを判定する(S1232)。S1232において、どちらでもないと判定された場合(S1232でNO)にはS1232の判定を繰り返する。すくなくとも何れか一方が検出された場合(S1232でYES)には、再生を終了し(S1233)、S1202に戻る。
Subsequently, it is determined whether or not the
尚、再生ボタン601の押下が検出されない場合(S1207でNO)は、S1203から繰り返す。
If pressing of the
さて、S1208では右スクロールに設定されているか否かを判定する。右スクロールの場合には(S1208でYES)、動画フレーム選択位置、ここではフレームIDをデクリメントする(S1241)。一方、右スクロールでない場合(S1208でNO)はインクリメントする(S1209)。 In step S1208, it is determined whether right scrolling is set. In the case of right scrolling (YES in S1208), the moving image frame selection position, here, the frame ID is decremented (S1241). On the other hand, if it is not right scroll (NO in S1208), it is incremented (S1209).
次に、動画フレーム選択位置に基づきスクロール表示領域の動画フレーム表示を更新する(S1210)。 Next, the moving image frame display in the scroll display area is updated based on the moving image frame selection position (S1210).
次に、動画フレーム選択位置が所定の位置であるか否かを判定する(S1211)。尚、S1211における所定の位置とは、本実施形態では20フレーム毎とする。所定位置でない場合(S1211でNO)は、タイマ値に基づき一時休止し(S1212)、S1203から処理を繰り返す。S1211において動画フレーム選択位置が所定の位置である場合(S1211でYES)は、S1251に進む。 Next, it is determined whether or not the moving image frame selection position is a predetermined position (S1211). In the present embodiment, the predetermined position in S1211 is every 20 frames. When the position is not the predetermined position (NO in S1211), the CPU pauses based on the timer value (S1212) and repeats the processing from S1203. If the moving image frame selection position is a predetermined position in S1211 (YES in S1211), the process proceeds to S1251.
S1251では、右スクロールに設定されているか否かを判定する。S1251で右スクロールと判定された場合(S1251でYES)は、先頭から動画フレーム選択位置までの範囲をシーン分割し(S1261)、各シーンの最後方のフレームを代表フレームとして選択する(S1262)。そして、S1254へ進む。 In S1251, it is determined whether right scrolling is set. If it is determined to scroll right in S1251 (YES in S1251), the range from the beginning to the moving image frame selection position is divided (S1261), and the last frame of each scene is selected as a representative frame (S1262). Then, the process proceeds to S1254.
S1251で右スクロールでないと判定された場合(S1251でNO)、動画フレーム選択位置から最後尾までの範囲をシーン分割し(S1252)、各シーンの最後方のフレームを代表フレームとして選択する(S1253)。そして、S1254へ進む。 If it is determined in S1251 that the scrolling is not right (NO in S1251), the range from the moving image frame selection position to the tail is divided (S1252), and the last frame of each scene is selected as a representative frame (S1253). . Then, the process proceeds to S1254.
そして、選択された代表フレームの画像を代表フレーム画像表示領域に時系列に配置し、インジケータ表示領域と対応付けて表示し(S1254)、S1212に進む。 Then, the image of the selected representative frame is arranged in time series in the representative frame image display area, displayed in association with the indicator display area (S1254), and the process proceeds to S1212.
上記のように、本実施形態では、スクロール方向に存在するフレームから代表フレームを取得する。そして、スクロールの方向に応じて、続いて表示される方向の代表フレームだけを表示する。このため、シーン分割が細かくなり、また、それらの選択範囲が狭まることにより、より詳細化され、代表フレームから目的とするシーンの位置を把握し易くなる。 As described above, in this embodiment, a representative frame is acquired from a frame that exists in the scroll direction. Then, according to the scroll direction, only the representative frame in the subsequently displayed direction is displayed. For this reason, the scene division becomes finer, and the selection range thereof becomes narrower. Therefore, the scene is further detailed and the position of the target scene can be easily grasped from the representative frame.
尚、本実施形態では、映像データとして動画データ内の動画フレームを閲覧する例を示したが、複数の静止画データを閲覧する場合であっても、撮影日時等の意味のある並び順で並んでいるデータであれば同様の効果が得られる。 In this embodiment, an example in which a moving image frame in moving image data is browsed as video data has been shown. However, even when a plurality of still image data is browsed, they are arranged in a meaningful arrangement order such as shooting date and time. The same effect can be obtained if the data is in the range.
また、本実施形態では動画フレームをスクロール表示する例を示したが、一般的な再生表示であって同様の効果が得られる。 Further, in the present embodiment, an example in which a moving image frame is scroll-displayed has been shown, but the same effect can be obtained with general reproduction display.
また、本実施形態では先頭から動画フレーム選択位置又は動画フレーム選択位置から最後尾までの範囲を選択する例を示したが、選択範囲を、選択範囲より十分に小さいサイズで増減させても同様の効果が得られる。 In this embodiment, an example in which the range from the beginning to the moving image frame selection position or the range from the moving image frame selection position to the end is shown, but the same may be achieved by increasing or decreasing the selection range with a size sufficiently smaller than the selection range. An effect is obtained.
<<実施形態3>>
次に、本発明の実施形態3について図面を参照して詳細に説明する。本実施形態では、スクロールの速度に基づいて代表フレームの取得の仕方を切り替える構成について説明する。
<< Embodiment 3 >>
Next, Embodiment 3 of the present invention will be described in detail with reference to the drawings. In the present embodiment, a configuration for switching the way of obtaining the representative frame based on the scroll speed will be described.
尚、ハードウェア構成は図1を用いて説明した実施形態1と同様である。また、動画フレーム情報は図3を用いて説明した実施形態1と同様である。また、赤外線リモコンは図6を用いて説明した実施形態1と同様である。尚、以下特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。 The hardware configuration is the same as that of the first embodiment described with reference to FIG. The moving image frame information is the same as that in the first embodiment described with reference to FIG. The infrared remote controller is the same as that of the first embodiment described with reference to FIG. Unless otherwise specified, the same reference numerals are given to those described with reference to other drawings, and the description thereof is omitted.
(機能構成)
図13は本実施形態における画像閲覧装置100の機能構成図である。図13に示すように、画像閲覧装置100は、動画データ記憶部201、動画データ読出部202、画面表示部203、フレーム表示状態取得部1304、代表フレーム選択範囲決定部1305、代表フレーム選択部206を有する。
(Functional configuration)
FIG. 13 is a functional configuration diagram of the
フレーム表示状態取得部1304は、動画データ読出部202により読み出されて画面表示部203で、順次、表示されているフレームの表示速度、すなわちフレームの単位時間当たりの表示枚数を計算可能な値を取得する。本実施形態では、フレームの表示間隔を規定するタイマ値を取得する。また、フレーム表示状態取得部1304は、動画データ読出部202により読み出されて画面表示部203で、順次、表示されているフレーム選択位置を取得する。
The frame display
代表フレーム選択範囲決定部1305は、フレーム表示状態取得部1304を介して取得された表示速度とフレーム選択位置に応じて、代表フレームを選択する範囲を決定する。
The representative frame selection
ここで本実施形態では、スクロールの速度が高速の場合には、動画の先頭からフレーム選択位置まで、又は、フレーム選択位置から動画の最後尾までを代表フレーム選択範囲と決定する。スクロールの速度が標準速度の場合には、フレーム選択位置から動画の先頭までの半分、又は、フレーム選択位置から動画の最後尾までの半分の範囲を代表フレーム選択範囲と決定する。 Here, in the present embodiment, when the scrolling speed is high, the representative frame selection range is determined from the beginning of the moving image to the frame selection position, or from the frame selection position to the end of the moving image. When the scroll speed is the standard speed, a half range from the frame selection position to the beginning of the moving image or a half range from the frame selection position to the end of the moving image is determined as the representative frame selection range.
なお、本実施形態では、高速スクロールボタン603、606が押下された場合に高速スクロール、通常のスクロールボタン604,605が押下された場合に通常速度のスクロールとするが、これに限られない。例えば、ポインティングデバイスやジョグダイアル等でスクロールを行う場合は、スクロールの速度が予め定められた閾値以上の場合は高速、閾値未満の場合は通常速度とすることができる。本実施形態では、高速スクロールボタン603、606が押下された場合のスクロール速度と、通常のスクロールボタン604,605が押下された場合のスクロール速度との間の速度を閾値として用いる場合に該当する。
In this embodiment, high-speed scrolling is performed when the high-
(ユーザインタフェース画面)
図14及び図15は本実施形態における左スクロール時のユーザインタフェース画面の一例を示す図である。図4、図5の場合と同様に、ユーザインタフェース画面1400、1500には、それぞれ、スクロール表示領域1401、1501、インジケータ表示領域1402、1502、代表フレーム画像表示領域1403、1503が含まれる。
(User interface screen)
FIG. 14 and FIG. 15 are diagrams showing an example of a user interface screen at the time of left scroll in this embodiment. As in FIGS. 4 and 5, the
代表フレーム画像表示領域1403、1503は、第1実施形態の代表フレーム画像表示領域403、503(図4、図5)と異なり、スクロールによる進行方向のみの代表フレーム画像のみが表示されている。具体的には、動画データの後方に向かってスクロールを行っているため、フレーム選択位置1分20秒以降の範囲から代表フレームが選択されている。ユーザインタフェース画面1500は、ユーザインタフェース画面1400に比べてスクロール速度が低い例を示している。このため、ユーザインタフェース画面1400より狭い範囲から、具体的には2分03秒から5分40秒の代表フレームが選択されている。
The representative frame
(メイン処理)
図16は本実施形態の画像閲覧装置のメイン処理のフローを示すフローチャートである。図16のフローの各ステップはCPU101の制御に基づいて実行される。
(Main process)
FIG. 16 is a flowchart showing a flow of main processing of the image browsing apparatus of the present embodiment. Each step of the flow in FIG. 16 is executed based on the control of the
図16に示すように、メイン処理が開始されると、動画フレーム選択位置の初期化を行う(S1601)。ここではフレームIDを0に設定する(S1601)。 As shown in FIG. 16, when the main process is started, the moving image frame selection position is initialized (S1601). Here, the frame ID is set to 0 (S1601).
次に、図14、15に示すような画面構成に従って動画フレーム選択位置から予め定められた範囲に属するフレームのフレーム画像を表示する(S1602)。 Next, frame images of frames belonging to a predetermined range from the moving image frame selection position are displayed according to the screen configuration as shown in FIGS. 14 and 15 (S1602).
次に、赤外線リモコン120により右スクロールボタン604が押下されたことを検出すると(S1603でYES)、S1621へ進む。S1621では、スクロールの間隔を制御するタイマ値を標準値、スクロールの方向を右に設定する。そして、S1608に進む。
Next, when it is detected that the
右スクロールボタン604の押下が検出されず(S1603でNO)、左スクロールボタン605が押下されたことを検出すると(S1604でYES)、S1622へ進む。S1622では、スクロールの間隔を制御するタイマ値を標準値、スクロールの方向を左に設定する。そして、S1608に進む。
If pressing of the
左スクロールボタン605の押下が検出されず(S1604でNO)、右高速スクロールボタン603が押下されたことを検出すると(S1605でYES)、S1623へ進む。S1623では、スクロールの間隔を制御するタイマ値を高速値、スクロールの方向を右に設定する。そして、S1608に進む。
If pressing of the
右高速スクロールボタン603の押下が検出されず(S1605でNO)、左高速スクロールボタン606が押下されたことを検出すると(S1606でYES)、S1624へ進む。S1624では、スクロールの間隔を制御するタイマ値を高速値、スクロールの方向を左に設定する。そして、S1608に進む。
If pressing of the right high
左高速スクロールボタン606の押下が検出されず(S1606でNO)、再生ボタン601が押下されたことを検出すると(S1607でYES)、S1631へ進む。再生ボタン601の押下が検出されない場合は(S1607でNO)、S1603から処理繰り返す。
If pressing of the left high
S1631では、動画フレーム情報300に基づき選択中のフレームの動画ファイルをタイムスタンプの位置から頭出し再生を開始する。続いて、S1632において、停止ボタン602の押下又は動画の最後尾まで再生したか否かを判定する。どちらでもない場合(S1632でNO)にはS1632の判定を繰り返す。すくなくとも何れか一方が検出された場合(S1632でYES)には、再生を終了し(S1633)、S1602に戻る。
In S1631, cueing reproduction of the moving image file of the frame being selected based on the moving
さて、S1608では、右スクロールに設定されているか否かを判定する。右スクロールの場合には(S1608でYES)、動画フレーム選択位置、ここではフレームIDをデクリメントする(S1609)。一方、右スクロールでない場合(S1608でNO)はインクリメントする(S1641)。 In step S1608, it is determined whether right scrolling is set. In the case of right scrolling (YES in S1608), the moving image frame selection position, here, the frame ID is decremented (S1609). On the other hand, if it is not right scroll (NO in S1608), it is incremented (S1641).
次に、動画フレーム選択位置に基づきスクロール表示領域の動画フレーム表示を更新する(S1610)。 Next, the moving image frame display in the scroll display area is updated based on the moving image frame selection position (S1610).
動画フレーム選択位置が所定の位置でない場合は(S1611でNO)、タイマ値に基づき一時休止し(S1612)、S1603から繰り返す。尚、S1611における所定の位置とは、本実施形態では20フレーム毎とする。 If the moving image frame selection position is not the predetermined position (NO in S1611), the video frame selection position is paused based on the timer value (S1612), and the process is repeated from S1603. In the present embodiment, the predetermined position in S1611 is every 20 frames.
さて、S1611において動画フレーム選択位置が所定の位置である場合(S1611でYES)S1651に進む。 If the moving image frame selection position is a predetermined position in S 1611 (YES in S 1611), the process proceeds to S 1651.
S1651では、ユーザの操作が右スクロール(高速スクロールを含む)か否かを判定する。右スクロールの場合(S1651でYES)はS1661へ進み、右スクロールでない(即ち、左スクロール)場合(S1651でNO)はS1652へ進む。 In step S1651, it is determined whether the user operation is right scrolling (including high-speed scrolling). If it is right scroll (YES in S1651), the process proceeds to S1661. If it is not right scroll (ie, left scroll) (NO in S1651), the process proceeds to S1652.
S1652では、タイマ値が高速か否かを判定する。即ち、左スクロールのスクロール速度が予め定められた閾値以上か否かを判定する。 In S1652, it is determined whether the timer value is high speed. That is, it is determined whether or not the scroll speed of the left scroll is equal to or higher than a predetermined threshold value.
S1652で高速値でない(閾値未満)と判定された場合(S1652でNO)、動画フレーム選択位置から最後尾までの半分の範囲をシーン分割する(S1653)。そして、S1654へ進む。 If it is determined in S1652 that the value is not a high speed value (less than the threshold value) (NO in S1652), the half range from the moving image frame selection position to the end is divided into scenes (S1653). Then, the process proceeds to S1654.
一方、S1652で高速値である(閾値以上)と判定された場合(S1652でYES)は、動画フレーム選択位置から最後尾までの範囲をシーン分割し(S1671)、S1654へ進む。 On the other hand, if it is determined in S1652 that the value is a high speed value (greater than or equal to the threshold value) (YES in S1652), the range from the moving image frame selection position to the tail is divided (S1671), and the process proceeds to S1654.
S1654では、各シーンの先頭フレームを代表フレームとして選択する。そして、S1655へ進む。 In S1654, the first frame of each scene is selected as a representative frame. Then, the process proceeds to S1655.
S1655では、選択された代表フレームを時系列に配置してインジケータに対応づけてディスプレイ110に表示する。そして、ステップS1612へ戻る。
In S1655, the selected representative frames are arranged in time series and displayed on the
一方で、S1661では、タイマ値が高速か否かを判定する(S1661)。即ち、右スクロールのスクロール速度が予め定められた閾値以上か否かを判定する。 On the other hand, in S1661, it is determined whether the timer value is high speed (S1661). That is, it is determined whether or not the scroll speed of the right scroll is equal to or higher than a predetermined threshold value.
S1661で高速値でないと判定された場合(S1661でNO)、動画フレーム選択位置から先頭までの半分の範囲をシーン分割する(S1662)。そして、各シーンの最後方のフレームを代表フレームとして選択し(S1663)、S1655へ進む。 If it is determined in S1661 that it is not a high-speed value (NO in S1661), the half range from the moving image frame selection position to the beginning is divided into scenes (S1662). Then, the last frame of each scene is selected as a representative frame (S1663), and the process proceeds to S1655.
一方、S1661で高速値であると判定された場合(S1661でYES)、動画フレーム選択位置から先頭までの範囲をシーン分割し(S1681)、S1663へ進む。
そして、選択された代表フレームの画像を代表フレーム画像表示領域に時系列に配置し、インジケータ表示領域と対応付けて表示し(S1655)、S1612に進む。
On the other hand, if it is determined in S1661 that the value is a high speed (YES in S1661), the range from the moving image frame selection position to the beginning is divided into scenes (S1681), and the process proceeds to S1663.
Then, the image of the selected representative frame is arranged in time series in the representative frame image display area, displayed in association with the indicator display area (S1655), and the process proceeds to S1612.
上記のように、本実施形態では、スクロールの方向に応じて、続いて表示される方向の代表フレームだけを表示する。このためシーン分割が細かくなり、さらにそれらの選択範囲が狭まることにより、より詳細化され、代表フレームから目的とするシーンの位置を把握し易くなる。 As described above, in the present embodiment, only the representative frame in the subsequently displayed direction is displayed according to the scroll direction. For this reason, the scene division becomes finer, and the selection range thereof becomes narrower. Therefore, the scene is further detailed and the position of the target scene can be easily grasped from the representative frame.
さらに、本実施形態では、本実施形態では、スクロールの速度が予め定められた閾値未満の場合は、選択されたフレームに隣接するグループから、代表画像を取得する。即ち、更に、スクロールの速度の低ければ狭い範囲、高ければ広い範囲の代表フレームを表示する。このため、スクロールの停止し易さに合わせてシーン分割が詳細化され、目的とするシーンの位置の把握し易さが向上する。 Furthermore, in this embodiment, in this embodiment, when the scroll speed is less than a predetermined threshold, a representative image is acquired from a group adjacent to the selected frame. That is, the representative frame is displayed in a narrow range when the scrolling speed is low and a wide range when the scrolling speed is high. For this reason, the scene division is detailed according to the ease of stopping the scroll, and the ease of grasping the target scene position is improved.
尚、本実施形態では、映像データとして動画データ内の動画フレームを閲覧する例を示したが、複数の静止画データを閲覧する場合であっても、撮影日時等の意味のある並び順で並んでいるデータであれば同様の効果が得られる。 In this embodiment, an example in which a moving image frame in moving image data is browsed as video data has been shown. However, even when a plurality of still image data is browsed, they are arranged in a meaningful arrangement order such as shooting date and time. The same effect can be obtained if the data is in the range.
また、本実施形態では動画フレームをスクロール表示する例を示したが、一般的な再生表示であって同様の効果が得られる。また、本実施形態で示した選択範囲を一定の範囲内で増減させても同様の効果が得られる。 Further, in the present embodiment, an example in which a moving image frame is scroll-displayed has been shown, but the same effect can be obtained with general reproduction display. The same effect can be obtained even if the selection range shown in the present embodiment is increased or decreased within a certain range.
<<その他の実施形態>>
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
<< Other Embodiments >>
The exemplary embodiments of the present invention have been described in detail above. However, the present invention can take embodiments as, for example, a system, apparatus, method, program, or storage medium. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of one device.
尚、本発明の目的は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成してもよい。 An object of the present invention is to supply a program that realizes the functions of the above-described embodiments directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code. May also be achieved.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。 Therefore, since the functions of the present invention are implemented by a computer, the program code installed in the computer is also included in the technical scope of the present invention. That is, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、次のものが含まれる。即ち、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)等が含まれる。 Examples of the computer-readable recording medium for supplying the program include the following. That is, flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), etc. included.
その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをHD等の記録媒体にダウンロードする形態も考えられる。また、本発明に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 In addition, the following types of programs may be considered. That is, it is also possible to connect to a homepage on the Internet using a browser of a client device and download a computer program according to the present invention or a compressed file including an automatic installation function from the homepage to a recording medium such as an HD. It can also be realized by dividing the program code constituting the program according to the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。 The following supply forms are also conceivable. That is, first, the program according to the present invention is encrypted, stored in a storage medium such as a CD-ROM, and distributed to users. Further, the present invention allows a user who has cleared a predetermined condition to download key information to be decrypted from a homepage via the Internet, execute a program encrypted by using the key information, and install the program on a computer. The structure which concerns on is implement | achieved. Such a supply form is also possible.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。 In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the following implementation forms are also assumed. In other words, based on the instructions of the program, the OS running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいても前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, after the program read from the recording medium is written in the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, the above-described embodiment is also based on the instructions of the program. The function is realized. That is, a CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
上記のように、本構成においては、表示中のコンテンツの位置が進行するに連れて代表画像(代表フレーム)の選択範囲が狭くなる。このため、ユーザが、代表画像から所望のコンテンツの位置を把握し易くなる。また、ユーザの操作はスクロール操作だけであるため、操作性が非常に高い。 As described above, in this configuration, the selection range of the representative image (representative frame) becomes narrower as the position of the content being displayed advances. For this reason, it becomes easy for the user to grasp the position of the desired content from the representative image. In addition, since the user's operation is only a scroll operation, the operability is very high.
Claims (12)
前記配列における画像の順序に対応するスクロール領域を前記表示手段に表示する表示制御手段と、
ユーザからのスクロール操作に応じて、前記配列に含まれる第1画像の選択を受け付ける受付手段と、
前記第1画像の、前及び後の少なくともいずれか一方から複数の第2画像を取得する取得手段と、
を備え、
前記表示制御手段は、前記第1画像と、前記複数の第2画像とを前記表示手段に表示し、
前記取得手段は、前記スクロール操作の特性に基づいて前記第2画像の取得の仕方を切り替える
ことを特徴とする表示制御装置。 A display control apparatus for displaying an image included in an array of images on a display means,
Display control means for displaying a scroll area corresponding to the order of the images in the array on the display means;
Accepting means for accepting selection of a first image included in the array in response to a scroll operation from a user;
Obtaining means for obtaining a plurality of second images from at least one of the front and rear of the first image;
With
The display control means displays the first image and the plurality of second images on the display means,
The display control apparatus, wherein the acquisition unit switches a method of acquiring the second image based on characteristics of the scroll operation.
ことを特徴とする請求項1に記載の表示制御装置。 The display control apparatus according to claim 1, wherein the acquisition unit switches a method of acquiring acquisition of the second image based on a position in the array of the first image received by the reception unit. .
ことを特徴とする請求項2に記載の表示制御装置。 The display control according to claim 2, wherein the acquisition unit acquires a predetermined number of second images at equal intervals from at least one of the first image before and after the first image. apparatus.
前記取得手段は、前記グループから代表となる画像を前記第2画像として取得する
ことを特徴とする請求項2又は3に記載の表示制御装置。 Further comprising grouping means for dividing the images included in the array into a plurality of groups;
The display control apparatus according to claim 2, wherein the acquisition unit acquires a representative image from the group as the second image.
ことを特徴とする請求項4に記載の表示制御装置。 The display control apparatus according to claim 4, wherein the acquisition unit acquires, as the second image, an image existing in a scroll direction among images before or after the first image.
ことを特徴とする請求項5に記載の表示制御装置。 The display according to claim 5, wherein the acquisition unit acquires the second image from the group adjacent to the first image when the scrolling speed is less than a predetermined threshold. Control device.
ことを特徴とする請求項1乃至6のいずれか1項に記載の表示制御装置。 The display control apparatus according to claim 1, wherein the display control unit displays the position of the first image and the second image in the arrangement on the display unit.
ことを特徴とする請求項1乃至7のいずれか1項に記載の表示制御装置。 The display control apparatus according to claim 1, wherein the image included in the array is a frame of a moving image.
ことを特徴とする請求項8に記載の表示制御装置。 The display control apparatus according to claim 8, further comprising a control unit that controls to reproduce the moving image from the first image in response to an instruction from a user.
前記配列における画像の順序に対応するスクロール領域を前記表示手段に表示する工程と、
ユーザからのスクロール操作に応じて、前記配列に含まれる第1画像の選択を受け付ける工程と、
前記第1画像の、前及び後の少なくともいずれか一方から複数の第2画像を取得する工程と、
前記第1画像と、前記複数の第2画像とを前記表示手段に表示する工程と、
を備え、
前記第2画像を取得する工程においては、前記スクロール操作の特性に基づいて前記第2画像の取得の仕方を切り替える
ことを特徴とする表示制御装置の制御方法。 A control method for a display control apparatus for displaying an image included in an array of images on a display means,
Displaying a scroll area corresponding to the order of the images in the array on the display means;
Receiving a selection of the first image included in the array in response to a scroll operation from the user;
Obtaining a plurality of second images from at least one of the front and back of the first image;
Displaying the first image and the plurality of second images on the display means;
With
In the step of acquiring the second image, the method for acquiring the second image is switched based on characteristics of the scroll operation.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007228285A JP5188124B2 (en) | 2007-09-03 | 2007-09-03 | Display control apparatus, control method therefor, program, and recording medium |
US12/194,439 US20090063981A1 (en) | 2007-09-03 | 2008-08-19 | Display control apparatus and control method thereof, program, and recording medium |
CN2008101355674A CN101382865B (en) | 2007-09-03 | 2008-09-03 | Display control apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007228285A JP5188124B2 (en) | 2007-09-03 | 2007-09-03 | Display control apparatus, control method therefor, program, and recording medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009059312A true JP2009059312A (en) | 2009-03-19 |
JP2009059312A5 JP2009059312A5 (en) | 2010-10-14 |
JP5188124B2 JP5188124B2 (en) | 2013-04-24 |
Family
ID=40462728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007228285A Expired - Fee Related JP5188124B2 (en) | 2007-09-03 | 2007-09-03 | Display control apparatus, control method therefor, program, and recording medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5188124B2 (en) |
CN (1) | CN101382865B (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092246A (en) * | 2008-10-07 | 2010-04-22 | Sony Computer Entertainment Inc | Information processing apparatus and information processing method thereof |
JP2013164788A (en) * | 2012-02-13 | 2013-08-22 | Sharp Corp | Electronic apparatus, method for controlling display, and program |
USD776139S1 (en) | 2010-12-28 | 2017-01-10 | Sony Corporation | Display panel or screen with graphical user interface |
JPWO2016125339A1 (en) * | 2015-02-03 | 2017-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | Moving image processing device |
JP2021003315A (en) * | 2019-06-26 | 2021-01-14 | 三精テクノロジーズ株式会社 | Operating device |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012043207A (en) * | 2010-08-19 | 2012-03-01 | Sony Corp | Information processing apparatus, information processing method, and program |
CN102855052A (en) * | 2012-08-24 | 2013-01-02 | 鸿富锦精密工业(深圳)有限公司 | Document display device and display method |
CN106561050B (en) * | 2015-10-06 | 2020-06-02 | 佳能株式会社 | Image processing apparatus, electronic apparatus, display processing apparatus, and control method thereof |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06110943A (en) * | 1992-09-28 | 1994-04-22 | Sony Corp | Picture data processor and picture display method |
JP2001157176A (en) * | 1999-11-25 | 2001-06-08 | Nec Corp | Video-reproducing device |
JP2001296947A (en) * | 2000-04-11 | 2001-10-26 | Sharp Corp | Video image reproducing device, video image reproducing method and computer readable recording medium in which video image reproduction program is recorded |
JP2004072132A (en) * | 2002-06-11 | 2004-03-04 | Sony Corp | Image detector, image detecting method and image detecting program |
JP2004120281A (en) * | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | Image editing apparatus |
JP2006279267A (en) * | 2005-03-28 | 2006-10-12 | Sharp Corp | Moving video division and display device, and operation method of the display device |
JP2007164298A (en) * | 2005-12-09 | 2007-06-28 | Sony Corp | Data display device, data display method, data display program, and graphical user interface |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1208476A2 (en) * | 1999-10-20 | 2002-05-29 | Koninklijke Philips Electronics N.V. | Device and method of browsing an image collection |
-
2007
- 2007-09-03 JP JP2007228285A patent/JP5188124B2/en not_active Expired - Fee Related
-
2008
- 2008-09-03 CN CN2008101355674A patent/CN101382865B/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06110943A (en) * | 1992-09-28 | 1994-04-22 | Sony Corp | Picture data processor and picture display method |
JP2001157176A (en) * | 1999-11-25 | 2001-06-08 | Nec Corp | Video-reproducing device |
JP2001296947A (en) * | 2000-04-11 | 2001-10-26 | Sharp Corp | Video image reproducing device, video image reproducing method and computer readable recording medium in which video image reproduction program is recorded |
JP2004072132A (en) * | 2002-06-11 | 2004-03-04 | Sony Corp | Image detector, image detecting method and image detecting program |
JP2004120281A (en) * | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | Image editing apparatus |
JP2006279267A (en) * | 2005-03-28 | 2006-10-12 | Sharp Corp | Moving video division and display device, and operation method of the display device |
JP2007164298A (en) * | 2005-12-09 | 2007-06-28 | Sony Corp | Data display device, data display method, data display program, and graphical user interface |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092246A (en) * | 2008-10-07 | 2010-04-22 | Sony Computer Entertainment Inc | Information processing apparatus and information processing method thereof |
US8799781B2 (en) | 2008-10-07 | 2014-08-05 | Sony Corporation | Information processing apparatus reproducing moving image and displaying thumbnails, and information processing method thereof |
USD776139S1 (en) | 2010-12-28 | 2017-01-10 | Sony Corporation | Display panel or screen with graphical user interface |
USD835119S1 (en) | 2010-12-28 | 2018-12-04 | Sony Corporation | Display panel or screen with an animated graphical user interface |
JP2013164788A (en) * | 2012-02-13 | 2013-08-22 | Sharp Corp | Electronic apparatus, method for controlling display, and program |
JPWO2016125339A1 (en) * | 2015-02-03 | 2017-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | Moving image processing device |
US10489658B2 (en) | 2015-02-03 | 2019-11-26 | Sony Interactive Entertainment Inc. | Video processing device |
JP2021003315A (en) * | 2019-06-26 | 2021-01-14 | 三精テクノロジーズ株式会社 | Operating device |
Also Published As
Publication number | Publication date |
---|---|
CN101382865A (en) | 2009-03-11 |
CN101382865B (en) | 2011-05-18 |
JP5188124B2 (en) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5188124B2 (en) | Display control apparatus, control method therefor, program, and recording medium | |
US8656312B2 (en) | Content display apparatus and display method thereof | |
US8549442B2 (en) | Voice and video control of interactive electronically simulated environment | |
JP3871684B2 (en) | Content playback apparatus and menu screen display method | |
US7853895B2 (en) | Control of background media when foreground graphical user interface is invoked | |
KR100830739B1 (en) | Multimedia playback device and playback method | |
JP4737539B2 (en) | Multimedia playback apparatus and background image display method | |
US9678625B2 (en) | Multimedia player and menu screen display method | |
JP3897774B2 (en) | Multimedia playback apparatus and menu screen display method | |
US8666223B2 (en) | Electronic apparatus and image data management method | |
US9009594B2 (en) | Content gestures | |
US20090063981A1 (en) | Display control apparatus and control method thereof, program, and recording medium | |
US8009961B2 (en) | Electronic apparatus, playback management method, display control apparatus, and display control method | |
JP5421627B2 (en) | Video data display apparatus and method | |
KR20070090751A (en) | Image displaying method and video playback apparatus | |
KR20140139859A (en) | Method and apparatus for user interface for multimedia content search | |
JP2007059034A (en) | Electronic equipment, display processing method, and program | |
KR20070104130A (en) | Method and apparatus for displaying contents list | |
JP2009004999A (en) | Video data management device | |
US20080154953A1 (en) | Data display method and reproduction apparatus | |
Hürst et al. | Interactive video browsing on mobile devices | |
JP2000209541A (en) | Moving picture reproducing device and storage medium storing moving picture reproduction program | |
US20050111834A1 (en) | Image processing apparatus | |
JP5548249B2 (en) | Menu screen display apparatus and method | |
JP5533113B2 (en) | Content management apparatus, management method, management system, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5188124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |