JP2011205704A - Electronic apparatus and image display method - Google Patents
Electronic apparatus and image display method Download PDFInfo
- Publication number
- JP2011205704A JP2011205704A JP2011152059A JP2011152059A JP2011205704A JP 2011205704 A JP2011205704 A JP 2011205704A JP 2011152059 A JP2011152059 A JP 2011152059A JP 2011152059 A JP2011152059 A JP 2011152059A JP 2011205704 A JP2011205704 A JP 2011205704A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- time
- images
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
Description
本発明は映像コンテンツデータに登場する顔画像を表示する電子機器および顔画像表示方法に関する。 The present invention relates to an electronic device and a face image display method for displaying a face image appearing in video content data.
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータを記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。 Generally, electronic devices such as a video recorder and a personal computer can record and reproduce various video content data such as television broadcast program data. In this case, a title name is added to each video content data stored in the electronic device, but it is not possible for the user to grasp what the content of each video content data is based on the title name alone. Have difficulty. For this reason, in order to grasp the content of the video content data, it is necessary to reproduce the video content data. However, reproduction of video content data with a long total time length requires a lot of time even when a fast-forward reproduction function or the like is used.
特許文献1には、登場人物一覧表示機能を有する装置が開示されている。この装置は、映像コンテンツにおける登場人物の一覧として、映像コンテンツにおける登場人物それぞれの顔の画像を並べて表示する機能を有している。
しかし、単純に登場人物の一覧を表示しただけでは、ユーザは、それら人物が映像コンテンツデータ内のどの辺りの時間帯に登場するのかを把握することはできない。例えば、ユーザは、ユーザにとって興味のある人物(または人物群)が登場する時間帯だけを選択的に再生することを希望する場合もある。 However, simply by displaying a list of characters, the user cannot grasp in what time zone in the video content data the characters appear. For example, the user may desire to selectively reproduce only the time zone in which a person (or group of persons) interested in the user appears.
したがって、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物がどのような順番で登場するのかを提示するための新たな機能の実現が必要である。 Therefore, it is necessary to realize a new function for presenting which person appears in what order in which time zone in the entire video content data.
本発明は上述の事情を考慮してなされたものであり、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかをユーザに提示することが可能な電子機器および画像表示方法を提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and presents to a user which person appears in which time zone in the entire video content data without reproducing the video content data. It is an object of the present invention to provide an electronic device and an image display method capable of performing the above.
上述の課題を解決するため、請求項1に係る本発明の電子機器は、映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出手段と、前記画像抽出手段によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手段とを具備し、前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手段は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するように構成されていることを特徴とする。 In order to solve the above-described problem, the electronic apparatus according to the first aspect of the present invention extracts a predetermined image from a plurality of frames constituting video content data, and also indicates a time point at which each extracted image appears. An image extracting means for outputting stamp information and an image list for displaying a list of predetermined images appearing in the video content data on a two-dimensional display area by using each of the predetermined images extracted by the image extracting means. Display processing means, wherein the two-dimensional display area includes a plurality of image display areas divided into a plurality of columns, and each of the plurality of columns includes a time length of the video content data and the plurality of the plurality of image display areas. A plurality of time zones obtained based on the number of columns are respectively allocated, and the image list display processing means is configured to extract the predetermined image that has been extracted. Based on the time stamp information corresponding to each, the predetermined images belonging to the time zone assigned to each column are arranged and displayed in the order of appearance time of the images on the image display area of each column. It is characterized by.
また、請求項10に係る本発明の画像表示方法は、映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出ステップと、前記画像抽出ステップによって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理ステップとを具備し、前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理ステップは、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するステップを含むことを特徴とする。 The image display method of the present invention according to claim 10 extracts a predetermined image from a plurality of frames constituting video content data and outputs time stamp information indicating a point in time when each extracted image appears. An image extraction step and an image list display processing step for displaying a list of predetermined images appearing in the video content data on a two-dimensional display area by using each of the predetermined images extracted in the image extraction step. The two-dimensional display area includes a plurality of image display areas divided into a plurality of columns, and each of the plurality of columns is based on a time length of the video content data and the number of the plurality of columns. A plurality of time zones obtained in the above are assigned, and the image list display processing step includes the extracted predetermined image. Including a step of displaying, on the image display area of each column, predetermined images belonging to the time zone assigned to each column in order of appearance time of the images based on the time stamp information corresponding to each column It is characterized by that.
本発明によれば、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかをユーザに提示することが可能となる。 According to the present invention, it is possible to present to a user which person appears in which time zone in the entire video content data without reproducing the video content data.
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ10から実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1 and FIG. 2, the structure of the electronic device which concerns on one Embodiment of this invention is demonstrated. The electronic apparatus according to the present embodiment is realized by, for example, a notebook portable
このパーソナルコンピュータ10は、放送番組データ、外部機器から入力されるビデオデータといった映像コンテンツデータを記録および再生することができる。即ち、パーソナルコンピュータ10は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのTV機能を有している。このTV機能は、例えば、パーソナルコンピュータ10に予めインストールされているTVアプリケーションプログラムによって実現されている。また、TV機能は、外部のAV機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
The
さらに、パーソナルコンピュータ10は、パーソナルコンピュータ10に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、TV機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物がどのような順番で登場するのかをユーザに提示することができる。
Furthermore, the
図1はコンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、TFT−LCD(Thin Film Transistor Liquid Crystal Display)17から構成される表示装置が組み込まれている。
FIG. 1 is a perspective view of the
ディスプレイユニット12は、コンピュータ本体11に対し、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ10をパワーオン/パワーオフするためのパワーボタン14、入力操作パネル15、タッチパッド16、およびスピーカ18A,18Bなどが配置されている。
The
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、TV機能(視聴、録画、録画された放送番組データ/ビデオデータの再生)を制御するための操作ボタン群も含まれている。また、コンピュータ本体11の正面には、本コンピュータ10のTV機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部20が設けられている。リモコンユニットインタフェース部20は、赤外線信号受信部などから構成されている。
The
コンピュータ本体11の例えば右側面には、TV放送用のアンテナ端子19が設けられている。また、コンピュータ本体11の例えば背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ(動画像データ)を外部ディスプレイに出力するために用いられる。
On the right side of the computer
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ10は、図2に示されているように、CPU101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスプロセッシングユニット(GPU)105、ビデオメモリ(VRAM)105A、サウンドコントローラ106、BIOS−ROM109、LANコントローラ110、ハードディスクドライブ(HDD)111、DVDドライブ112、ビデオプロセッサ113、メモリ113A、カードコントローラ113、無線LANコントローラ114、IEEE 1394コントローラ115、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116、TVチューナ117、およびEEPROM118等を備えている。
As shown in FIG. 2, the
CPU101は本コンピュータ10の動作を制御するプロセッサであり、ハードディスクドライブ(HDD)111から主メモリ103にロードされる、オペレーティングシステム(OS)201、およびTVアプリケーションプログラム202のような各種アプリケーションプログラムを実行する。TVアプリケーションプログラム202はTV機能を実行するためのソフトウェアである。このTVアプリケーションプログラム202は、TVチューナ117によって受信された放送番組データを視聴するためのライブ処理、放送番組データをHDD111に記録する録画処理、および記録された放送番組データ/ビデオデータを再生する再生処理等を実行する。また、CPU101は、BIOS−ROM109に格納されたBIOS(Basic Input Output System)も実行する。BIOSはハードウェア制御のためのプログラムである。
The
ノースブリッジ102はCPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
The
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ装置1にデジタル映像信号を送出することもできる。
The
HDMI端子2は上述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ装置1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
The
サウスブリッジ104は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ104は、ハードディスクドライブ(HDD)111およびDVDドライブ112を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
The
またさらに、サウスブリッジ104には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ113が接続されている。
Furthermore, a
ビデオプロセッサ113は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ113は、例えば、顔画像抽出処理を実行するための顔画像抽出部として機能する。すなわち、顔画像抽出処理においては、ビデオプロセッサ113は、映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報等を出力する。顔画像の抽出は、各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物の顔画像特徴それぞれを統計的に処理することによって得られた特徴データである。メモリ113Aは、ビデオプロセッサ113の作業メモリとして用いられる。
The
顔画像抽出処理を実行するためには多くの演算量が必要とされる。本実施形態においては、CPU101とは異なる専用のプロセッサであるビデオプロセッサ113がバックエンドプロセッサとして使用され、このビデオプロセッサ113によって顔画像抽出処理が実行される。よって、CPU101の負荷の増加を招くことなく、顔画像抽出処理を実行することが出来る。
A large amount of calculation is required to execute the face image extraction process. In the present embodiment, a
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。
The
無線LANコントローラ114は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ115は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
The
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。さらに、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、リモコンユニットインタフェース20との通信を実行する機能を有している。
The embedded controller / keyboard controller IC (EC / KBC) 116 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
TVチューナ117はテレビジョン(TV)放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子19に接続されている。このTVチューナ117は、例えば、地上波デジタルTV放送のようなデジタル放送番組データを受信可能なデジタルTVチューナとして実現されている。また、TVチューナ117は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
The
次に、図3を参照して、TVアプリケーションプログラム202によって実行される顔画像一覧表示機能について説明する。
Next, the face image list display function executed by the
放送番組データのような映像コンテンツデータに対する顔画像抽出処理は、上述したように、ビデオプロセッサ113によって実行される。ビデオプロセッサ113は、TVアプリケーションプログラム202の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対して顔画像抽出処理を実行する。また、ビデオプロセッサ113は、TVチューナ117によって受信された放送番組データをHDD111に格納する録画処理と並行して、当該放送番組データに対する顔画像抽出処理を実行することもできる。
The face image extraction process for video content data such as broadcast program data is executed by the
顔画像抽出処理においては、ビデオプロセッサ113は、動画像データから構成される映像コンテンツデータをフレーム単位で解析する。そして、ビデオプロセッサ113は、映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
In the face image extraction process, the
さらに、ビデオプロセッサ113は、抽出された各顔画像のサイズ(解像度)も出力する。ビデオプロセッサ113から出力される顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)は、データベース111Aにインデキシングデータとして格納される。このデータベース111Aは、HDD111内に用意されたインデキシングデータ記憶用の記憶領域である。
Furthermore, the
さらに、ビデオプロセッサ113は、顔画像抽出処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから等時間間隔で抽出された複数のフレームの各々に対応する画像(縮小画像でもよい)である。すなわち、ビデオプロセッサ113は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから所定の等時間間隔でフレームを抽出し、抽出した各フレームに対応する画像(サムネイル画像)と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報TSとを出力する。ビデオプロセッサ113から出力されるサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)も、データベース111Aにインデキシングデータとして格納される。
Furthermore, the
TVアプリケーションプログラム202は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部301を含んでいる。顔画像一覧表示処理部301は、データベース111Aから顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)を読み出し、そしてその顔検出結果データを用いて、映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア(以下、顔サムネイル表示エリアと称する)上に表示する。この場合、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を等間隔で複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部301は、時間帯毎に、選択した所定個の顔画像それぞれを、それら顔画像の登場時間順に並べて表示する。
The
すなわち、2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する。
That is, the two-dimensional face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. Each of the plurality of columns is assigned a plurality of time zones having the same time length obtained by dividing the total time length of the video content data at equal intervals by the number of the plurality of columns. The face image list
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物がどのような順番で登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図5以降で後述する。 With this face image list display function, it is possible to present to the user in an easy-to-understand manner which person appears in what time and in what order in the entire video content data. A specific configuration example of the face thumbnail display area will be described later with reference to FIG.
また、顔画像一覧表示処理部301は、データベース111Aからサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)を読み出し、そしてそのサムネイル画像取得結果データを用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア(以下、じゃばらサムネイル表示エリアと称する)上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
The face image list
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、顔サムネイル表示エリアのみならず、サムネイル表示エリアを表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。 Depending on the video content data, there may be a time period when the face image does not appear. Therefore, by displaying not only the face thumbnail display area but also the thumbnail display area, the contents of the video content data in that time period can be presented to the user even during the time period when the face image does not appear.
次に、図4を参照して、TVアプリケーションプログラム202の機能構成を説明する。
Next, the functional configuration of the
TVアプリケーションプログラム202は、上述の顔画像一覧表示処理部301に加え、記録処理部401、インデキシング制御部402、再生処理部403等を備えている。
The
記録処理部401は、TVチューナ117によって受信された放送番組データ、または外部機器から入力されるビデオデータをHDD111に記録する記録処理を実行する。また、記録処理部401は、ユーザによって予め設定された録画予約情報(チャンネル番号、日時)によって指定される放送番組データをTVチューナ117を用いて受信し、その放送番組データをHDD111に記録する予約録画処理も実行する。
The
インデキシング制御部402は、ビデオプロセッサ113を制御して、映像インデキシングのための処理(顔画像抽出処理、サムネイル画像取得処理)をビデオプロセッサ113に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがHDD111に記録された後に、インデキシング処理が自動的に開始される。また、ユーザは、既にHDD111に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
The
再生処理部403は、HDD111に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部403は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時、選択されている顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。
The
次に、図5乃至図7を参照して、顔サムネイル表示エリアの具体的な構成について説明する。 Next, a specific configuration of the face thumbnail display area will be described with reference to FIGS.
図5には、顔画像一覧表示処理部301によってLCD17に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある放送番組データをインデキシング処理することによって得られた顔画像の一覧と、サムネイル画像の一覧とを表示する。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
FIG. 5 shows an example of an indexing view screen displayed on the
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図5においては、選択されたサムネイル画像との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。 Here, the loose format is a display format in which a selected thumbnail image is displayed in a normal size, and the other thumbnail images are displayed in a reduced size in the horizontal direction. In FIG. 5, the larger the distance from the selected thumbnail image, the smaller the horizontal size.
図6は、顔サムネイル表示エリアの構成例が示されている。 FIG. 6 shows a configuration example of the face thumbnail display area.
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図6においては、顔サムネイル表示エリアは6行×16列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、96個である。 The face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. In FIG. 6, the face thumbnail display area is composed of 6 rows × 16 columns. The number of face image display areas included in the face thumbnail display area is 96.
列1〜列16のそれぞれには、映像コンテンツデータの総時間長を列数(=16)で等間隔で分割することによって得られる、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。
Each of the
例えば、映像コンテンツデータの総時間長が2時間であるならば、その2時間が16個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Tは、7.5分である。例えば、列1には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列2には、0:07:30から0:15:00までの時間帯が割り当てられ、列3には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Tは変化する。
For example, if the total time length of the video content data is 2 hours, the 2 hours are divided into 16 time zones at equal intervals. In this case, the time length T of each time zone is 7.5 minutes. For example,
顔画像一覧表示処理部301は、ビデオプロセッサ113によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の6個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に上方から下方に向けて並べて表示する。この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分(6個)の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
The face image list
このように、顔サムネイル表示エリアにおいては、左端位置(1,1)を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。 In this way, the face thumbnail display area uses a time axis with the left end position (1, 1) as a base point and the right end position (6, 16) as the end of video content data.
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、“中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。 The size of the face image displayed in each face image display area of the face thumbnail display area can be selected from “large”, “medium”, and “small”. The number of rows and columns is changed according to the size of the face image selected by the user. The relationship between the size of the face image and the number of rows and columns is as follows.
(1)“大”の場合; 3行×8列
(2)“中”の場合; 6行×16列
(3)“小”の場合: 10行×24列
“大”の場合においては、各顔画像は、例えば、180×180ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、90×90ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、60×60ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。
(1) “Large”; 3 rows x 8 columns (2) “Medium”; 6 rows x 16 columns (3) “Small”: 10 rows x 24 columns “Large” Each face image is displayed with a size of 180 × 180 pixels, for example. In the case of “medium”, each face image is displayed with a size of 90 × 90 pixels, for example. In the case of “small”, each face image is displayed with a size of 60 × 60 pixels, for example. The default face image size is set to “medium”, for example.
顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ(180×180、90×90、または60×60)よりも大きく設定される。図6においては、座標(1,12)の顔画像が“フォーカス”状態である場合を示している。 Each face image in the face thumbnail display area is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The size of the face image in the “focus” state is set larger than the size in the “standard” state (180 × 180, 90 × 90, or 60 × 60). FIG. 6 shows a case where the face image at the coordinates (1, 12) is in the “focus” state.
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って240枚、144枚、96枚、48枚のいずれかに設定される。デフォルトは例えば240枚である。 The number of thumbnail images displayed in the jagged thumbnail display area is set to 240, 144, 96, or 48 according to user settings. The default is 240 sheets, for example.
サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。 The thumbnail image is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The thumbnail image in the “focus” state is displayed in a larger size than the other thumbnail images.
次に、図7を参照して、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係について説明する。 Next, the relationship between the face thumbnail display area and the jagged thumbnail display area will be described with reference to FIG.
同一列に属する顔画像表示エリア群の集合、つまり顔サムネイル表示エリア内の個々の列を“大区間”と称する。また、“大区間”をさらに分割したものを“小区間”と称する。1つの大区間に含まれる小区間の数は、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数を顔サムネイル表示エリアの列数で割った商で与えられる。例えば、顔サムネイル表示エリアが6行×16列で、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数が240枚であるならば、1つの大区間に含まれる小区間の数は、15(=240÷16)となる。1つの大区間は15個の小区間を含む。換言すれば、1つの大区間に対応する時間帯には、15枚のサムネイル画像が属することになる。 A set of face image display areas belonging to the same column, that is, each column in the face thumbnail display area is referred to as a “large section”. Further, the “large section” further divided is referred to as “small section”. The number of small sections included in one large section is given by a quotient obtained by dividing the number of thumbnail images displayed in the jagged thumbnail display area by the number of columns in the face thumbnail display area. For example, if the face thumbnail display area is 6 rows × 16 columns and the number of thumbnail images displayed in the loose thumbnail display area is 240, the number of small sections included in one large section is 15 (= 240 ÷ 16). One large section includes 15 small sections. In other words, 15 thumbnail images belong to the time zone corresponding to one large section.
じゃばらサムネイル表示エリア上のあるサムネイル画像が選択された時、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づき、顔サムネイル表示エリア内の複数の列(複数の大区間)の内で、選択されたサムネイル画像が属する時間帯が割り当てられた列(大区間)を選択する。選択される大区間は、選択されたサムネイル画像を小区間として含む大区間である。そして、顔画像一覧表示処理部301は、選択した大区間を強調表示する。
When a certain thumbnail image on the jagged thumbnail display area is selected, the face image list
さらに、顔画像一覧表示処理部301は、選択されたサムネイル画像と選択された大区間との間を接続する縦長のバーを表示する。この縦長のバーは、選択されたサムネイル画像に対応する小区間が、選択された大区間に含まれる15個の小区間の内のどの小区間に対応するかを提示するために使用される。縦長のバーは、選択された大区間に含まれる15個の小区間の内で、選択されたサムネイル画像に対応する小区間の位置に表示される。例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の先頭の画像、つまり大区間内の先頭の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の左端に接続される。また、例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の終端の画像、つまり大区間内の終端の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の右端に接続される。
Further, the face image list
このように、じゃばらサムネイル表示エリア上のサムネイル画像が選択された時には、顔サムネイル表示エリア内の複数の列の内から、選択されたサムネイル画像が属する時間帯が割り当てられている列(大区間)が自動選択される。これにより、ユーザは、選択したサムネイル画像が、顔サムネイル表示エリア内のどの列(大区間)に対応する画像であるかを識別することができる。さらに、縦長のバーにより、ユーザは、選択したサムネイル画像が、どの列(大区間)内のどの辺りの時点に対応する画像であるかも識別することができる。 As described above, when a thumbnail image on the jagged thumbnail display area is selected, a column (large section) to which the time zone to which the selected thumbnail image belongs is assigned from among a plurality of columns in the face thumbnail display area. Is automatically selected. Thereby, the user can identify which column (large section) in the face thumbnail display area corresponds to the selected thumbnail image. Furthermore, the vertically long bar allows the user to identify which thumbnail image the selected thumbnail image corresponds to in which column (large section).
また、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づいて、選択されたサムネイル画像が出現する時点を示す時間情報もインデキシングビュー画面上に表示する。
Further, the face image list
“現在位置変更”ボタンは選択されているサムネイル画像を変更するための操作ボタンである。“現在位置変更”ボタンがフォーカスされている状態でユーザが左カーソルキーまたは右カーソルキーを操作すると、選択対象のサムネイル画像は、例えば1小区間単位で、左または右に移動する。 The “change current position” button is an operation button for changing the selected thumbnail image. When the user operates the left cursor key or the right cursor key while the “current position change” button is focused, the thumbnail image to be selected moves to the left or right, for example, in units of one small section.
次に、図8のフローチャートを参照して、顔画像一覧表示処理部301によって実行される表示処理の手順を説明する。
Next, the procedure of the display process executed by the face image list
まず、顔画像一覧表示処理部301は、データベース111Aに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の登場時間順にソートする(ステップS101)。次いで、顔画像一覧表示処理部301は、ユーザによって指定された顔画像のサイズに応じて行及び列の数を決定すると共に、インデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列(大区間)に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、行数分の顔画像を選択する(ステップS102)。表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合には、顔画像一覧表示処理部301は、例えば、登場時間の早い顔画像を優先して選択する。
First, the face image list
また、登場時間の早い顔画像を優先する代わりに、顔画像一覧表示処理部301は、登場頻度の高い顔画像を優先的に選択する処理を実行することもできる。
Further, instead of prioritizing face images with early appearance time, the face image list
この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。例えば、ビデオプロセッサ113は、抽出した顔画像それぞれの特徴データの相関に基づいて、同一人物の顔画像それぞれを同一カテゴリーに分類することができる。この場合、図9に示すように、顔画像それぞれは、人物毎(すなわちカテゴリー毎)に分類されてデータベース111Aに格納される。図9においては、カテゴリー1は、ある人物Aの顔画像の集合を示しており、カテゴリー2は、ある人物Bの顔画像の集合を示しており、またカテゴリー3は、ある人物Bの顔画像の集合を示している。顔画像一覧表示処理部301は、登場する頻度の高い人物の顔画像を優先的に選択する。
In this case, the face image list
また、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合、顔画像一覧表示処理部301は、データベース11Aに格納された顔画像それぞれのサイズ情報に基づいて、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択する処理を実行することもできる。
Further, when the number of face images belonging to the time zone assigned to the display processing target column is larger than the number of rows, the face image list
クローズアップされた顔を映すフレームから抽出される顔画像のサイズは、比較的大きなものとなる。したがって、抽出された顔画像のサイズが大きいほど、重要度の高い人物である可能性が高い。よって、サイズの大きい顔画像を優先的に選択することにより、重要度の高い人物の顔画像を優先的に表示することが可能となる。 The size of the face image extracted from the frame showing the close-up face is relatively large. Therefore, the larger the size of the extracted face image, the higher the possibility that the person is more important. Therefore, it is possible to preferentially display a face image of a highly important person by preferentially selecting a large face image.
次いで、顔画像一覧表示処理部301は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを登場時間順に並べて表示する(ステップS103)。登場時間の早い顔画像ほど、上方の顔画像表示エリアに表示され、登場時間の遅い顔画像ほど、下方の顔画像表示エリアに表示される。
Next, the face image list
ステップS102,S103の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される(ステップS104,S105)。 The processes in steps S102 and S103 are repeatedly executed while updating the numbers of the display process target columns until the processes for all the columns are completed (steps S104 and S105).
なお、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも少ない場合には、対応する時間帯内に属するサムネイル画像を表示処理対象の列に表示することも出来る。 If the number of face images belonging to the time zone assigned to the display processing target column is smaller than the number of rows, thumbnail images belonging to the corresponding time zone may be displayed in the display processing target column. I can do it.
全ての列に対する処理が完了すると(ステップS104のNO)、顔画像一覧表示処理部301は、データベース11Aに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する(ステップS106)。
When the processing for all the columns is completed (NO in step S104), the face image list
次に、図10のフローチャートを参照して、再生処理部403によって実行される再生処理の手順を説明する。
Next, the procedure of the reproduction process executed by the
ユーザ操作に応じて映像コンテンツデータの再生を指示するイベントが入力された時(ステップS201のYES)、再生処理部403は、顔画像一覧表示処理部301と連携して、顔サムネイル表示エリア上のある顔画像が選択されているか否かを判定する(ステップS202)。選択されている顔画像が存在するならば(ステップS202のYES)、再生処理部403は、選択されている顔画像のタイムスタンプ情報に基づいて、選択されている顔画像が登場する時点を検出する(ステップS203)。そして、再生処理部403は、検出された時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する(ステップS206)。
When an event instructing playback of video content data is input in response to a user operation (YES in step S201), the
なお、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態で映像コンテンツデータの再生を指示するイベントが入力された時には、その選択されているサムネイル画像のタイムスタンプ情報に基づいて、再生処理部403は、選択されているサムネイル画像が出現する時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する。
When an event instructing playback of video content data is input in a state where a thumbnail image on the jumble thumbnail display area is selected, playback processing is performed based on the time stamp information of the selected thumbnail image. The
次に、図11のフローチャートを参照して、ユーザによって顔画像サイズの変更が指示された場合に顔画像一覧表示処理部301によって実行される処理の手順を説明する。
Next, a procedure of processing executed by the face image list
例えば、インデキシングビュー画面が表示されている状態でユーザによって顔画像サイズの変更、つまり顔画像表示エリアのサイズの変更が指示されると(ステップS301のYES)、顔画像一覧表示処理部301は、指定された変更後の顔画像サイズに応じて、顔サムネイル表示エリアの行数および列数をそれぞれ変更する(ステップS302)。そして、顔画像一覧表示処理部301は、顔サムネイル表示エリア内の列それぞれに割り当てられる時間帯を、映像コンテンツデータの総時間長と変更された列の数とに基づいて変更する(ステップS303)。ステップS303においては、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を変更後の列の数で分割することにより、各列に割り当てられる時間帯を決定する。そして、顔画像一覧表示処理部301は、各列に割り当てられる時間帯と、行の数とに基づいて、図8のステップS101〜S105で説明した顔一覧表示処理を実行する(ステップS304)。
For example, when the user instructs to change the face image size, that is, to change the size of the face image display area (YES in step S301), the face image list
以上のように、本実施形態においては、インデキシングビュー画面の顔サムネイル表示エリア上に、映像コンテンツデータから取得された人物の顔画像の一覧が表示される。この場合、顔サムネイル表示エリアの横軸に沿って並んで表示される縦長の複数の列(複数の大区間)それぞれには、映像コンテンツデータの総時間長を列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。そして、各列には、当該列に割り当てられた時間帯に属する顔画像それぞれが、それら顔画像の登場時間順に並んで表示される。ある時間帯にのみ登場する人物の顔画像は、その時間帯に対応する列(大区間)にのみ表示されるが、幾つかの時間帯にそれぞれ登場する人物の顔画像は、それら幾つかの時間帯に対応する幾つかの列(大区間)それぞれに表示される。したがって、映像コンテンツデータ全体に渡って、映像コンテンツデータのどの時間帯にどの人物がどのような順番で登場するかをユーザに分かりやすく提示することが可能となる。よって、ユーザは、録画された各映像コンテンツデータを再生せずとも、各登場人物毎にその登場人物が映像コンテンツデータ全体の中のどの辺りの時間帯に登場するかを容易に把握することが出来る。 As described above, in this embodiment, a list of human face images acquired from the video content data is displayed on the face thumbnail display area of the indexing view screen. In this case, for each of a plurality of vertically long columns (a plurality of large sections) displayed side by side along the horizontal axis of the face thumbnail display area, the total time length of the video content data is divided at equal intervals by the number of columns. Thus, a plurality of time zones having the same time length are assigned to each other. In each column, face images belonging to the time zone assigned to the column are displayed side by side in the order of appearance time of the face images. Face images of people appearing only in a certain time zone are displayed only in the columns (large sections) corresponding to that time zone, but face images of people appearing in several time zones are those It is displayed in each of several columns (large sections) corresponding to the time zone. Therefore, it is possible to present to the user in an easy-to-understand manner which person appears in what order in which time zone of the video content data over the entire video content data. Therefore, the user can easily grasp the time zone in which the character appears in the entire video content data for each character without reproducing each recorded video content data. I can do it.
また、本実施形態においては、各顔画像表示エリアのサイズ(顔画像表示サイズ)の変更を指示するイベントが入力された場合には、当該イベントによって指定された変更後のサイズに応じて、顔サムネイル表示エリアに含まれる列の数が自動的に変更されると共に、顔サムネイル表示エリアに含まれる列それぞれに割り当てられる時間帯も、映像コンテンツデータの総時間長と変更された列の数とに基づいて自動的に変更される。したがって、ユーザによって顔画像表示サイズが変更された場合でも、各登場人物毎に映像コンテンツデータ全体の中のどの辺りの時間帯に登場するかをユーザに提示することができる。 In the present embodiment, when an event for instructing a change in the size of each face image display area (face image display size) is input, the face is changed according to the changed size designated by the event. The number of columns included in the thumbnail display area is automatically changed, and the time zone assigned to each column included in the face thumbnail display area is also the total time length of the video content data and the number of changed columns. Automatically changed based on. Therefore, even when the face image display size is changed by the user, it is possible to present to the user which time zone in the entire video content data appears for each character.
また、映像コンテンツデータによっては、人物が登場しない時間帯が存在する場合がある。しかし、本実施形態においては、顔サムネイルのみならず、じゃばらサムネイルも表示されるので、人物が登場しない時間帯においても、その時間帯における映像コンテンツデータの内容をユーザに提示することができる。 Also, depending on the video content data, there may be a time zone during which no person appears. However, in this embodiment, not only the face thumbnail but also the rose thumbnail are displayed, so that the contents of the video content data in that time zone can be presented to the user even during the time zone when no person appears.
なお、本実施形態の録画予約処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。 Note that all the recording reservation processing procedures of this embodiment can be realized by software, so that the same effect as that of this embodiment can be easily achieved by introducing this software into a normal computer through a computer-readable storage medium. Can be realized.
また、本実施形態の電子機器はコンピュータ10によって実現するのみならず、例えば、HDDレコーダ、DVDレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、TVアプリケーションプログラム202の機能は、DSP、マイクロコンピュータのようなハードウェアによって実現することができる。
In addition, the electronic device of the present embodiment can be realized not only by the
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
以下、本願原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
[1] 映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する顔画像抽出手段と、
前記顔画像抽出手段によって抽出された顔画像それぞれを用いることによって前記映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア上に表示する顔画像一覧表示処理手段とを具備し、
前記2次元の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を前記複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられており、前記顔画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする電子機器。
[2] 前記顔画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分の顔画像を選択し、当該表示処理対象の列内の顔画像表示エリアそれぞれに前記選択した行数分の顔画像それぞれを、それら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする[1]記載の電子機器。
[3] 前記顔画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択することを特徴とする[2]記載の電子機器。
[4] 前記顔画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択することを特徴とする[2]記載の電子機器。
[5] 前記顔画像一覧表示処理手段は、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの総時間長と前記変更された列の数とに基づいて変更することを特徴とする[1]記載の電子機器。
[6] 前記顔画像一覧表示処理手段は、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする[1]記載の電子機器。
[7] 前記2次元の表示エリアに表示された顔画像の中の一つがユーザによって選択されている状態で前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像のタイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする[1]記載の電子機器。
[8] 映像コンテンツデータに登場する人物の顔画像の一覧を表示する顔画像表示方法であって、
映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する顔画像抽出ステップと、
前記顔画像抽出ステップによって抽出された顔画像それぞれを用いることによって前記映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア上に表示する顔画像一覧表示処理ステップとを具備し、
前記2次元の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を前記複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられており、前記顔画像一覧表示処理ステップは、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するステップを含むことを特徴とする顔画像表示方法。
[9] 前記顔画像一覧表示処理ステップは、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの総時間長と前記変更された列の数とに基づいて変更することを特徴とする[8]記載の顔画像表示方法。
[10] 前記顔画像一覧表示処理ステップは、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする[8]記載の顔画像表示方法。
Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
Hereinafter, the invention described in the claims at the time of patent appraisal of the original application will be appended.
[1] Face image extraction means for extracting a person's face image from each of a plurality of frames constituting the video content data, and outputting time stamp information indicating a point in time when each extracted face image appears;
A face image list display processing means for displaying a list of face images of persons appearing in the video content data on a two-dimensional display area by using each of the face images extracted by the face image extraction means;
The two-dimensional display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns, and each of the plurality of columns includes the total time length of the video content data. A plurality of time zones having the same time length obtained by dividing the plurality of columns at equal intervals are respectively assigned, and the face image list display processing means is configured to each of the extracted face images. On the face image display area of each column, the face images belonging to the time zone assigned to each column are arranged and displayed in the order of appearance time of the face images. An electronic device characterized by
[2] The face image list display processing means is based on the time stamp information corresponding to each of the extracted face images, and includes the number of rows from the face images belonging to the time zone assigned to the display processing target column. It is configured to select a face image and display the face images corresponding to the selected number of rows in each face image display area in the display processing target column in order of appearance time of the face images. The electronic device according to [1], which is characterized.
[3] When the number of face images belonging to the time zone assigned to the display processing target column is greater than the number of rows, the face image list display processing means assigns the time assigned to the display processing target column. The electronic device according to [2], wherein a face image that frequently appears in the time zone is preferentially selected from the face images belonging to the zone.
[4] When the number of face images belonging to the time zone assigned to the display processing target column is greater than the number of rows, the face image list display processing means assigns the time assigned to the display processing target column. The electronic device according to [2], wherein a face image having a large size is preferentially selected from face images belonging to a band.
[5] When an event for instructing a change in the size of each face image display area is input, the face image list display processing unit performs the two-dimensional display according to the changed size designated by the event. The number of rows and columns included in the display area is changed, and the time zone assigned to each of the columns included in the two-dimensional display area is changed to the total time length of the video content data and the number of changed columns. The electronic device according to [1], wherein the electronic device is changed based on the above.
[6] The face image list display processing means displays a plurality of thumbnail images corresponding to a plurality of frames extracted from the video content data at equal time intervals on the lower side or the upper side of the two-dimensional display area. When the thumbnail images on the thumbnail display area arranged in one row are displayed in a line and a thumbnail image on the thumbnail display area is designated by the user, the designation is made among a plurality of columns in the two-dimensional display area. The electronic device according to [1], wherein a column to which a time zone to which the thumbnail image is assigned is selected.
[7] When an event instructing reproduction of the video content data is input in a state where one of the face images displayed in the two-dimensional display area is selected by the user, the selected face The image processing apparatus further comprises reproduction processing means for starting reproduction of the video content data from a time point a predetermined time before the time point when the selected face image appears based on time stamp information of the image [1. ] The electronic device of description.
[8] A face image display method for displaying a list of face images of persons appearing in video content data,
A face image extracting step of extracting a person's face image from each of a plurality of frames constituting the video content data and outputting time stamp information indicating a point in time at which each extracted face image appears;
A face image list display processing step of displaying a list of face images of persons appearing in the video content data on a two-dimensional display area by using each of the face images extracted in the face image extraction step,
The two-dimensional display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns, and each of the plurality of columns includes the total time length of the video content data. A plurality of time zones having the same time length obtained by dividing the plurality of columns at equal intervals are respectively allocated, and the face image list display processing step includes the extracted face images, respectively. On the face image display area of each column based on the time stamp information corresponding to each of the face images, the step of displaying the face images belonging to the time zone assigned to each column in order of appearance time of the face images. A featured face image display method.
[9] In the face image list display processing step, when an event for instructing a change in the size of each face image display area is input, the two-dimensional display is performed according to the changed size designated by the event. The number of rows and columns included in the display area is changed, and the time zone allocated to each of the columns included in the two-dimensional display area is changed to the total time length of the video content data and the number of changed columns. The face image display method according to [8], wherein the face image display method is changed based on
[10] In the face image list display processing step, a plurality of thumbnail images corresponding to a plurality of frames extracted from the video content data at equal time intervals are displayed on the lower side or the upper side of the two-dimensional display area. When a thumbnail image on the thumbnail display area is specified by a user and displayed in a row on a thumbnail display area arranged on one side, the designation is made among a plurality of columns in the two-dimensional display area. The face image display method according to [8], wherein a column to which a time zone to which the thumbnail image is assigned is selected.
10…電子機器(コンピュータ)、113…ビデオプロセッサ、117…TVチューナ、301…顔画像一覧表示処理部、401…記録処理部、402…インデキシング制御部、403…再生処理部。
DESCRIPTION OF
Claims (15)
前記画像抽出手段によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手段とを具備し、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手段は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するように構成されていることを特徴とする電子機器。 Image extracting means for extracting a predetermined image from a plurality of frames constituting the video content data and outputting time stamp information indicating a time point at which each extracted image appears;
Image list display processing means for displaying a list of predetermined images appearing in the video content data on each two-dimensional display area by using each of the predetermined images extracted by the image extraction means;
The two-dimensional display area includes a plurality of image display areas divided into a plurality of columns, and each of the plurality of columns is obtained based on the time length of the video content data and the number of the plurality of columns. A plurality of time zones are respectively allocated, and the image list display processing means is arranged in each column on the image display area of each column based on time stamp information corresponding to each of the extracted predetermined images. An electronic device configured to display each of predetermined images belonging to an assigned time zone in order of appearance time of the images.
前記画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されている請求項2記載の電子機器。 The plurality of image display areas are a plurality of face image display areas arranged in a matrix including a plurality of rows and the plurality of columns,
The image list display processing means displays each face image belonging to the time zone assigned to each column on the face image display area of each column based on the time stamp information corresponding to each of the extracted face images. The electronic device according to claim 2, wherein the electronic images are arranged and displayed in order of appearance time of the face images.
前記画像抽出ステップによって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理ステップとを具備し、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理ステップは、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するステップを含むことを特徴とする画像表示方法。 An image extraction step of extracting a predetermined image from a plurality of frames constituting the video content data and outputting time stamp information indicating a time point at which each extracted image appears;
An image list display processing step of displaying a list of predetermined images appearing in the video content data on a two-dimensional display area by using each of the predetermined images extracted by the image extraction step;
The two-dimensional display area includes a plurality of image display areas divided into a plurality of columns, and each of the plurality of columns is obtained based on the time length of the video content data and the number of the plurality of columns. A plurality of time zones are respectively allocated, and the image list display processing step is performed in each column on the image display area of each column based on time stamp information corresponding to each of the extracted predetermined images. An image display method comprising: displaying predetermined images belonging to an assigned time zone in order of appearance time of the images.
前記画像一覧表示処理ステップは、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されている請求項11記載の画像表示方法。 The plurality of image display areas are a plurality of face image display areas arranged in a matrix including a plurality of rows and the plurality of columns,
In the image list display processing step, based on time stamp information corresponding to each of the extracted face images, each face image belonging to a time zone assigned to each column is displayed on the face image display area of each column. 12. The image display method according to claim 11, wherein the image display method is configured to display the face images in order of appearance time.
前記画像抽出手順によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手順とをコンピュータに実行させるプログラムであって、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手順は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示する手順を含むことを特徴とするプログラム。 An image extraction procedure for extracting a predetermined image from a plurality of frames constituting the video content data and outputting time stamp information indicating a time point at which each extracted image appears;
A program for causing a computer to execute an image list display processing procedure for displaying a list of predetermined images appearing in the video content data on a two-dimensional display area by using each of the predetermined images extracted by the image extraction procedure. Because
The two-dimensional display area includes a plurality of image display areas divided into a plurality of columns, and each of the plurality of columns is obtained based on the time length of the video content data and the number of the plurality of columns. A plurality of time zones are respectively allocated, and the image list display processing procedure is based on the time stamp information corresponding to each of the extracted predetermined images, on the image display area of each column. A program comprising a procedure for displaying predetermined images belonging to an assigned time zone in order of appearance time of the images.
前記画像一覧表示処理手順は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する請求項14記載のプログラム。 The plurality of image display areas are a plurality of face image display areas arranged in a matrix including a plurality of rows and the plurality of columns,
In the image list display processing procedure, based on time stamp information corresponding to each of the extracted face images, each face image belonging to the time zone assigned to each column is displayed on the face image display area of each column. The program according to claim 14, wherein the programs are arranged and displayed in order of appearance time of the face images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152059A JP5284426B2 (en) | 2011-07-08 | 2011-07-08 | Electronic apparatus and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152059A JP5284426B2 (en) | 2011-07-08 | 2011-07-08 | Electronic apparatus and image display method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007202321A Division JP2009038680A (en) | 2007-08-02 | 2007-08-02 | Electronic device and face image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011205704A true JP2011205704A (en) | 2011-10-13 |
JP5284426B2 JP5284426B2 (en) | 2013-09-11 |
Family
ID=44881743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011152059A Active JP5284426B2 (en) | 2011-07-08 | 2011-07-08 | Electronic apparatus and image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5284426B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197837A (en) * | 2007-02-09 | 2008-08-28 | Fujifilm Corp | Image processor |
-
2011
- 2011-07-08 JP JP2011152059A patent/JP5284426B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197837A (en) * | 2007-02-09 | 2008-08-28 | Fujifilm Corp | Image processor |
Also Published As
Publication number | Publication date |
---|---|
JP5284426B2 (en) | 2013-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4834640B2 (en) | Electronic device and image display control method | |
JP2009038680A (en) | Electronic device and face image display method | |
JP4331240B2 (en) | Electronic apparatus and image display method | |
JP4909856B2 (en) | Electronic device and display method | |
JP4496264B2 (en) | Electronic device and video display method | |
JP5057918B2 (en) | Electronic device and scene type display method | |
JP4834639B2 (en) | Electronic device and image display control method | |
JP4322945B2 (en) | Electronic device and image display control method | |
JP2009089065A (en) | Electronic device and facial image display apparatus | |
JP2009076982A (en) | Electronic apparatus, and face image display method | |
JP4856105B2 (en) | Electronic device and display processing method | |
JP2009088602A (en) | Electronic apparatus, and display processing method | |
JP2009081699A (en) | Electronic apparatus and method of controlling face image extraction | |
JP5330551B2 (en) | Electronic device and display processing method | |
JP4709929B2 (en) | Electronic device and display control method | |
JP5284426B2 (en) | Electronic apparatus and image display method | |
JP5232291B2 (en) | Electronic device and face image display method | |
JP4987653B2 (en) | Electronic apparatus and image display method | |
JP2009200827A (en) | Electronic device and image display method | |
JP5198609B2 (en) | Electronic device, display control method, and program | |
JP5377624B2 (en) | Electronic device and face image display device | |
JP5566984B2 (en) | Electronic apparatus and image display method | |
JP5349651B2 (en) | Electronic device, face image extraction control method and program | |
JP2009088904A (en) | Information processor and face image displaying method | |
JP5318171B2 (en) | Electronic device and image display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130529 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5284426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |