JP5566984B2 - Electronic apparatus and image display method - Google Patents
Electronic apparatus and image display method Download PDFInfo
- Publication number
- JP5566984B2 JP5566984B2 JP2011226828A JP2011226828A JP5566984B2 JP 5566984 B2 JP5566984 B2 JP 5566984B2 JP 2011226828 A JP2011226828 A JP 2011226828A JP 2011226828 A JP2011226828 A JP 2011226828A JP 5566984 B2 JP5566984 B2 JP 5566984B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- face image
- images
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は映像コンテンツデータの概要を示す情報を表示する電子機器および画像表示方法に関する。 The present invention relates to an electronic device and an image display method for displaying information indicating an outline of video content data.
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータを記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。 Generally, electronic devices such as a video recorder and a personal computer can record and reproduce various video content data such as television broadcast program data. In this case, a title name is added to each video content data stored in the electronic device, but it is not possible for the user to grasp what the content of each video content data is based on the title name alone. Have difficulty. For this reason, in order to grasp the content of the video content data, it is necessary to reproduce the video content data. However, reproduction of video content data with a long total time length requires a lot of time even when a fast-forward reproduction function or the like is used.
特許文献１には、登場人物一覧表示機能を有する装置が開示されている。この装置は、映像コンテンツにおける登場人物の一覧として、映像コンテンツにおける登場人物それぞれの顔の画像を並べて表示する機能を有している。
しかし、単純に登場人物それぞれの顔の画像を並べて表示しただけでは、ユーザは、どのような人物が登場するかについては把握することが出来るものの、映像コンテンツデータ全体の概要を把握することは困難である。また、映像コンテンツデータ内のどの部分（場面）にどの人物が登場するかを把握することも困難である。 However, it is difficult for the user to grasp the outline of the entire video content data, although the user can grasp what kind of person appears by simply displaying the images of the faces of the characters side by side. It is. It is also difficult to grasp which person (scene) appears in which part (scene) in the video content data.
本発明は上述の事情を考慮してなされたものであり、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の概要をユーザに提示することができ、且つユーザが着眼した映像コンテンツデータ内のある特定の部分にどの人物が登場するかをユーザに提示することができる電子機器および画像表示方法を提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and can provide an overview of the entire video content data to the user without reproducing the video content data. An object of the present invention is to provide an electronic device and an image display method capable of presenting to a user which person appears in a specific part.
上述の課題を解決するため、請求項１記載の電子機器は、映像コンテンツデータから抽出される複数の顔画像の一覧を表示画面上の第１の表示エリア上に表示する顔画像表示手段と、前記映像コンテンツデータから抽出される複数のフレームに対応する複数の静止画像をこれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する静止画像表示手段と、前記顔画像の一覧からの顔画像の選択に応じて、前記複数の静止画像の内、前記選択された顔画像が登場する静止画像の表示を変更する連動表示制御手段とを具備することを特徴とする。
In order to solve the above-described problem, the electronic device according to
また、上述の課題を解決するため、請求項５記載の電子機器は、映像コンテンツデータから抽出される複数の顔画像の一覧を表示画面上の第１の表示エリア上に表示する顔画像表示手段と、前記映像コンテンツデータから抽出される複数のフレームに対応する複数の静止画像をこれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する静止画像表示手段と、前記複数の静止画像からの静止画像の選択に応じて、前記顔画像の一覧の内、前記選択された静止画像内に登場する顔画像を、他の各顔画像と区別した状態で表示する連動表示制御手段とを具備することを特徴とする。
In order to solve the above-described problem, the electronic device according to
本発明によれば、映像コンテンツデータを再生することなく、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の概要をユーザに提示することができ、且つユーザが着眼した映像コンテンツデータ内のある特定の部分にどの人物が登場するかをユーザに提示することができる。 According to the present invention, an overview of the entire video content data can be presented to the user without reproducing the video content data and without reproducing the video content data, and there is in the video content data focused on by the user. It is possible to present to the user which person appears in a specific part.
以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1 and FIG. 2, the structure of the electronic device which concerns on one Embodiment of this invention is demonstrated. The electronic apparatus according to the present embodiment is realized by, for example, a notebook portable
このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録および再生することができる。即ち、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
The
さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、ＴＶ機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームそれぞれに対応する静止画像を時間順に並べて表示するサムネイル表示機能も有している。
Furthermore, the
図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。
FIG. 1 is a perspective view of the
ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。
The
入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。
The
コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。
On the right side of the computer
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。
As shown in FIG. 2, the
ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびＴＶアプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
The
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
The
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
The
ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
The
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
The
またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。
Furthermore, a
ビデオプロセッサ１１３は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に出現する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
The
さらに、映像インデキシング処理においては、上述の顔画像抽出処理と並行して、サムネイル画像取得処理もビデオプロセッサ１１３によって実行される。サムネイル画像は、映像コンテンツデータから所定時間間隔で抽出された複数のフレームの各々に対応する画像（縮小画像でもよい）である。
Further, in the video indexing process, a thumbnail image acquisition process is also executed by the
また、さらに、ビデオプロセッサ１１３は、例えば、映像コンテンツデータ内に含まれるコマーシャル（ＣＭ）区間を検出する処理、および音声インデキシング処理も実行する。通常、各ＣＭ区間の時間長は、予め決められた幾つかの時間長の内の１つに設定されている。また、ＣＭ区間の前後には一定時間長の無音期間が存在する。したがって、ＣＭ区間の検出処理においては、例えば、映像コンテンツデータ内に含まれるオーディオデータが分析され、一定時間長の無音区間が検出される。そして、検出された連続する２つの無音区間に挾まれ、且つ一定値以上の時間長を有する部分データを含む区間が、ＣＭ区間として検出される。
Furthermore, the
音声インデキシング処理は、映像コンテンツデータ内に含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を検出するインデキシング処理である。音声インデキシング処理においては、例えば、オーディオデータの周波数スペクトルの特徴が分析され、その周波数スペクトルの特徴に応じて、音楽区間、およびトーク区間が検出される。音楽区間に対応する周波数スペクトルの特徴と、トーク区間に対応する周波数スペクトルの特徴とは互いに異なるので、周波数スペクトルの特徴を分析することによって、音楽区間およびトーク区間のそれぞれを検出することができる。また、音楽区間に対応する周波数スペクトルの特徴とトーク区間に対応する周波数スペクトルの特徴とが混ざり合った周波数スペクトルを有する区間は、音楽区間とトーク区間とが重なった重畳区間として検出することができる。 In the audio indexing process, the audio data included in the video content data is analyzed to detect a music section in which the music flows and a talk section in which a person is talking. It is processing. In the audio indexing process, for example, the characteristics of the frequency spectrum of the audio data are analyzed, and the music section and the talk section are detected according to the characteristics of the frequency spectrum. Since the characteristics of the frequency spectrum corresponding to the music section and the characteristics of the frequency spectrum corresponding to the talk section are different from each other, the music section and the talk section can be detected by analyzing the characteristics of the frequency spectrum. In addition, a section having a frequency spectrum in which the characteristics of the frequency spectrum corresponding to the music section and the characteristics of the frequency spectrum corresponding to the talk section are mixed can be detected as a superimposed section in which the music section and the talk section overlap. .
トーク区間の検出処理においては、例えば、話者セグメンテーション技術または話者クラスタリング技術等が用いられ、これによって話者の切り替わりも検出される。同一の話者（または同一の話者グループ）が連続してトークしている期間が、一つのトーク区間となる。 In the talk section detection process, for example, speaker segmentation technology or speaker clustering technology is used, and thereby switching of speakers is also detected. A period during which the same speaker (or the same speaker group) continuously talks is one talk section.
さらに、音声インデキシング処理は、映像コンテンツデータ内の各部分データ（一定時間長のデータ）毎に歓声レベルを検出する歓声レベル検出処理、および映像コンテンツデータ内の各部分データ毎に盛り上がりレベルを検出する盛り上がりレベル検出処理を実行する。 Furthermore, the audio indexing process detects a cheer level for each partial data (data of a certain length of time) in the video content data, and detects a swell level for each partial data in the video content data. The swell level detection process is executed.
歓声レベルは、歓声の大きさを示す。歓声は、大勢の人の声が合わさった音である。大勢の人の声が合わさった音は、ある特定の周波数スペクトルの分布を有する。歓声レベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの周波数スペクトルが分析され、そしてその周波数スペクトルの分析結果に従って、各部分データの歓声レベルが検出される。盛り上がりレベルは、ある一定以上の音量レベルがある一定時間長以上連続的に発生する区間の音量レベルである。例えば、比較的盛大な拍手、大きな笑い声のような音の音量レベルが、盛り上がりレベルである。盛り上がりレベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの音量の分布が分析され、その分析結果に従って、各部分データの盛り上がりレベルが検出される。 The cheer level indicates the size of the cheer. Cheers are the sounds of many people. The sound of many human voices has a certain frequency spectrum distribution. In the cheer level detection process, the frequency spectrum of the audio data included in the video content data is analyzed, and the cheer level of each partial data is detected according to the analysis result of the frequency spectrum. The excitement level is a volume level of a section in which a volume level above a certain level is continuously generated for a certain length of time. For example, the volume level of a sound such as a relatively large applause and a loud laughter is the excitement level. In the swell level detection process, the volume distribution of the audio data included in the video content data is analyzed, and the swell level of each partial data is detected according to the analysis result.
メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。インデキシング処理（ＣＭ検出処理、映像インデキシング処理、および音声インデキシング処理）を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデキシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。なお、ＣＭ検出処理は上述したようにオーディオデータを解析することによって実行することができるので、以下では、ＣＭ検出処理を音声インデキシング処理内の１つの処理として扱うことにする。
The
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。
The
無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
The
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
The embedded controller / keyboard controller IC (EC / KBC) 116 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
The
次に、図３を参照して、ＴＶアプリケーションプログラム２０２によって実行される顔画像一覧表示機能について説明する。
Next, the face image list display function executed by the
放送番組データのような映像コンテンツデータに対するインデキシング処理（映像インデキシング処理、および音声インデキシング処理）は、上述したように、インデキシング処理部として機能するビデオプロセッサ１１３によって実行される。
As described above, the indexing process (video indexing process and audio indexing process) for video content data such as broadcast program data is executed by the
ビデオプロセッサ１１３は、ＴＶアプリケーションプログラム２０２の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデキシング処理を実行する。また、ビデオプロセッサ１１３は、ＴＶチューナ１１７によって受信された放送番組データをＨＤＤ１１１に格納する録画処理と並行して、当該放送番組データに対するインデキシング処理を実行することもできる。
Under the control of the
映像インデキシング処理（顔画像インデキシング処理とも云う）においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
In the video indexing process (also referred to as face image indexing process), the
さらに、ビデオプロセッサ１１３は、抽出された各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ａに顔画像インデキシング情報として格納される。このデータベース１１１Ａは、ＨＤＤ１１１内に用意されたインデキシングデータ記憶用の記憶領域である。
Furthermore, the
さらに、映像インデキシング処理においては、ビデオプロセッサ１１３は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。すなわち、ビデオプロセッサ１１３は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像（サムネイル画像）と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報ＴＳとを出力する。ビデオプロセッサ１１３から出力されるサムネイル画像取得結果データ（サムネイル、タイムスタンプ情報ＴＳ）も、データベース１１１Ａにサムネイルインデキシング情報として格納される。
Further, in the video indexing process, the
顔画像インデキシング処理では顔画像を含む部分領域のみがフレームから取得されるのに対し、サムネイル画像取得処理では、フレーム全体の静止画像が取得される。 In the face image indexing process, only a partial region including the face image is acquired from the frame, whereas in the thumbnail image acquisition process, a still image of the entire frame is acquired.
また、音声インデキシング処理においては、ビデオプロセッサ１１３は、映像コンテンツに含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる複数種の属性区間（ＣＭ区間、音楽区間、およびトーク区間）を検出し、検出された各属性区間の開始および終了の時点を規定する区間属性情報を出力する。この区間属性情報は、例えば、各属性区間毎にその属性区間の開始時点および終了時点をそれぞれ示す時間情報から構成することができる。また、区間属性情報を、属性区間の開始時点を示す情報とその属性区間の時間長を示す情報とによって構成してもよい。
In the audio indexing process, the
この区間属性情報は、属性検出結果情報としてデータベース１１１Ａに格納される。さらに、音声インデキシング処理においては、ビデオプロセッサ１１３は、上述の歓声レベル検出処理および盛り上がりレベル検出処理も実行する。これら歓声レベル検出処理の結果および盛り上がりレベル検出処理の結果も、上述の属性検出結果情報の一部としてデータベース１１１Ａに格納される。
This section attribute information is stored in the
属性検出結果情報（区間属性情報）は、図４に示されているように、例えば、ＣＭ区間テーブル、音楽区間テーブル、トーク区間テーブル、および歓声／盛り上がりテーブルから構成されている。 As shown in FIG. 4, the attribute detection result information (section attribute information) includes, for example, a CM section table, a music section table, a talk section table, and a cheer / climax table.
ＣＭ区間テーブルは、検出されたＣＭ区間の開始時点および終了時点を示すＣＭ区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のＣＭ区間が存在する場合には、それら複数のＣＭ区間それぞれに対応するＣＭ区間属性情報がＣＭ区間テーブルに格納される。ＣＭ区間テーブルにおいては、検出された各ＣＭ区間毎に当該ＣＭ区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。 The CM section table stores CM section attribute information indicating the start time and end time of the detected CM section. When there are a plurality of CM sections in the sequence from the start position to the end position of the video content data, CM section attribute information corresponding to each of the plurality of CM sections is stored in the CM section table. In the CM section table, start time information and end time information indicating the start time and end time of the CM section are stored for each detected CM section.
音楽区間テーブルは、検出された音楽区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数の音楽区間が存在する場合には、それら複数の音楽区間それぞれに対応する音楽区間属性情報が音楽区間テーブルに格納される。音楽区間テーブルにおいては、検出された各音楽区間毎に当該音楽区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。 The music section table stores music section attribute information indicating the start time and end time of the detected music section. When there are a plurality of music sections in the sequence from the start position to the end position of the video content data, music section attribute information corresponding to each of the plurality of music sections is stored in the music section table. In the music section table, start time information and end time information indicating the start time and end time of the music section are stored for each detected music section.
トーク区間テーブルは、検出されたトーク区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のトーク区間が存在する場合には、それら複数のトーク区間それぞれに対応するトーク区間属性情報がトーク区間テーブルに格納される。トーク区間テーブルにおいては、検出された各トーク区間毎に当該トーク区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。 The talk section table stores music section attribute information indicating the start time and end time of the detected talk section. When there are a plurality of talk sections in the sequence from the start position to the end position of the video content data, talk section attribute information corresponding to each of the plurality of talk sections is stored in the talk section table. In the talk section table, start time information and end time information indicating the start time and end time of the talk section are stored for each detected talk section.
歓声／盛り上がりテーブルは、映像コンテンツデータ内の一定時間長の部分データ（タイムセグメントＴ１，Ｔ２，Ｔ３，…）それぞれにおける歓声レベルおよび盛り上がりレベルを格納する。 The cheer / climax table stores cheer levels and excitement levels in each partial data (time segments T1, T2, T3,...) Of a certain time length in the video content data.
図３に示されているように、ＴＶアプリケーションプログラム２０２は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部３０１を含んでいる。この顔画像一覧表示処理部３０１は、例えば、インデキシングビューワプログラムとして実現されており、データベース１１１Ａに格納されたインデキシング情報（顔画像インデキシング情報、サムネイルインデキシング情報、区間属性情報、等）を用いて、映像コンテンツデータの概要を俯瞰するためのインデキシングビュー画面を表示する。
As shown in FIG. 3, the
具体的には、顔画像一覧表示処理部３０１は、データベース１１１Ａから顔画像インデキシング情報（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）を読み出し、そしてその顔画像インデキシング情報を用いて、映像コンテンツデータに登場する人物の顔画像の一覧を、インデキシングビュー画面上の２次元の表示エリア（以下、顔サムネイル表示エリアと称する）上に表示する。この場合、顔画像一覧表示処理部３０１は、映像コンテンツデータの総時間長を、例えば等間隔で、複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部３０１は、時間帯毎に、選択した所定個の顔画像それぞれを並べて表示する。
Specifically, the face image list
すなわち、２次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を構成する複数の時間帯が割り当てられている。具体的には、例えば、複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。もちろん、各列に割り当てられる時間帯は必ずしも同一の時間長でなくてもよい。 That is, the two-dimensional face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. A plurality of time zones constituting the total time length of the video content data are assigned to each of the plurality of columns. Specifically, for example, in each of the plurality of columns, a plurality of time zones having the same time length obtained by dividing the total time length of the video content data at equal intervals by the number of the plurality of columns. Are assigned to each. Of course, the time zone allocated to each column does not necessarily have the same time length.
顔画像一覧表示処理部３０１は、顔画像それぞれに対応するタイムスタンプ情報ＴＳに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれを、例えば、それら顔画像の出現頻度順（顔画像の検出時間長順）のような順序で並べて表示する。この場合、例えば、当該各列に割り当てられた時間帯に属する顔画像の内から、出現頻度（登場頻度）の高い順に顔画像が行数分だけ選択され、選択された顔画像が登場頻度順に上から下に向かって並んで配置される。もちろん、出現頻度順ではなく、各列に割り当てられた時間帯に出現する顔画像それぞれを、その出現順に並べて表示してもよい。
The face image list
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図６以降で後述する。 With this face image list display function, it is possible to easily show to the user which person appears in which time zone in the entire video content data. A specific configuration example of the face thumbnail display area will be described later with reference to FIG.
また、顔画像一覧表示処理部３０１は、データベース１１１Ａからサムネイルインデキシング情報（サムネイル画像、タイムスタンプ情報ＴＳ）を読み出し、そしてサムネイルインデキシング情報を用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア（以下、じゃばらサムネイル表示エリアと称する）上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
In addition, the face image list
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、インデキシングビュー画面上に顔サムネイル表示エリアのみならず、じゃばらサムネイル表示エリアも表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。しかも、じゃばらサムネイル表示エリア上の各サムネイル画像はフレーム全体の画像である。よって、じゃばらサムネイル表示エリアは、映像コンテンツデータ全体の概要をユーザに提示するのに有用である。 Depending on the video content data, there may be a time period when the face image does not appear. Therefore, by displaying not only the face thumbnail display area but also the loose thumbnail display area on the indexing view screen, the contents of the video content data in that time period can be presented to the user even during the time period when the face image does not appear. Can do. Moreover, each thumbnail image on the rose thumbnail display area is an image of the entire frame. Therefore, the jabber thumbnail display area is useful for presenting an overview of the entire video content data to the user.
さらに、顔画像一覧表示処理部３０１は、データベース１１１Ａから区間属性情報（ＣＭ区間属性情報、音楽区間属性情報、トーク区間属性情報）を読み出し、その区間属性情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における各属性区間（ＣＭ区間、音楽区間、トーク区間）の位置（開始時点から終了時点までの区間）を示すバー領域を含む区間バーを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に表示する。この区間バーは、例えば、３つのサブ区間バー、つまりＣＭ区間の位置を示すＣＭ区間バー、音楽区間の位置を示す音楽区間バー、トーク区間の位置を示すトーク区間バーを含んでいる。
Further, the face image list
シーケンス内に複数のＣＭ区間が存在する場合、複数のＣＭ区間それぞれの位置を示す複数のバー領域がＣＭ区間バー内に表示される。同様に、シーケンス内に複数の音楽区間が存在する場合には複数の音楽区間それぞれの位置を示す複数のバー領域が音楽区間バー内に表示され、シーケンス内に複数のトーク区間が存在する場合には複数のトーク区間それぞれの位置を示す複数のバー領域がトーク区間バー内に表示される。 When a plurality of CM sections exist in the sequence, a plurality of bar areas indicating the positions of the plurality of CM sections are displayed in the CM section bar. Similarly, when there are a plurality of music sections in the sequence, a plurality of bar areas indicating the positions of the plurality of music sections are displayed in the music section bar, and there are a plurality of talk sections in the sequence. A plurality of bar areas indicating positions of the plurality of talk sections are displayed in the talk section bar.
インデキシングビュー画面上に区間バーを表示することにより、顔サムネイル表示エリア内の各顔画像がどのような属性区間（ＣＭ区間、音楽区間、トーク区間）に登場する人物の顔画像であるかを、ユーザに提示することができる。また、じゃばらサムネイル表示エリア上の各サムネイル画像がどのような属性区間（ＣＭ区間、音楽区間、トーク区間）から抽出されたフレームであるかをユーザに提示することもできる。したがって、ユーザは、登場人物と、サムネイル画像と、区間属性とを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。 By displaying a section bar on the indexing view screen, it is possible to determine in which attribute section (CM section, music section, talk section) each face image in the face thumbnail display area is a face image of a person appearing. It can be presented to the user. In addition, it is possible to present to the user which attribute section (CM section, music section, talk section) each thumbnail image on the jumble thumbnail display area is extracted from. Therefore, the user can find the data position where reproduction should be started from the entire video content data in consideration of the characters, thumbnail images, and section attributes.
さらに、顔画像一覧表示処理部３０１は、データベース１１１Ａから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化および盛り上がりレベルの変化をそれぞれ示すグラフを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に配置されたレベル表示エリア上に表示する。
Further, the face image list
このレベル表示エリアを見ることにより、ユーザに、映像コンテンツデータ内のどの辺りに大きな歓声が生じた区間が存在し、また映像コンテンツデータ内のどの辺りに盛り上がりの大きな区間が存在するかを提示することができる。ユーザは、登場人物と、サムネイル画像と、区間属性と、歓声レベルと、盛り上がりレベルとを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。 By looking at this level display area, the user is presented in which part of the video content data has a large cheering area and in which part of the video content data has a large swell. be able to. The user can find the data position where the reproduction should be started from the entire video content data in consideration of the characters, thumbnail images, section attributes, cheer level, and excitement level.
次に、図５を参照して、ＴＶアプリケーションプログラム２０２の機能構成を説明する。
Next, the functional configuration of the
ＴＶアプリケーションプログラム２０２は、上述の顔画像一覧表示処理部３０１に加え、記録処理部４０１、インデキシング制御部４０２、再生処理部４０３等を備えている。
The
記録処理部４０１は、ＴＶチューナ１１７によって受信された放送番組データ、または外部機器から入力されるビデオデータをＨＤＤ１１１に記録する記録処理を実行する。また、記録処理部４０１は、ユーザによって予め設定された録画予約情報（チャンネル番号、日時）によって指定される放送番組データをＴＶチューナ１１７を用いて受信し、その放送番組データをＨＤＤ１１１に記録する予約録画処理も実行する。
The
インデキシング制御部４０２は、ビデオプロセッサ（インデキシング処理部）１１３を制御して、インデキシング処理（映像インデキシング処理、音声インデキシング処理）をビデオプロセッサ１１３に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがＨＤＤ１１１に記録された後に、インデキシング処理が自動的に開始される。また、ユーザは、既にＨＤＤ１１１に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
The
再生処理部４０３は、ＨＤＤ１１１に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部４０３は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時、選択されている顔画像が出現する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。さらに、再生処理部４０３は、じゃばらサムネイル表示エリア上の中の一つのサムネイル画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時も、選択されているサムネイル画像が出現する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始することができる。
The
なお、インデキシング処理は、必ずしもビデオプロセッサ１１３によって実行する必要はなく、例えば、ＴＶアプリケーションプログラム２０２にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、ＴＶアプリケーションプログラム２０２の制御の下に、ＣＰＵ１０１によって実行される。
Note that the indexing process is not necessarily executed by the
次に、図６乃至図９を参照して、インデキシングビュー画面の具体的な構成について説明する。 Next, a specific configuration of the indexing view screen will be described with reference to FIGS.
図６には、顔画像一覧表示処理部３０１によってＬＣＤ１７に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある映像コンテンツデータ（例えば放送番組データ）をインデキシング処理することによって得られた画面である。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、上述のレベル表示エリアと、上述の区間バーと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
FIG. 6 shows an example of an indexing view screen displayed on the
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図６においては、選択されたサムネイル画像との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。 Here, the loose format is a display format in which a selected thumbnail image is displayed in a normal size, and the other thumbnail images are displayed in a reduced size in the horizontal direction. In FIG. 6, the larger the distance from the selected thumbnail image, the smaller the horizontal size.
レベル表示エリアにおいては、歓声レベルの変化を示すグラフ（図６中の濃い色で示されるグラフ）と、歓声レベルの変化を示すグラフ（図６中の薄い色で示されるグラフ）が表示される。 In the level display area, a graph indicating a change in the cheer level (a graph indicated by a dark color in FIG. 6) and a graph indicating a change in the cheer level (a graph indicated by a light color in FIG. 6) are displayed. .
区間バーは、トーク区間バーと、音楽区間バーと、ＣＭ区間バーとを含んでいる。ＣＭ区間バーにおいては、各ＣＭ区間（各部分ＣＭ区間）の位置にバー領域（図６の黒色の帯状領域）が表示される。音楽区間バーにおいては、各音楽区間（各部分音楽区間）の位置にバー領域（図６のクロスハッチングされた帯状領域）が表示される。トーク区間バーにおいては、各トーク区間（各部分トーク区間）の位置にバー領域（図６のハッチングされた帯状領域）が表示される。 The section bar includes a talk section bar, a music section bar, and a CM section bar. In the CM section bar, a bar area (black belt-like area in FIG. 6) is displayed at the position of each CM section (each partial CM section). In the music section bar, a bar area (a cross-hatched band-shaped area in FIG. 6) is displayed at the position of each music section (each partial music section). In the talk section bar, a bar area (hatched band area in FIG. 6) is displayed at the position of each talk section (each partial talk section).
さらに、インデキシングビュー画面上には、現在位置バーも表示される。現在位置バーは、現在選択されているサムネイル画像が映像コンテンツデータ全体の中のどの辺りに位置するフレームであるかを示す。選択されているサムネイル画像が変更されると、これに伴って現在位置バーの表示位置も変更される。 Further, a current position bar is also displayed on the indexing view screen. The current position bar indicates where the currently selected thumbnail image is located in the entire video content data. When the selected thumbnail image is changed, the display position of the current position bar is also changed accordingly.
図７は、顔サムネイル表示エリアの構成例が示されている。 FIG. 7 shows a configuration example of the face thumbnail display area.
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図７においては、顔サムネイル表示エリアは６行×１６列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、９６個である。 The face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. In FIG. 7, the face thumbnail display area is composed of 6 rows × 16 columns. The number of face image display areas included in the face thumbnail display area is 96.
列１〜列１６のそれぞれには、例えば、映像コンテンツデータの総時間長を列数（＝１６）で等間隔で分割することによって得られる、互いに同一の時間長Ｔを有する複数の時間帯がそれぞれ割り当てられる。
Each of the
例えば、映像コンテンツデータの総時間長が２時間であるならば、その２時間が１６個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Ｔは、７．５分である。例えば、列１には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列２には、0:07:30から0:15:00までの時間帯が割り当てられ、列３には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Ｔは変化する。
For example, if the total time length of the video content data is 2 hours, the 2 hours are divided into 16 time zones at equal intervals. In this case, the time length T of each time zone is 7.5 minutes. For example,
もちろん、複数の列それぞれに割り当てられる時間帯の長さは、必ずしも同一である必要はない。 Of course, the length of the time zone assigned to each of the plurality of columns is not necessarily the same.
顔画像一覧表示処理部３０１は、ビデオプロセッサ１１３によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の６個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをたとえば上述の頻度順に並べて表示する。この場合、顔画像一覧表示処理部３０１は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分（６個）の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
The face image list
このように、顔サムネイル表示エリアにおいては、左端位置（1,1）を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。 In this way, the face thumbnail display area uses a time axis with the left end position (1, 1) as a base point and the right end position (6, 16) as the end of video content data.
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、 “中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。 The size of the face image displayed in each face image display area of the face thumbnail display area can be selected from “large”, “medium”, and “small”. The number of rows and columns is changed according to the size of the face image selected by the user. The relationship between the size of the face image and the number of rows and columns is as follows.
（１）“大”の場合； ３行×８列
（２）“中”の場合； ６行×１６列
（３）“小”の場合： １０行×２４列
“大”の場合においては、各顔画像は、例えば、１８０×１８０ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、９０×９０ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、６０×６０ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。
(1) “Large”; 3 rows x 8 columns (2) “Medium”; 6 rows x 16 columns (3) “Small”: 10 rows x 24 columns “Large” Each face image is displayed with a size of 180 × 180 pixels, for example. In the case of “medium”, each face image is displayed with a size of 90 × 90 pixels, for example. In the case of “small”, each face image is displayed with a size of 60 × 60 pixels, for example. The default face image size is set to “medium”, for example.
顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の２つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ（１８０×１８０、９０×９０、または６０×６０）よりも大きく設定される。図７においては、座標(１，１２)の顔画像が“フォーカス”状態である場合を示している。また、“フォーカス”状態の顔画像を枠で囲んでも良い。顔サムネイル表示エリア上における顔画像の選択および“フォーカス”状態の顔画像の移動は、ユーザによる入力装置の操作（例えば、リモコンユニットの上下左右ボタンの押下操作、キーボードの上下左右カーソルキーの押下操作、マウスカーソルの移動操作）に応じて実行される。すわち、顔画像一覧表示処理部３０１は、ユーザによる入力装置の操作に応じて顔サムネイル表示エリア上における複数の顔画像の１つを選択し、その選択した顔画像を他の各顔画像と区別した状態で表示する。具体的には、上述したように、選択した顔画像の表示サイズを拡大する処理、および選択した顔画像を囲む枠を表示する処理等が行われる。
Each face image in the face thumbnail display area is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The size of the face image in the “focus” state is set larger than the size in the “standard” state (180 × 180, 90 × 90, or 60 × 60). FIG. 7 shows a case where the face image at the coordinates (1, 12) is in the “focus” state. Further, the face image in the “focus” state may be surrounded by a frame. Selection of the face image on the face thumbnail display area and movement of the face image in the “focus” state are performed by the user operating the input device (for example, pressing the up / down / left / right button on the remote control unit, pressing the up / down / left / right cursor key on the keyboard) , Mouse cursor movement operation). That is, the face image list
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って、例えば２４０枚、１４４枚、９６枚、４８枚のいずれかに設定される。デフォルトは例えば２４０枚である。 The number of thumbnail images displayed in the loose thumbnail display area is set to, for example, 240, 144, 96, or 48 according to the user setting. The default is 240 sheets, for example.
サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の２つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。また、“フォーカス”状態のサムネイル画像を枠で囲んでも良い。 The thumbnail image is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The thumbnail image in the “focus” state is displayed in a larger size than the other thumbnail images. Further, a thumbnail image in the “focus” state may be surrounded by a frame.
じゃばらサムネイル表示エリア上におけるサムネイル画像の選択および“フォーカス”状態のサムネイル画像の移動も、ユーザによる入力装置の操作（リモコンユニットの左右ボタンの操作、キーボードの左右カーソルキーの操作、マウスカーソルの移動）に応じて実行される。すわち、顔画像一覧表示処理部３０１は、ユーザによる入力装置の操作に応じてじゃばらサムネイル表示エリアにおける複数のサムネイル画像の１つを選択し、その選択したサムネイル画像を他の各サムネイル画像よりも大きなサイズで表示する。“フォーカス”状態のサムネイル画像の移動に伴って“フォーカス”状態から“標準”状態に変更されるサムネイル画像のサイズは縮小される。ユーザは、リモコンユニットの左右ボタンの操作、キーボードの操作、またはマウスの操作等によって“フォーカス”状態のサムネイル画像を左右に移動させながら、映像コンテンツデータの内容を俯瞰することができる。
The user can also select the thumbnail image on the thumbnail display area and move the "focused" thumbnail image by operating the input device (operating the left and right buttons on the remote control unit, operating the left and right cursor keys on the keyboard, moving the mouse cursor) It is executed according to. That is, the face image list
顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの間のフォーカスの移動も、ユーザによる入力装置の操作に応じて実行される。顔サムネイル表示エリアにフォーカスがある場合においては、ユーザによる入力装置の操作に応じて、顔サムネイル表示エリア上における顔画像の選択および“フォーカス”状態の顔画像の移動が行われる。一方、じゃばらサムネイル表示エリアにフォーカスがある場合においては、ユーザによる入力装置の操作に応じて、じゃばらサムネイル表示エリア上におけるサムネイル画像の選択および“フォーカス”状態のサムネイル画像の移動が行われる。 The movement of the focus between the face thumbnail display area and the rose thumbnail display area is also executed according to the operation of the input device by the user. When the focus is in the face thumbnail display area, the face image is selected on the face thumbnail display area and the face image in the “focus” state is moved according to the operation of the input device by the user. On the other hand, when the jagged thumbnail display area has focus, the thumbnail image is selected on the jagged thumbnail display area and the thumbnail image in the “focus” state is moved in accordance with the operation of the input device by the user.
次に、図８を参照して、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係について説明する。 Next, the relationship between the face thumbnail display area and the jagged thumbnail display area will be described with reference to FIG.
同一列に属する顔画像表示エリア群の集合、つまり顔サムネイル表示エリア内の個々の列を“大区間”と称する。また、“大区間”をさらに分割したものを“小区間”と称する。１つの大区間に含まれる小区間の数は、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数を顔サムネイル表示エリアの列数で割った商で与えられる。例えば、顔サムネイル表示エリアが６行×１６列で、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数が２４０枚であるならば、１つの大区間に含まれる小区間の数は、１５（＝２４０÷１６）となる。１つの大区間は１５個の小区間を含む。換言すれば、１つの大区間に対応する時間帯には、１５枚のサムネイル画像が属することになる。 A set of face image display areas belonging to the same column, that is, each column in the face thumbnail display area is referred to as a “large section”. Further, the “large section” further divided is referred to as “small section”. The number of small sections included in one large section is given by a quotient obtained by dividing the number of thumbnail images displayed in the jagged thumbnail display area by the number of columns in the face thumbnail display area. For example, if the face thumbnail display area is 6 rows × 16 columns and the number of thumbnail images displayed in the loose thumbnail display area is 240, the number of small sections included in one large section is 15 (= 240 ÷ 16). One large section includes 15 small sections. In other words, 15 thumbnail images belong to the time zone corresponding to one large section.
じゃばらサムネイル表示エリア上のあるサムネイル画像が選択された時、顔画像一覧表示処理部３０１は、選択されたサムネイル画像のタイムスタンプ情報に基づき、顔サムネイル表示エリア内の複数の列（複数の大区間）の内で、選択されたサムネイル画像が属する時間帯が割り当てられた列（大区間）を選択する。選択される大区間は、選択されたサムネイル画像を小区間として含む大区間である。そして、顔画像一覧表示処理部３０１は、選択されたサムネイル画像と選択された大区間との間を対応付ける上述の現在位置バー（縦長のバー）を表示する。この現在位置バーは、選択されたサムネイル画像に対応する小区間が、選択された大区間に含まれる１５個の小区間の内のどの小区間に対応するかを提示するために使用される。現在位置バーの幅は、小区間の幅と同じである。より具体的には、現在位置バーは、選択された大区間に含まれる１５個の小区間の内で、選択されたサムネイル画像に対応する小区間の位置に表示される。例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する１５枚のサムネイル画像の内の先頭の画像、つまり大区間内の先頭の小区間に対応する画像であるならば、選択されたサムネイル画像は、現在位置バーによって大区間の左端に対応付けられる。また、例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する１５枚のサムネイル画像の内の終端の画像、つまり大区間内の終端の小区間に対応する画像であるならば、選択されたサムネイル画像は、現在位置バーによって大区間の右端に対応付けられる。
When a certain thumbnail image on the jagged thumbnail display area is selected, the face image list
このように、じゃばらサムネイル表示エリア上のサムネイル画像が選択された時には、顔サムネイル表示エリア内の複数の列の内から、選択されたサムネイル画像が属する時間帯が割り当てられている列（大区間）が選択され、その選択された列と選択されたサムネイル画像とが現在位置バーによって対応付けられる。 As described above, when a thumbnail image on the jagged thumbnail display area is selected, a column (large section) to which the time zone to which the selected thumbnail image belongs is assigned from among a plurality of columns in the face thumbnail display area. Is selected, and the selected row is associated with the selected thumbnail image by the current position bar.
現在位置バーにより、ユーザは、選択したサムネイル画像が、顔サムネイル表示エリア内のどの列（大区間）に対応する画像であるかを識別することができる。さらに、ユーザは、選択したサムネイル画像が、どの列（大区間）内のどの辺りの時点に対応する画像であるかも識別することができる。 The current position bar allows the user to identify which column (large section) in the face thumbnail display area corresponds to the selected thumbnail image. Furthermore, the user can also identify which time point in which column (large section) the selected thumbnail image corresponds to.
また、顔画像一覧表示処理部３０１は、選択されたサムネイル画像のタイムスタンプ情報に基づいて、選択されたサムネイル画像が出現する時点を示す時間情報もインデキシングビュー画面上に表示する。
Further, the face image list
“現在位置変更”ボタンは選択されているサムネイル画像を変更するための操作ボタンである。“現在位置変更”ボタンがフォーカスされている状態でユーザが例えば左カーソルキーまたは右カーソルキーを操作すると、選択対象のサムネイル画像は、例えば１小区間単位で、左または右に移動する。 The “change current position” button is an operation button for changing the selected thumbnail image. When the user operates, for example, the left cursor key or the right cursor key while the “current position change” button is focused, the thumbnail image to be selected moves to the left or right, for example, in units of one small section.
さらに、顔画像一覧表示処理部３０１は、ユーザによる映像コンテンツデータの俯瞰を支援するための機能として、第１および第２の２つの連動表示機能を有している。
Further, the face image list
第１の連動表示機能は、じゃばらサムネイル表示エリア上の“フォーカス”状態のサムネイル画像に応じて、顔サムネイル表示エリア上の顔画像を自動選択する機能である。すなわち、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態（ “フォーカス”状態）で、ユーザによる入力装置の操作によって第１の連動表示の実行を指示する所定のイベントが入力された場合、顔画像一覧表示処理部３０１は、顔サムネイル表示エリア上の複数の顔画像の内で、“フォーカス”状態のサムネイル画像の出現時点に最も近接する時点に出現する顔画像を検出し、当該検出した顔画像を“フォーカス”状態に設定する。この時、フォーカスを持つ要素もじゃばらサムネイル表示エリアから顔サムネイル表示エリアに移動される。第１の連動表示機能が実行された様子を図９に示す。 “フォーカス”状態のサムネイル画像と同一のフレームから抽出された顔画像が存在する場合には、その顔画像がフォーカスされ拡大表示される。また、“フォーカス”状態のサムネイル画像と同一のフレームから抽出された顔画像が存在しない場合には、“フォーカス”状態のサムネイル画像との時間差が最も小さい顔画像がフォーカスされ拡大表示される。
The first linked display function is a function for automatically selecting a face image on the face thumbnail display area in accordance with a “focus” thumbnail image on the jagged thumbnail display area. That is, when a certain event instructing execution of the first linked display is input by a user's operation of the input device in a state where a certain thumbnail image on the thumbnail display area is selected (“focus” state) The face image list
第１の連動表示機能により、ユーザは、じゃばらサムネイル表示エリア上の選択されているサムネイル画像とほぼ同じ時点に出現する顔画像を容易に確認することが出来る。また、顔サムネイル表示エリアにフォーカスが移動されているので、ユーザは、“フォーカス”状態に設定された顔画像に対応する時点からの映像コンテンツデータの再生を指示するための操作、または他の顔画像にフォーカスを移動させるための操作等を容易に行うことが出来る。 With the first interlocking display function, the user can easily confirm a face image that appears at almost the same time as the selected thumbnail image on the rose thumbnail display area. In addition, since the focus has been moved to the face thumbnail display area, the user can perform an operation for instructing playback of video content data from the time corresponding to the face image set to the “focus” state, or other face An operation for moving the focus to the image can be easily performed.
“フォーカス”状態のサムネイル画像の出現時点に最も近接する時点に出現する顔画像を検出する処理は、“フォーカス”状態のサムネイル画像に対応するタイムスタンプ情報と、複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて検出することができる。この検出処理は、基本的には、“フォーカス”状態のサムネイル画像が属する時間帯が割り当てられた列内に存在する各顔画像のみを対象に行えばよい。 The process of detecting the face image that appears at the closest point to the current point in time when the thumbnail image in the “focus” state appears is the time stamp information corresponding to the thumbnail image in the “focus” state and the time corresponding to each of the plurality of face images. Detection is possible based on the stamp information. This detection process basically needs to be performed only on each face image existing in the column to which the time zone to which the thumbnail image in the “focus” state belongs is assigned.
第１の連動表示の実行を指示するイベントを入力するための入力装置の操作としては、例えば、リモコンユニットの上ボタンの押下操作、キーボードの上カーソルキーの押下操作（またはＳｈｉｆｔキー＋Ｔａｂキーの同時押下操作）等を利用することができる。 As an operation of the input device for inputting an event for instructing execution of the first interlocking display, for example, an operation of pressing the upper button of the remote control unit, an operation of pressing the upper cursor key of the keyboard (or simultaneous shift key + tab key) Press operation) can be used.
第２の連動表示機能は、顔サムネイル表示エリア上の“フォーカス”状態の顔画像に応じて、じゃばらサムネイル表示エリア上のサムネイル画像を自動選択する機能である。すなわち、顔サムネイル表示エリア上のある顔画像が選択されている状態（“フォーカス”状態）で、ユーザによる入力装置の操作によって第２の連動表示の実行を指示する所定のイベントが入力された場合、顔画像一覧表示処理部３０１は、じゃばらサムネイル表示エリア上の複数のサムネイル画像の内で、“フォーカス”状態の顔画像の出現時点に最も近接する時点に出現するサムネイル画像を検出し、当該検出したサムネイル画像を“フォーカス”状態に設定する。この時、フォーカスを持つ要素も顔サムネイル表示エリアからじゃばらサムネイル表示エリアに移動される。ユーザは、顔サムネイル表示エリア上の選択されている顔画像とほぼ同じ時点に出現するサムネイル画像を容易に確認することが出来る。また、じゃばらサムネイル表示エリアにフォーカスが移動されているので、ユーザは、“フォーカス”状態に設定されたサムネイル画像に対応する時点からの映像コンテンツデータの再生を指示するための操作、または他のサムネイル画像にフォーカスを移動させるための操作等を容易に行うことが出来る。
The second linked display function is a function for automatically selecting a thumbnail image on the rose thumbnail display area in accordance with the face image in the “focus” state on the face thumbnail display area. That is, when a certain event instructing execution of the second interlocking display is input by a user's operation of the input device while a face image on the face thumbnail display area is selected (“focus” state) The face image list
“フォーカス”状態の顔画像の出現時点に最も近接する時点に出現するサムネイル画像は、“フォーカス”状態の顔画像に対応するタイムスタンプ情報と、複数のサムネイル画像それぞれに対応するタイムスタンプ情報とに基づいて検出することができる。 Thumbnail images appearing at the time closest to the current point of appearance of the face image in the “focus” state are time stamp information corresponding to the face image in the “focus” state and time stamp information corresponding to each of the plurality of thumbnail images. Can be detected on the basis.
第２の連動表示の実行を指示するイベントを入力するための入力装置の操作としては、例えば、リモコンユニットの下ボタンの押下操作、キーボードのＴａｂキーの押下操作、またはキーボードの下カーソルキーの押下操作（選択されている顔画像が最下位行に存在する場合）等を利用することができる。 As an operation of the input device for inputting an event for instructing the execution of the second interlocking display, for example, a press operation of the lower button of the remote control unit, a press operation of the Tab key of the keyboard, or a press of the lower cursor key of the keyboard An operation (when the selected face image exists in the lowest row) can be used.
このように、本実施形態においては、顔サムネイル表示エリアとじゃばらサムネイル表示エリアの双方がインデキシングビュー画面上に表示され、これにより顔画像の一覧と、複数のサムネイル画像とをユーザに提示することが出来る。さらに、上下ボタン、上下カーソルキー、またはＴａｂキ−等の操作に応じて、じゃばらサムネイル表示エリアのサムネイル画像と顔サムネイル表示エリアの顔画像との間でフォーカスを切り替え、フォーカスが置かれた画像（サムネイル画像、顔画像）を拡大表示させることができる。よって、顔画像とサムネイル画像とが時間的につながっていることをユーザに提示することが出来、さらに、ある顔画像からその顔画像から登場する近傍の場面を、またはある場面からその場面の近傍に登場する代表的な顔画像をユーザに提示することができる。 As described above, in the present embodiment, both the face thumbnail display area and the jagged thumbnail display area are displayed on the indexing view screen, whereby a list of face images and a plurality of thumbnail images can be presented to the user. I can do it. Further, in accordance with the operation of the up / down button, the up / down cursor key, or the Tab key, the focus is switched between the thumbnail image in the jagged thumbnail display area and the face image in the face thumbnail display area, and the focused image ( Thumbnail images and face images) can be enlarged. Therefore, it is possible to present to the user that the face image and the thumbnail image are temporally connected, and in addition, a nearby scene appearing from the face image from a certain face image, or from the certain scene to the vicinity of the scene The representative face image appearing in can be presented to the user.
次に、図１０のフローチャートを参照して、顔画像一覧表示処理部３０１によって実行される表示処理の手順を説明する。
Next, the procedure of the display process executed by the face image list
まず、顔画像一覧表示処理部３０１は、データベース１１１Ａに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の出現時間順にソートする（ステップＳ１０１）。次いで、顔画像一覧表示処理部３０１は、ユーザによって指定された表示すべき顔画像サイズに応じて行及び列の数を決定すると共に、例えばインデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列（大区間）に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部３０１は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、行数分の顔画像を選択する（ステップＳ１０２）。表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合には、顔画像一覧表示処理部３０１は、例えば、出現頻度の高い顔画像を優先的に選択する処理を実行することもできる。
First, the face image list
この場合、顔画像一覧表示処理部３０１は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。例えば、ビデオプロセッサ１１３は、抽出した顔画像それぞれの特徴データの相関に基づいて、同一人物の顔画像それぞれを同一カテゴリーに分類するクラスタリング処理を実行することができる。この場合、図１１に示すように、顔画像それぞれは、人物毎（すなわちカテゴリー毎）に分類されてデータベース１１１Ａに格納される。図１１においては、カテゴリー１は、ある人物Ａの顔画像の集合を示しており、カテゴリー２は、ある人物Ｂの顔画像の集合を示しており、またカテゴリー３は、ある人物Ｂの顔画像の集合を示している。顔画像一覧表示処理部３０１は、登場する頻度の高い人物の顔画像を優先的に選択する。なお、ある同一人物の顔画像のみが比較的長い時間出現され続けている時間帯においては、当該時間帯に対応する列上に同一人物の異なる複数の顔画像を表示してもよい。
In this case, the face image list
また、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合、顔画像一覧表示処理部３０１は、データベース１１Ａに格納された顔画像それぞれのサイズ情報に基づいて、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択する処理を実行することもできる。
Further, when the number of face images belonging to the time zone assigned to the display processing target column is larger than the number of rows, the face image list
クローズアップされた顔を映すフレームから抽出される顔画像のサイズは、比較的大きなものとなる。したがって、抽出された顔画像のサイズが大きいほど、重要度の高い人物である可能性が高い。よって、サイズの大きい顔画像を優先的に選択することにより、重要度の高い人物の顔画像を優先的に表示することが可能となる。 The size of the face image extracted from the frame showing the close-up face is relatively large. Therefore, the larger the size of the extracted face image, the higher the possibility that the person is more important. Therefore, it is possible to preferentially display a face image of a highly important person by preferentially selecting a large face image.
次いで、顔画像一覧表示処理部３０１は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを例えば出現頻度順に並べて表示する（ステップＳ１０３）。出現頻度の高い顔画像ほど、上方の顔画像表示エリアに表示される。
Next, the face image list
ステップＳ１０２，Ｓ１０３の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される（ステップＳ１０４，Ｓ１０５）。この結果、顔画像表示エリアには、複数の顔画像が並んで表示される。 The processes in steps S102 and S103 are repeatedly executed while updating the numbers of the display process target columns until the processes for all the columns are completed (steps S104 and S105). As a result, a plurality of face images are displayed side by side in the face image display area.
なお、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも少ない場合には、対応する時間帯内に属するサムネイル画像を表示処理対象の列に表示することも出来る。 If the number of face images belonging to the time zone assigned to the display processing target column is smaller than the number of rows, thumbnail images belonging to the corresponding time zone may be displayed in the display processing target column. I can do it.
全ての列に対する処理が完了すると（ステップＳ１０４のＮＯ）、顔画像一覧表示処理部３０１は、データベース１１Ａに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する（ステップＳ１０６）。
When the processing for all the columns is completed (NO in step S104), the face image list
次いで、顔画像一覧表示処理部３０１は、データベース１１１Ａから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、レベル表示エリア上に、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化を示すグラフと、シーケンス内における盛り上がりレベルの変化をそれぞれ示すグラフとを表示する（ステップＳ１０７）。
Next, the face image list
次に、顔画像一覧表示処理部３０１は、データベース１１１ＡからＣＭ区間属性情報、音楽区間属性情報、およびトーク区間属性情報を読み出し、それらＣＭ区間属性情報、音楽区間属性情報、およびトーク区間属性情報に基づいて、ＣＭ区間バー、音楽区間バー、トーク区間バーをそれぞれ表示する（ステップＳ１０８）。ＣＭ区間バーには、ＣＭ区間の位置を示すバー領域が表示される。同様に、音楽区間バーには音楽区間の位置を示すバー領域が表示され、トーク区間バーにはトーク区間の位置を示すトークバー領域が表示される。
Next, the face image list
次に、図１２のフローチャートを参照して、選択されているサムネイル画像に対応する顔画像を自動選択するための第１の連動表示機能の処理手順の例を説明する。 Next, an example of the processing procedure of the first interlocking display function for automatically selecting the face image corresponding to the selected thumbnail image will be described with reference to the flowchart of FIG.
じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態（“フォーカス”状態）でユーザによって例えば上キー（リモコンユニットの上ボタン、キーボードのＴａｂキーまたは上カーソルキー、等）が押下された時、つまりじゃばらサムネイル表示エリアにフォーカスがある状態で第１の連動表示機能の実行を指示するイベントが入力された時（ステップＳ２０１のＹＥＳ）、顔画像一覧表示処理部３０１は、選択されているサムネイル画像のタイムスタンプ情報をデータベース１１１Ａから取得する（ステップＳ２０３）。なお、ステップＳ２０３の処理に先立って、じゃばらサムネイル表示エリア上のサムネイル画像が選択されているか否かを確認する処理（ステップＳ２０２）を必要に応じて実行しても良い。
When a user presses, for example, an up key (an upper button on the remote control unit, a Tab key on the keyboard or an up cursor key, etc.) while a thumbnail image on the thumbnail display area is selected ("focus" state) That is, when an event instructing execution of the first linked display function is input in a state where the thumbnail display area is focused (YES in step S201), the face image list
この後、顔画像一覧表示処理部３０１は、“フォーカス”状態のサムネイル画像が属する時間帯が割り当てられた列内に表示されている顔画像それぞれを対象に、それら各顔画像の出現時点をチェックする処理を実行する。
After that, the face image list
この場合、まず、顔画像一覧表示処理部３０１は、“フォーカス”状態のサムネイル画像が属する時間帯が割り当てられた列内に未チェックの顔画像が残っているか否かを判定する（ステップＳ２０４）。未チェックの顔画像が残っているならば（ステップＳ２０４のＹＥＳ）、顔画像一覧表示処理部３０１は、未チェックの顔画像の中の１つの顔画像をチェック対象の顔画像として特定し、そのチェック対象の顔画像に対応するタイムスタンプ情報をデータベース１１１Ａから取得する（ステップＳ２０５）。そして、顔画像一覧表示処理部３０１は、“フォーカス”状態のサムネイル画像のタイムスタンプ情報とチェック対象の顔画像のタイムスタンプ情報とを比較する（ステップＳ２０６）。このステップＳ２０６では、“フォーカス”状態のサムネイル画像のタイムスタンプ情報とチェック対象の顔画像のタイムスタンプ情報との間の値の差（時間差）が算出される。次いで、顔画像一覧表示処理部３０１は、算出された時間差に基づいて、“フォーカス”状態のサムネイル画像のタイムスタンプ情報とチェック対象の顔画像のタイムスタンプ情報とが一致するか否かを判定する（ステップＳ２０７）。一致しないならば（ステップＳ２０７のＮＯ）、顔画像一覧表示処理部３０１は、チェック対象の顔画像を識別する識別子（ＩＤ）と一緒に、ステップＳ２０６で算出した時間差を第１のリストに格納する（ステップＳ２０８）。一方、一致したならば（ステップＳ２０７のＹＥＳ）、顔画像一覧表示処理部３０１は、チェック対象の顔画像を識別する識別子（ＩＤ）を第２のリストに格納する（ステップＳ２０９）。
In this case, first, the face image list
“フォーカス”状態のサムネイル画像が属する時間帯が割り当てられた列内に未チェックの顔画像が無くなるまで、ステップＳ２０５〜Ｓ２０９の処理はチェック対象の顔画像を変更しながら繰り返し実行される。 Until there is no unchecked face image in the column to which the time zone to which the “focus” thumbnail image belongs is assigned, the processes in steps S205 to S209 are repeatedly executed while changing the face image to be checked.
“フォーカス”状態のサムネイル画像が属する時間帯が割り当てられた列内に未チェックの顔画像が無くなったならば（ステップＳ２０４のＮＯ）、顔画像一覧表示処理部３０１は、第２のリストを参照して、“フォーカス”状態のサムネイル画像のタイムスタンプ情報に一致するタイムスタンプ情報を有する顔画像が存在するか否かを判定する（ステップＳ２１０）。
If there are no unchecked face images in the column to which the time zone to which the “focus” thumbnail image belongs is assigned (NO in step S204), the face image list
“フォーカス”状態のサムネイル画像のタイムスタンプ情報に一致するタイムスタンプ情報を有する顔画像が存在するならば（ステップＳ２１０のＹＥＳ）、顔画像一覧表示処理部３０１は、当該顔画像を“フォーカス”状態のサムネイル画像の出現時点に最も近接する時点に出現する顔画像として検出し、その検出した顔画像を選択する（ステップＳ２１１）。ステップＳ２１１では、顔画像一覧表示処理部３０１は、検出した顔画像をフォーカスし、その顔画像を他の各顔画像と区別した状態で表示する。
If there is a face image having time stamp information that matches the time stamp information of the thumbnail image in the “focus” state (YES in step S210), the face image list
“フォーカス”状態のサムネイル画像のタイムスタンプ情報に一致するタイムスタンプ情報を有する顔画像が存在しないならば（ステップＳ２１０のＮＯ）、顔画像一覧表示処理部３０１は、第１のリストを参照して、時間差の最も小さい顔画像を、“フォーカス”状態のサムネイル画像の出現時点に最も近接する時点に出現する顔画像として検出し、その検出した顔画像を選択する（ステップＳ２１２）。ステップＳ２１２では、顔画像一覧表示処理部３０１は、検出した顔画像をフォーカスし、その顔画像を他の各顔画像と区別した状態で表示する。
If there is no face image having time stamp information that matches the time stamp information of the thumbnail image in the “focus” state (NO in step S210), the face image list
次に、図１３のフローチャートを参照して、選択されている顔画像に対応するサムネイル画像を自動選択するための第２の連動表示機能の処理手順の例を説明する。 Next, an example of the processing procedure of the second interlocking display function for automatically selecting a thumbnail image corresponding to the selected face image will be described with reference to the flowchart of FIG.
顔サムネイル表示エリア上のある顔画像が選択されている状態（“フォーカス”状態）でユーザによって例えば下キー（リモコンユニットの下ボタン、キーボードのＳｈｆｔキー＋Ｔａｂキー、または、選択されている顔画像が最下位行に位置する場合にはキーボードの下カーソルキー、等）が押下された時、顔サムネイル表示エリアにフォーカスがある状態で第２の連動表示機能の実行を指示するイベントが入力された時（ステップＳ３０１のＹＥＳ）、顔画像一覧表示処理部３０１は、選択されている顔画像のタイムスタンプ情報をデータベース１１１Ａから取得する（ステップＳ３０３）。なお、ステップＳ３０３の処理に先立って、顔サムネイル表示エリア上のサムネイル画像が選択されているか否かを確認する処理（ステップＳ３０２）を必要に応じて実行しても良い。
In a state where a face image on the face thumbnail display area is selected ("focus" state), for example, the down key (the down button on the remote control unit, the Shft key + Tab key on the keyboard, or the selected face image is displayed) When the bottom cursor key of the keyboard is pressed when it is positioned at the bottom line, etc., or when an event instructing the execution of the second interlocking display function is input with the focus in the face thumbnail display area (YES in step S301), the face image list
この後、顔画像一覧表示処理部３０１は、全てのサムネイル画像を対象に、または“フォーカス状態”の顔画像が存在する大区間に属するサムネイル画像それぞれを対象に、それら各サムネイル画像の出現時点をチェックする処理を実行する。
Thereafter, the face image list
この場合、まず、顔画像一覧表示処理部３０１は、未チェックのサムネイル画像が残っているか否かを判定する（ステップＳ３０４）。未チェックのサムネイル画像が残っているならば（ステップＳ３０４のＹＥＳ）、顔画像一覧表示処理部３０１は、未チェックのサムネイル画像の中の１つのサムネイル画像をチェック対象のサムネイル画像として特定し、そのチェック対象のサムネイル画像のタイムスタンプ情報をデータベース１１１Ａから取得する（ステップＳ３０５）。そして、顔画像一覧表示処理部３０１は、“フォーカス状態”の顔画像のタイムスタンプ情報とステップＳ３０５で取得したサムネイル画像のタイムスタンプ情報とを比較する（ステップＳ３０６）。このステップＳ３０６では、“フォーカス状態”の顔画像のタイムスタンプ情報とチェック対象のサムネイル画像のタイムスタンプ情報との間の差（時間差）が算出される。次いで、顔画像一覧表示処理部３０１は、“フォーカス状態”の顔画像のタイムスタンプ情報とチェック対象のサムネイル画像のタイムスタンプ情報とが一致するか否かを判定する（ステップＳ３０７）。一致しないならば（ステップＳ３０７のＮＯ）、顔画像一覧表示処理部３０１は、チェック対象のサムネイル画像を識別する識別子（ＩＤ）と一緒に、ステップＳ３０６で算出した時間差を第１のリストに格納する（ステップＳ３０８）。一方、一致したならば（ステップＳ３０７のＹＥＳ）、顔画像一覧表示処理部３０１は、チェック対象のサムネイル画像を識別する識別子（ＩＤ）を第２のリストに格納する（ステップＳ３０９）。
In this case, first, the face image list
未チェックのサムネイル画像が無くなるまで、ステップＳ３０５〜Ｓ３０９の処理はチェック対象のサムネイル画像を変更しながら繰り返し実行される。 Until there are no unchecked thumbnail images, the processes in steps S305 to S309 are repeatedly executed while changing the thumbnail images to be checked.
未チェックのサムネイル画像が無くなったならば（ステップＳ３０４のＮＯ）、顔画像一覧表示処理部３０１は、第２のリストを参照して、“フォーカス”状態の顔画像のタイムスタンプ情報に一致するタイムスタンプ情報を有するサムネイル画像が存在するか否かを判定する（ステップＳ３１０）。
If there is no unchecked thumbnail image (NO in step S304), the face image list
“フォーカス”状態の顔画像のタイムスタンプ情報に一致するタイムスタンプ情報を有するサムネイル画像が存在するならば（ステップＳ３１０のＹＥＳ）、顔画像一覧表示処理部３０１は、当該サムネイル画像を“フォーカス”状態の顔画像の出現時点に最も近接する時点に出現するサムネイル画像として検出し、その検出したサムネイル画像を選択する（ステップＳ３１１）。ステップＳ３１１では、顔画像一覧表示処理部３０１は、検出したサムネイル画像をフォーカスし、そのサムネイル画像を拡大表示する。
If there is a thumbnail image having time stamp information that matches the time stamp information of the face image in the “focus” state (YES in step S310), the face image list
“フォーカス”状態の顔画像のタイムスタンプ情報に一致するタイムスタンプ情報を有するサムネイル画像が存在しないならば（ステップＳ３１０のＹＥＳ）、顔画像一覧表示処理部３０１は、第１のリストを参照して、時間差の最も小さいサムネイル画像を、“フォーカス”状態の顔画像の出現時点に最も近接する時点に出現するサムネイル画像として検出し、その検出したサムネイル画像を選択する（ステップＳ３１２）。ステップＳ３１２では、顔画像一覧表示処理部３０１は、検出したサムネイル画像をフォーカスし、そのサムネイル画像を拡大表示する。
If there is no thumbnail image having time stamp information that matches the time stamp information of the face image in the “focus” state (YES in step S310), the face image list
次に、図１４のフローチャートを参照して、再生処理部４０３によって実行される再生処理の手順を説明する。
Next, the procedure of the reproduction process executed by the
ユーザ操作に応じて映像コンテンツデータの再生を指示するイベントが入力された時（ステップＳ４０１のＹＥＳ）、再生処理部４０３は、顔画像一覧表示処理部３０１と連携して、顔サムネイル表示エリア上のある顔画像がユーザによって選択されているか否かを判定する（ステップＳ４０２）。選択されている顔画像が存在するならば（ステップＳ４０２のＹＥＳ）、再生処理部４０３は、選択されている顔画像のタイムスタンプ情報に基づいて、選択されている顔画像が登場する時点を検出する（ステップＳ４０３）。そして、再生処理部４０３は、検出された時点よりも所定時間前の時点、たとえば、２秒前の時点から、映像コンテンツデータの再生を開始する（ステップＳ４０４）。
When an event instructing reproduction of video content data is input in response to a user operation (YES in step S401), the
なお、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態で映像コンテンツデータの再生を指示するイベントが入力された時にも、その選択されているサムネイル画像のタイムスタンプ情報に基づいて、再生処理部４０３は、選択されているサムネイル画像が出現する時点よりも所定時間前の時点、たとえば、２秒前の時点から、映像コンテンツデータの再生を開始する。
Note that even when an event instructing playback of video content data is input in a state where a thumbnail image on the thumbnail display area is selected, playback is performed based on the time stamp information of the selected thumbnail image. The
以上のように、本実施形態では、顔サムネイル表示エリアのみならず、じゃばらサムネイル表示エリアもインデキシングビュー画面上に表示される。そしてユーザ操作に応じて、じゃばらサムネイル表示エリア上の複数の複数のサムネイル画像の内の１つが選択され、その選択されたサムネイル画像が拡大表示される。ユーザは、じゃばらサムネイル表示エリア上で、選択されるサムネイル画像を左右に移動させる操作を行うことにより、映像コンテンツデータ全体の中の様々な場面を容易に俯瞰することができる。さらに、本実施形態では、選択されるサムネイル画像に対応する顔画像を自動的に選択するための第１の連動表示機能が設けられているので、現在選択されているサムネイル画像に対応する場面の近くの時点に登場する人物の顔画像をユーザに提示することが出来る。 As described above, in the present embodiment, not only the face thumbnail display area but also the loose thumbnail display area is displayed on the indexing view screen. In response to a user operation, one of a plurality of thumbnail images on the jagged thumbnail display area is selected, and the selected thumbnail image is displayed in an enlarged manner. The user can easily look down on various scenes in the entire video content data by performing an operation of moving the selected thumbnail image to the left and right on the jagged thumbnail display area. Furthermore, in the present embodiment, since the first interlocking display function for automatically selecting the face image corresponding to the selected thumbnail image is provided, the scene corresponding to the currently selected thumbnail image is provided. A face image of a person appearing at a nearby time point can be presented to the user.
よって、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の概要をユーザに提示することができ、且つユーザが着眼した映像コンテンツデータ内のある特定の部分（場面）にどの人物が登場するかをユーザに提示することが可能となる。 Therefore, an outline of the entire video content data can be presented to the user without reproducing the video content data, and which person appears in a specific part (scene) in the video content data focused on by the user Can be presented to the user.
さらに、本実施形態では、選択される顔画像に対応するサムネイル画像を自動的に選択する第２の連動表示機能を上述の第１の連動表示機能と組み合わせて使用することができる。これにより、ある顔画像からその顔画像から登場する近傍の場面を、またはある場面からその場面の近傍に登場する代表的な顔画像をユーザに提示することができる。 Furthermore, in the present embodiment, the second linked display function for automatically selecting a thumbnail image corresponding to the selected face image can be used in combination with the first linked display function described above. Accordingly, a scene in the vicinity appearing from the face image from a certain face image or a representative face image appearing in the vicinity of the scene from a certain scene can be presented to the user.
また、本実施形態では、顔サムネイル表示エリア内の複数の列それぞれには、それら各列に割れ当てられた時間帯から抽出された顔画像それぞれを表示することができるので、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するかをユーザに提示することができる。 Further, in the present embodiment, each of the plurality of columns in the face thumbnail display area can display each of the face images extracted from the time zone assigned to each column, so that the entire video content data can be displayed. It is possible to present to the user which person appears in which time zone.
なお、本実施形態では、インデキシング処理部として機能するビデオプロセッサ１１３によってインデキシング情報（顔画像インデキシング情報、区間属性情報、等）を生成したが、例えば、放送番組データ内に予め当該放送番組データに対応するインデキシング情報が含まれている場合には、それを利用することができる。必要なインデキシング情報がすべて揃っていれば、インデキシング処理を行う必要はない。よって、本実施形態の顔画像一覧表示機能は、データベース１１１Ａと顔画像一覧表示処理部３０１のみによっても実現することが出来る。
In the present embodiment, indexing information (face image indexing information, section attribute information, etc.) is generated by the
また、本実施形態の顔サムネイル表示エリアにおいては、左端位置を基点とし、右端位置を映像コンテンツデータの終端とする時間軸が用いられているが、例えば映像コンテンツデータの一部分について、左端位置を基点、右端位置を終端としてもよく、また、左右逆でもよい。また、上下方向と左右方向の配置を逆にしてもよい。 Further, in the face thumbnail display area of the present embodiment, the time axis with the left end position as the base point and the right end position as the end point of the video content data is used. For example, the left end position is used as the base point for a part of the video content data. The right end position may be the end, or the left and right may be reversed. Further, the arrangement in the vertical direction and the horizontal direction may be reversed.
また、本実施形態の顔画像一覧表示処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。 Further, since all the face image list display processing procedures of the present embodiment can be realized by software, the same effects as those of the present embodiment can be obtained by introducing this software into a normal computer through a computer-readable storage medium. Can be easily realized.
また、本実施形態の電子機器はコンピュータ１０によって実現するのみならず、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、ＴＶアプリケーションプログラム２０２の機能は、ＤＳＰ、マイクロコンピュータのようなハードウェアによって実現することができる。
In addition, the electronic device of the present embodiment can be realized not only by the
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
以下に、本願原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
［１］ 映像コンテンツデータから複数の顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に出現する時点を示すタイムスタンプ情報を出力する顔画像抽出処理と、前記映像コンテンツデータから所定時間間隔毎に１フレームの静止画像を抽出すると共に、抽出された各静止画像が前記映像コンテンツデータ内に出現する時点を示すタイムスタンプ情報を出力する静止画像抽出処理とを実行する画像抽出手段と、
前記画像抽出手段によって抽出された顔画像の一覧を表示画面上の第１の表示エリア上に表示すると共に、前記画像抽出手段によって抽出された静止画像それぞれをそれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する顔画像一覧表示手段とを具備し、
前記顔画像一覧表示手段は、
ユーザによる入力装置の操作に応じて前記第２の表示エリア上の複数の静止画像の内の１つを選択し当該選択した静止画像を他の各静止画像よりも大きなサイズで表示する処理と、前記第２の表示エリア上のある静止画像が選択されている状態で、前記ユーザによる前記入力装置の操作によって所定のイベントが入力された場合、前記選択されている静止画像に対応するタイムスタンプ情報と前記複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて、前記第１の表示エリア上の複数の顔画像の内から、前記選択されている静止画像の出現時点に最も近接する時点に出現する顔画像を選択し、当該選択した顔画像を他の各顔画像と区別した状態で表示する処理とを実行することを特徴とする電子機器。
［２］ 前記第１の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を構成する複数の時間帯がそれぞれ割り当てられており、
前記顔画像一覧表示手段は、前記複数の顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に当該各列に割り当てられた時間帯に属する顔画像それぞれを並べて表示するように構成されていることを特徴とする［１］記載の電子機器。
［３］ 前記顔画像一覧表示手段は、前記選択された静止画像に対応するタイムスタンプ情報に基づいて、前記第１の表示エリア内の複数の列の内から前記選択されたサムネイル画像が属する時間帯が割り当てられた列を選択し、前記選択された静止画像と前記選択された列とを対応付けるバーを前記表示画面上にさらに表示することを特徴とする［２］記載の電子機器。
［４］ 前記第１の表示エリアに表示された顔画像の内の一つが選択されている状態で、前記ユーザによる前記入力装置の操作によって前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像に対応するタイムスタンプ情報に基づき、前記選択されている顔画像が出現する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする［１］記載の電子機器。
［５］ 前記顔画像一覧表示手段は、前記ユーザによる前記入力装置の操作に応じて前記第１の表示エリア上の複数の顔画像の内の１つを選択し当該選択した静止画像を他の各顔画像と区別した状態で表示する処理と、前記第１の表示エリア上のある顔画像が選択されている状態で、前記ユーザによる前記入力装置の操作によって所定のイベントが入力された場合、前記選択されている顔画像に対応するタイムスタンプ情報と前記複数の静止画像それぞれに対応するタイムスタンプ情報とに基づいて、前記第２の表示エリア上の複数の静止画像の内で前記選択されている顔画像の出現時点に最も近接する時点に出現する静止画像を選択し当該選択した顔画像を他の各静止画像よりも大きなサイズで表示する処理とをさらに実行することを特徴とする［１］記載の電子機器。
［６］ 前記第１の表示エリアに表示された顔画像の内の一つが選択されている状態で、前記ユーザによる前記入力装置の操作によって前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像に対応するタイムスタンプ情報に基づき、前記選択されている顔画像が出現する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始し、前記第２の表示エリアに表示された静止画像の内の一つが選択されている状態で、前記再生を指示するイベントが入力された場合、前記選択されている静止画像に対応するタイムスタンプ情報に基づき、前記選択されている静止画像が出現する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする［５］記載の電子機器。
［７］ 映像コンテンツデータの概要を示す情報を表示する画像表示方法であって、
前記映像コンテンツデータから複数の顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に出現する時点を示すタイムスタンプ情報を出力する顔画像抽出処理を実行するステップと、
前記映像コンテンツデータから所定時間間隔毎に１フレームの静止画像を抽出すると共に、抽出された各静止画像が前記映像コンテンツデータ内に出現する時点を示すタイムスタンプ情報を出力する静止画像抽出処理を実行するステップと、
前記抽出された顔画像の一覧を表示画面上の第１の表示エリア上に表示する顔画像一覧表示ステップと、
前記抽出された静止画像それぞれをそれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示するステップと、
ユーザによる入力装置の操作に応じて前記第２の表示エリア上の複数の静止画像の内の１つを選択し当該選択した静止画像を他の各静止画像よりも大きなサイズで表示するステップと、
前記第２の表示エリア上のある静止画像が選択されている状態で、前記ユーザによる前記入力装置の操作によって所定のイベントが入力された場合、前記選択されている静止画像に対応するタイムスタンプ情報と前記複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて、前記第１の表示エリア上の複数の顔画像の内で前記選択されている静止画像の出現時点に最も近接する時点に出現する顔画像を選択し、当該検出した顔画像を他の各顔画像と区別した状態で表示するステップとを具備することを特徴とする画像表示方法。
［８］ 前記第１の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を構成する複数の時間帯がそれぞれ割り当てられており、
前記顔画像一覧表示ステップは、前記複数の顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に当該各列に割り当てられた時間帯に属する顔画像それぞれを並べて表示することを特徴とする［７］記載の画像表示方法。
［９］ 前記選択された静止画像に対応するタイムスタンプ情報に基づいて、前記第１の表示エリア内の複数の列の内から前記選択されたサムネイル画像が属する時間帯が割り当てられた列を選択し、前記選択された静止画像と前記選択された列とを対応付けるバーを前記表示画面上にさらに表示することを特徴とする［８］記載の画像表示方法。
［１０］ 前記第１の表示エリアに表示された顔画像の内の一つが選択されている状態で、前記ユーザによる前記入力装置の操作によって前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像に対応するタイムスタンプ情報に基づき、前記選択されている顔画像が出現する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始するステップをさらに具備することを特徴とする［７］記載の画像表示方法。
Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
The invention described in the scope of claims at the time of the patent assessment of the original application of the present application will be appended below.
[1] A face image extraction process for extracting a plurality of face images from video content data and outputting time stamp information indicating a time point at which each extracted face image appears in the video content data; and the video content data And a still image extraction process for extracting a still image of one frame at predetermined time intervals and outputting time stamp information indicating a time point at which each extracted still image appears in the video content data. Means,
A list of face images extracted by the image extracting means is displayed on a first display area on a display screen, and the still images extracted by the image extracting means are arranged in the order of appearance times of the still images and displayed. A face image list display means for displaying on a second display area on the screen,
The face image list display means includes
A process of selecting one of a plurality of still images on the second display area in accordance with an operation of the input device by a user and displaying the selected still image in a size larger than each of the other still images; When a predetermined event is input by an operation of the input device by the user in a state where a certain still image on the second display area is selected, time stamp information corresponding to the selected still image And the time stamp information corresponding to each of the plurality of face images, of the plurality of face images on the first display area, at a time point closest to the current output time point of the selected still image. An electronic apparatus that performs a process of selecting an appearing face image and displaying the selected face image in a state of being distinguished from other face images.
[2] The first display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns, and each of the plurality of columns includes a total time of the video content data. Each of the time zones that make up the length is assigned,
The face image list display means displays the face images belonging to the time zone assigned to each row side by side on the face image display area of each row based on the time stamp information corresponding to each of the plurality of face images. The electronic device according to [1], wherein the electronic device is configured as described above.
[3] The face image list display means includes a time to which the selected thumbnail image belongs among a plurality of columns in the first display area based on time stamp information corresponding to the selected still image. The electronic device according to [2], wherein a column to which a band is assigned is selected, and a bar for associating the selected still image with the selected column is further displayed on the display screen.
[4] In the state where one of the face images displayed in the first display area is selected, an event instructing reproduction of the video content data is input by an operation of the input device by the user A playback processing means for starting playback of the video content data from a time point a predetermined time before the time point when the selected face image appears based on time stamp information corresponding to the selected face image. The electronic device according to [1], further comprising:
[5] The face image list display means selects one of a plurality of face images on the first display area in accordance with an operation of the input device by the user, and selects the selected still image as another When a predetermined event is input by an operation of the input device by the user in a state in which the face image on the first display area is selected in a process of displaying in a state distinguished from each face image, Based on the time stamp information corresponding to the selected face image and the time stamp information corresponding to each of the plurality of still images, the selected one of the plurality of still images on the second display area is selected. A process of selecting a still image that appears at a time closest to the current point of appearance of the face image and displaying the selected face image in a larger size than each of the other still images. The electronic device according to [1].
[6] In the state where one of the face images displayed in the first display area is selected, an event for instructing reproduction of the video content data is input by an operation of the input device by the user In this case, based on the time stamp information corresponding to the selected face image, the reproduction of the video content data is started from a time before a time when the selected face image appears, and the second In the state where one of the still images displayed in the display area is selected, when the event instructing the reproduction is input, based on the time stamp information corresponding to the selected still image, It further comprises a playback processing means for starting playback of the video content data from a time point a predetermined time before the time point when the selected still image appears. [5] The electronic device according to [5].
[7] An image display method for displaying information indicating an outline of video content data,
Performing a face image extraction process of extracting a plurality of face images from the video content data and outputting time stamp information indicating a time point at which each extracted face image appears in the video content data;
A still image extraction process for extracting a still image of one frame from the video content data at a predetermined time interval and outputting time stamp information indicating a point in time when each extracted still image appears in the video content data is executed. And steps to
A face image list display step for displaying the list of extracted face images on a first display area on a display screen;
Displaying the extracted still images on the second display area on the display screen in order of the appearance times of the still images; and
Selecting one of a plurality of still images on the second display area in accordance with an operation of the input device by the user and displaying the selected still image in a size larger than each of the other still images;
When a predetermined event is input by an operation of the input device by the user in a state where a certain still image on the second display area is selected, time stamp information corresponding to the selected still image And the time stamp information corresponding to each of the plurality of face images, and appearing at the time closest to the present time point of the selected still image among the plurality of face images on the first display area And a step of selecting a face image to be displayed and displaying the detected face image in a state of being distinguished from other face images.
[8] The first display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns, and each of the plurality of columns includes a total time of the video content data. Each of the time zones that make up the length is assigned,
The face image list display step displays the face images belonging to the time zone assigned to each row side by side on the face image display area of each row based on the time stamp information corresponding to each of the plurality of face images. [7] The image display method according to [7].
[9] Based on time stamp information corresponding to the selected still image, a column to which a time zone to which the selected thumbnail image belongs is selected from a plurality of columns in the first display area. The image display method according to [8], wherein a bar that associates the selected still image with the selected column is further displayed on the display screen.
[10] In the state where one of the face images displayed in the first display area is selected, an event instructing reproduction of the video content data is input by an operation of the input device by the user A step of starting the reproduction of the video content data from a time before a time when the selected face image appears based on time stamp information corresponding to the selected face image. [7] The image display method according to [7].
１０…電子機器（コンピュータ）、１１１Ａ…データベース、１１３…ビデオプロセッサ、１１７…ＴＶチューナ、３０１…顔画像一覧表示処理部、４０２…インデキシング制御部、４０３…再生処理部。
DESCRIPTION OF
Claims (14)
前記映像コンテンツデータから抽出される複数のフレームに対応する複数の静止画像をこれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する静止画像表示手段と、
前記顔画像の一覧からの顔画像の選択に応じて、前記複数の静止画像の内、前記選択された顔画像が登場する静止画像の表示を変更する連動表示制御手段とを具備することを特徴とする電子機器。 Face image display means for displaying a list of a plurality of face images extracted from video content data on a first display area on a display screen;
Still image display means for arranging a plurality of still images corresponding to a plurality of frames extracted from the video content data in order of appearance times of these still images and displaying them on a second display area on the display screen;
In accordance with the selection of a face image from the list of face images, there is provided linked display control means for changing the display of the still image in which the selected face image appears among the plurality of still images. Electronic equipment.
前記映像コンテンツデータから抽出される複数のフレームに対応する複数の静止画像をこれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示するステップと、
前記顔画像の一覧からの顔画像の選択に応じて、前記複数の静止画像の内、前記選択された顔画像が登場する静止画像の表示を変更するステップとを具備することを特徴とする画像表示方法。 Displaying a list of a plurality of face images extracted from video content data on a first display area on a display screen;
Arranging a plurality of still images corresponding to a plurality of frames extracted from the video content data in order of appearance times of these still images on the second display area on the display screen;
Changing the display of a still image in which the selected face image appears among the plurality of still images in response to the selection of a face image from the list of face images. Display method.
映像コンテンツデータから抽出される複数の顔画像の一覧を表示画面上の第１の表示エリア上に表示する手順と、
前記映像コンテンツデータから抽出される複数のフレームに対応する複数の静止画像をこれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する手順と、
前記顔画像の一覧からの顔画像の選択に応じて、前記複数の静止画像の内、前記選択された顔画像が登場する静止画像の表示を変更する手順とを実行させるプログラム。 On the computer,
Displaying a list of a plurality of face images extracted from video content data on a first display area on a display screen;
A sequence of displaying a plurality of still images corresponding to a plurality of frames extracted from the video content data in the order of appearance times of these still images on the second display area on the display screen;
A program for executing a procedure of changing a display of a still image in which the selected face image appears among the plurality of still images according to selection of a face image from the list of face images.
前記映像コンテンツデータから抽出される複数のフレームに対応する複数の静止画像をこれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する静止画像表示手段と、
前記複数の静止画像からの静止画像の選択に応じて、前記顔画像の一覧の内、前記選択された静止画像内に登場する顔画像を、他の各顔画像と区別した状態で表示する連動表示制御手段とを具備することを特徴とする電子機器。 Face image display means for displaying a list of a plurality of face images extracted from video content data on a first display area on a display screen;
Still image display means for arranging a plurality of still images corresponding to a plurality of frames extracted from the video content data in order of appearance times of these still images and displaying them on a second display area on the display screen;
In response to the selection of a still image from the plurality of still images , the face image that appears in the selected still image in the list of the face images is displayed separately from each other face image. An electronic device comprising display control means.
前記画像抽出手段によって抽出された顔画像の一覧を表示画面上の第１の表示エリア上に表示すると共に、前記画像抽出手段によって抽出された静止画像それぞれをそれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する顔画像一覧表示手段とを具備し、
前記顔画像一覧表示手段は、
ユーザによる入力装置の操作に応じて前記第２の表示エリア上の複数の静止画像の内の１つを選択し当該選択した静止画像を所定のサイズで表示する処理と、前記第２の表示エリア上のある静止画像が選択されている状態で、前記ユーザによる前記入力装置の操作によって所定のイベントが入力された場合、前記選択されている静止画像に対応するタイムスタンプ情報と前記複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて、前記第１の表示エリア上の複数の顔画像の内から、前記選択されている静止画像の出現時点に対応する時点に出現する顔画像を選択し、当該選択した顔画像を他の各顔画像と区別した状態で表示する処理とを実行することを特徴とする電子機器。 A plurality of face images are extracted from the video content data, and a face image extraction process for outputting time stamp information indicating a point in time when each extracted face image appears in the video content data; and a predetermined time from the video content data Image extracting means for extracting a still image of one frame for each interval and executing still image extraction processing for outputting time stamp information indicating a time point at which each extracted still image appears in the video content data;
A list of face images extracted by the image extracting means is displayed on a first display area on a display screen, and the still images extracted by the image extracting means are arranged in the order of appearance times of the still images and displayed. A face image list display means for displaying on a second display area on the screen,
The face image list display means includes
Processing for selecting one of a plurality of still images on the second display area in accordance with an operation of the input device by the user and displaying the selected still image in a predetermined size; and the second display area When a predetermined event is input by an operation of the input device by the user in a state where a certain still image is selected, time stamp information corresponding to the selected still image and the plurality of face images Based on the time stamp information corresponding to each of the face images, a face image appearing at a time corresponding to the present time point of the selected still image is selected from the plurality of face images on the first display area. An electronic apparatus that executes processing for displaying the selected face image in a state in which the selected face image is distinguished from other face images.
前記顔画像一覧表示手段は、前記複数の顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に当該各列に割り当てられた時間帯に属する顔画像それぞれを並べて表示するように構成されていることを特徴とする請求項６記載の電子機器。 The first display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns, and each of the plurality of columns constitutes a total time length of the video content data. Are assigned multiple time zones,
The face image list display means displays the face images belonging to the time zone assigned to each row side by side on the face image display area of each row based on the time stamp information corresponding to each of the plurality of face images. The electronic apparatus according to claim 6, wherein the electronic apparatus is configured to do so.
前記映像コンテンツデータから複数の顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に出現する時点を示すタイムスタンプ情報を出力する顔画像抽出処理を実行するステップと、
前記映像コンテンツデータから所定時間間隔毎に１フレームの静止画像を抽出すると共に、抽出された各静止画像が前記映像コンテンツデータ内に出現する時点を示すタイムスタンプ情報を出力する静止画像抽出処理を実行するステップと、
前記抽出された顔画像の一覧を表示画面上の第１の表示エリア上に表示する顔画像一覧表示ステップと、
前記抽出された静止画像それぞれをそれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示するステップと、
ユーザによる入力装置の操作に応じて前記第２の表示エリア上の複数の静止画像の内の１つを選択し当該選択した静止画像を所定のサイズで表示するステップと、
前記第２の表示エリア上のある静止画像が選択されている状態で、前記ユーザによる前記入力装置の操作によって所定のイベントが入力された場合、前記選択されている静止画像に対応するタイムスタンプ情報と前記複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて、前記第１の表示エリア上の複数の顔画像の内で前記選択されている静止画像の出現時点に対応する時点に出現する顔画像を選択し、当該検出した顔画像を他の各顔画像と区別した状態で表示するステップとを具備することを特徴とする画像表示方法。 An image display method for displaying information indicating an outline of video content data,
Performing a face image extraction process of extracting a plurality of face images from the video content data and outputting time stamp information indicating a time point at which each extracted face image appears in the video content data;
A still image extraction process for extracting a still image of one frame from the video content data at a predetermined time interval and outputting time stamp information indicating a point in time when each extracted still image appears in the video content data is executed. And steps to
A face image list display step for displaying the list of extracted face images on a first display area on a display screen;
Displaying the extracted still images on the second display area on the display screen in order of the appearance times of the still images; and
Selecting one of a plurality of still images on the second display area according to an operation of the input device by a user and displaying the selected still image in a predetermined size;
When a predetermined event is input by an operation of the input device by the user in a state where a certain still image on the second display area is selected, time stamp information corresponding to the selected still image And the time stamp information corresponding to each of the plurality of face images, and appearing at a time corresponding to the present time point of the selected still image among the plurality of face images on the first display area. An image display method comprising: selecting a face image and displaying the detected face image in a state of being distinguished from each other face image.
前記顔画像一覧表示ステップは、前記複数の顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に当該各列に割り当てられた時間帯に属する顔画像それぞれを並べて表示することを特徴とする請求項１０記載の画像表示方法。 The first display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns, and each of the plurality of columns constitutes a total time length of the video content data. Are assigned multiple time zones,
The face image list display step displays the face images belonging to the time zone assigned to each row side by side on the face image display area of each row based on the time stamp information corresponding to each of the plurality of face images. The image display method according to claim 10.
前記画像抽出手段によって抽出された顔画像の一覧を表示画面上の第１の表示エリア上に表示すると共に、前記画像抽出手段によって抽出された静止画像それぞれをそれら静止画像の出現時間順に並べて前記表示画面上の第２の表示エリア上に表示する顔画像一覧表示手段とを具備し、
前記顔画像一覧表示手段は、
ユーザによる入力装置の操作に応じて前記第１の表示エリア上の複数の顔画像の内の１つを選択し当該選択した静止画像を他の各顔画像と区別した状態で表示する処理と、前記第１の表示エリア上のある顔画像が選択されている状態で、前記ユーザによる前記入力装置の操作によって所定のイベントが入力された場合、前記選択されている顔画像に対応するタイムスタンプ情報と前記複数の静止画像それぞれに対応するタイムスタンプ情報とに基づいて、前記第２の表示エリア上の複数の静止画像の内で前記選択されている顔画像の出現時点に対応する時点に出現する静止画像を選択し当該選択した静止画像を所定のサイズで表示する処理とを実行することを特徴とする電子機器。 A plurality of face images are extracted from the video content data, and a face image extraction process for outputting time stamp information indicating a point in time when each extracted face image appears in the video content data; and a predetermined time from the video content data Image extracting means for extracting a still image of one frame for each interval and executing still image extraction processing for outputting time stamp information indicating a time point at which each extracted still image appears in the video content data;
A list of face images extracted by the image extracting means is displayed on a first display area on a display screen, and the still images extracted by the image extracting means are arranged in the order of appearance times of the still images and displayed. A face image list display means for displaying on a second display area on the screen,
The face image list display means includes
While distinguishing a plurality of faces each face image selected still images the selected one of the other of the image on the first display area in response to the operation of the input device that by the User chromatography The When a predetermined event is input by the operation of the input device by the user in a state where a display process and a face image on the first display area are selected, the selected face image Based on the corresponding time stamp information and the time stamp information corresponding to each of the plurality of still images, corresponding to the present time point of the selected face image among the plurality of still images on the second display area An electronic device that executes a process of selecting a still image that appears at a point of time and displaying the selected still image in a predetermined size.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011226828A JP5566984B2 (en) | 2011-10-14 | 2011-10-14 | Electronic apparatus and image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011226828A JP5566984B2 (en) | 2011-10-14 | 2011-10-14 | Electronic apparatus and image display method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007256237A Division JP2009089031A (en) | 2007-09-28 | 2007-09-28 | Electronic apparatus and image display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012060646A JP2012060646A (en) | 2012-03-22 |
| JP5566984B2 true JP5566984B2 (en) | 2014-08-06 |
Family
ID=46057118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011226828A Active JP5566984B2 (en) | 2011-10-14 | 2011-10-14 | Electronic apparatus and image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5566984B2 (en) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09139913A (en) * | 1995-11-16 | 1997-05-27 | Matsushita Electric Ind Co Ltd | Video display method and device therefor |
| KR100347710B1 (en) * | 1998-12-05 | 2002-10-25 | 엘지전자주식회사 | Method and data structure for video browsing based on relation graph of characters |
| JP3838805B2 (en) * | 1999-03-02 | 2006-10-25 | 株式会社日立国際電気 | Image detection method |
| JP2002281432A (en) * | 2001-03-15 | 2002-09-27 | Kddi Corp | Device for retrieving and reading moving image and recording medium |
| GB2395852B (en) * | 2002-11-29 | 2006-04-19 | Sony Uk Ltd | Media handling system |
| JP2004282675A (en) * | 2003-03-19 | 2004-10-07 | Sanyo Electric Co Ltd | Monitoring system |
| JP2006209658A (en) * | 2005-01-31 | 2006-08-10 | Bandai Co Ltd | Device and method for display output and computer program |
| JP4538386B2 (en) * | 2005-07-06 | 2010-09-08 | 富士フイルム株式会社 | Target image recording apparatus, imaging apparatus, and control method thereof |
| JP2007102549A (en) * | 2005-10-05 | 2007-04-19 | Fujifilm Corp | Image retrieval support device |
| JP4559964B2 (en) * | 2005-12-26 | 2010-10-13 | 株式会社日立国際電気 | Image processing program |
| JP4618166B2 (en) * | 2006-03-07 | 2011-01-26 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
-
2011
- 2011-10-14 JP JP2011226828A patent/JP5566984B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012060646A (en) | 2012-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4834640B2 (en) | Electronic device and image display control method | |
| JP5057918B2 (en) | Electronic device and scene type display method | |
| JP4496264B2 (en) | Electronic device and video display method | |
| JP4322945B2 (en) | Electronic device and image display control method | |
| JP4909856B2 (en) | Electronic device and display method | |
| JP4834639B2 (en) | Electronic device and image display control method | |
| JP4331240B2 (en) | Electronic apparatus and image display method | |
| JP4909854B2 (en) | Electronic device and display processing method | |
| US8396332B2 (en) | Electronic apparatus and face image display method | |
| JP2009038680A (en) | Electronic device and face image display method | |
| JP2009089065A (en) | Electronic device and facial image display apparatus | |
| JP4856105B2 (en) | Electronic device and display processing method | |
| JP2009081699A (en) | Electronic apparatus and method of controlling face image extraction | |
| JP5330551B2 (en) | Electronic device and display processing method | |
| JP2010093865A (en) | Electronic apparatus and display control method | |
| JP5232291B2 (en) | Electronic device and face image display method | |
| JP5566984B2 (en) | Electronic apparatus and image display method | |
| JP2009089031A (en) | Electronic apparatus and image display method | |
| JP4987653B2 (en) | Electronic apparatus and image display method | |
| JP5198609B2 (en) | Electronic device, display control method, and program | |
| JP5318171B2 (en) | Electronic device and image display control method | |
| JP5349651B2 (en) | Electronic device, face image extraction control method and program | |
| JP5038836B2 (en) | Information processing device | |
| JP5284426B2 (en) | Electronic apparatus and image display method | |
| JP5377624B2 (en) | Electronic device and face image display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131211 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20140319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140520 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140618 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5566984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |