JP2009033351A - Recording and reproducing device and method - Google Patents
Recording and reproducing device and method Download PDFInfo
- Publication number
- JP2009033351A JP2009033351A JP2007193680A JP2007193680A JP2009033351A JP 2009033351 A JP2009033351 A JP 2009033351A JP 2007193680 A JP2007193680 A JP 2007193680A JP 2007193680 A JP2007193680 A JP 2007193680A JP 2009033351 A JP2009033351 A JP 2009033351A
- Authority
- JP
- Japan
- Prior art keywords
- face
- recording
- playlist
- related information
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、記録再生装置及び方法に関する。 The present invention relates to a recording / reproducing apparatus and method.
近年、BSデジタル放送又は地上波デジタル放送等のデジタルテレビ放送番組を、ハードディスク又は光ディスク等のディスク媒体に記録再生する映像記録再生装置が普及している。また、ネットワークに対応し、LAN(Local Area Network)上のパーソナルコンピュータやデジタル家電機器との間で動画像データを送受信可能な映像記録再生装置が商品化されている。 In recent years, video recording / reproducing apparatuses for recording and reproducing digital television broadcast programs such as BS digital broadcast or terrestrial digital broadcast on a disk medium such as a hard disk or an optical disk have become widespread. In addition, video recording / playback apparatuses that are compatible with networks and that can transmit and receive moving image data to and from personal computers and digital home appliances on a LAN (Local Area Network) have been commercialized.
ホームネットワークで動画像データの共有を目指す仕組みとして、DLNA(Digital Living Network Alliance)があり、DLNAが策定した実装ガイドラインに対応した製品も増えてきている。 DLNA (Digital Living Network Alliance) is a mechanism for sharing moving image data on a home network, and products that comply with the implementation guidelines established by DLNA are increasing.
近年、ハードディスクの大容量化に伴い、大量のテレビ放送番組や動画像データを記録できるようになっている。例えば、ハードディスクの容量が250GB(ギガバイト)のものでは、標準画質モードで100時間以上、長時間モードでは200時間以上のテレビ放送を記録できる。その結果、装置内部に保存できる番組数は、数十本から百本以上と膨大な数になる。特許文献1には、このように大量に録画された番組から希望の番組を簡単に検索するための技術が記載されている。
従来の検索技術は、文字情報に基づいて所望の番組を検索するものであり、依然として煩わしさが残ってしまう。また、ユーザが自分でデジタルカメラやデジタルビデオカメラで撮影した動画像データには、ユーザ自身が文字情報を入力しない限り、適用できない。 Conventional search techniques search for a desired program based on character information, and are still bothersome. In addition, it cannot be applied to moving image data captured by a user with a digital camera or a digital video camera unless the user inputs character information.
従って、依然として、ハードディスクに記録された大量の動画像データの中からユーザが観賞したいコンテンツを探しだすには、非常な手間と時間がかかるといった問題がある。 Therefore, there is still a problem that it takes a lot of time and effort to search for content that the user wants to watch from a large amount of moving image data recorded on the hard disk.
本発明は、大量の動画像から希望の動画像を迅速に検索できる記録再生装置及び方法を提示することを目的とする。 An object of the present invention is to provide a recording / reproducing apparatus and method capable of quickly retrieving a desired moving image from a large number of moving images.
本発明に係る記録再生装置は、動画像を記録媒体に記録する記録手段と、画像認識によりオブジェクト特徴量を抽出するオブジェクト認識処理手段と、前記動画像から前記オブジェクト認識処理手段により抽出されるオブジェクト特徴量に応じて、前記動画像に含まれるオブジェクトを示すオブジェクト関連情報を生成するオブジェクト関連情報生成手段と、前記オブジェクト関連情報生成手段によって生成される前記オブジェクト関連情報に基づき、前記記録媒体に記録された動画像のうち再生を制御するためのプレイリストを生成するプレイリスト生成手段とを具備することを特徴とする。 The recording / reproducing apparatus according to the present invention includes a recording unit that records a moving image on a recording medium, an object recognition processing unit that extracts an object feature amount by image recognition, and an object that is extracted from the moving image by the object recognition processing unit. Object-related information generating means for generating object-related information indicating an object included in the moving image according to the feature amount, and recording on the recording medium based on the object-related information generated by the object-related information generating means And a playlist generating means for generating a playlist for controlling reproduction of the recorded moving images.
本発明に係る記録再生方法は、動画像を記録媒体に記録する記録ステップと、前記動画像から画像認識により第1のオブジェクト特徴量を抽出する第1のオブジェクト認識処理ステップと、前記第1のオブジェクト特徴量に応じて、前記動画像に含まれるオブジェクトを示すオブジェクト関連情報を生成するオブジェクト関連情報生成ステップと、前記オブジェクト関連情報生成ステップによって生成される前記オブジェクト関連情報に基づき、前記記録媒体に記録される動画像のプレイリストを生成するプレイリスト生成ステップとを具備することを特徴とする。 The recording / reproducing method according to the present invention includes a recording step of recording a moving image on a recording medium, a first object recognition processing step of extracting a first object feature amount from the moving image by image recognition, and the first Based on the object-related information, the object-related information generating step for generating object-related information indicating the object included in the moving image, and the object-related information generated by the object-related information generating step, A playlist generation step of generating a playlist of moving images to be recorded.
本発明によれば、記録媒体に大量の動画像が蓄積されている場合においても、特定のオブジェクト、例えば、特定の人物が映る動画像を再生候補としてユーザに素早く提供することが可能になる。これにより、ユーザが視聴したい可能性が高いコンテンツを素早くユーザに再生させることが可能になり、大量の動画像から希望の動画像を探しだす手間と時間を軽減できる。 According to the present invention, even when a large amount of moving images are stored in a recording medium, it is possible to quickly provide a user with a moving image showing a specific object, for example, a specific person, as a reproduction candidate. As a result, it is possible for the user to quickly reproduce content that the user is likely to view, and the time and labor for searching for a desired moving image from a large amount of moving images can be reduced.
以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明に係る記録再生装置の一実施例の概略構成ブロック図を示し、図2は、周辺の装置との接続例を示す。 FIG. 1 shows a schematic block diagram of an embodiment of a recording / reproducing apparatus according to the present invention, and FIG. 2 shows an example of connection with peripheral devices.
本発明の一実施例である記録再生装置10に、USBケーブル又はIEEE1394ケーブルを介して、撮像手段としてのカメラ12が接続する。カメラ12は、本実施例では、動画像を出力するビデオカメラであるが、ワンショットの撮影画像を出力するデジタルスチルカメラであってもよい。
The recording / reproducing
記録再生装置10には更に、LAN14を介してビデオカメラ16が接続する。本実施例では、ビデオカメラ16が出力する動画像及び音声がLAN14を介して記録再生装置10に供給され、記録再生装置10の記録媒体に記録される。特に除外する場合を除き、動画像は、音声を含む。記録再生装置10の映像音声出力は、映像音声モニタ18に供給される。映像音声モニタ18は、記録再生装置10からの再生映像を映像表示装置18aの画面に表示し、再生音声をスピーカ18bから出力する。
A
記録再生装置10の構成と基本動作を説明する。ビデオカメラ16からの動画像は、LAN14を介して、記録再生装置10の通信処理装置20に入力する。通信処理装置20は、HTTP(Hyper Text Transfer Protocol)又はFTP(File Transfer Protocol)等の周知のプロトコルでLAN14からのデータを受信できる。ビデオカメラ16及び通信処理装置20は、それぞれ適切なIPアドレスを設定されており、お互いのIPアドレスを知っているとする。例えば、よく知られているUPnP(Universal Play and Play)規格の機能を利用する。
The configuration and basic operation of the recording / reproducing
記録再生装置10は、ユーザが操作する操作キー、操作ボタン又はリモートコントロール装置等からなるユーザインターフェース(UI)22を具備する。ユーザはユーザインターフェース22を使って、動作モード、及び記録・再生の開始・終了等を記録再生装置10に指示できる。
The recording / reproducing
記録モードでは、通信処理装置20は、ビデオカメラ16からの動画像を記録処理装置24及び顔認識処理装置26に供給する。LAN14経由の動画像伝送のために、ビデオカメラ16が動画像を圧縮符号化してLAN14に出力している場合、記録再生装置10は、対応する画像伸長装置(図示せず)を有することは明らかである。
In the recording mode, the
記録開始の指示に従い、記録処理装置24は、通信処理装置20からの動画像を記録媒体であるハードディスク(HDD)28に記録する。HDD28への動画像記録に特定の画像圧縮方式を使用する場合に、記録処理装置24は、そのための画像圧縮装置を含む。
In accordance with the recording start instruction, the
顔認識処理装置26は、通信処理装置20からの動画像のフレーム画像又は一定フレーム周期のフレーム画像から画像認識により人物の顔を認識し、顔特徴量(第1のオブジェクト特徴量)を抽出する。これは、第1のオブジェクト認識処理による第1のオブジェクト特徴量の抽出に相当する。例えば、顔認識処理装置26は、10フレーム周期、又は、フレームレートの1/5の周期で、顔を認識する。顔認識処理装置26は、顔のサイズが所定サイズ以上の場合に、顔認識を実行する。顔認識処理装置26の顔認識処理技術には、公知の種々の方法を適用できる。例えば、エッジ検出で顔の輪郭を検出し、目、鼻及び口などの位置を特徴量として抽出する方法でもよい。顔認識処理装置26は、抽出した顔特徴量を顔判別処理装置30に供給する。
The face
顔判別処理装置30は、顔認識処理装置26からの顔特徴量をキーとして顔特徴量データベース32を検索し、人物を判別する。顔特徴量データベース32は、顔特徴量と人物(実際には、人物を特定する顔識別子)とを対応付けるレコードからなる。顔判別処理装置30は、顔特徴量データベース32の検索の結果、判別した人物を示す情報、すなわち、人物識別子を管理テーブル34に格納する。顔特徴量データベース32及び管理テーブル34は、HDD28に格納されても、HDD28とは別の記憶媒体に格納されても良い。
The face
管理テーブル34には最終的に、ビデオカメラ16から供給され、HDD28に記録される動画像にどの人物が、どの期間に含まれているかを示す情報が、人物の出現単位で格納される。即ち、各行のレコードは、顔識別子フィールド42の顔識別子で識別される人物が、コンテンツ名フィールドで特定される動画像内に映っている期間を示す。この点で、管理テーブル34は、動画像に含まれる人物(オブジェクト)の登場履歴を記憶する、いわばオブジェクト履歴テーブルである。
In the management table 34, information indicating which person is included in which period in the moving image finally supplied from the
図3は、管理テーブル34の構造例を示す。管理テーブル34は、判別識別子フィールド40、顔識別子フィールド42、コンテンツ名フィールド44、開始タイムフィールド46、終了タイムフィールド48、及び時間フィールド50からなる。管理テーブル34は、HDD28に記録される動画像に特定のオブジェクト(この実施例では人物の顔)がどのコンテンツのどの期間に出現するかを記述するものであり、特許請求の範囲のオブジェクト関連情報に対応する。管理テーブル34を生成する顔判別処理装置30の機能が、特許請求の範囲のオブジェクト関連情報生成手段に相当する。
FIG. 3 shows an example of the structure of the management table 34. The management table 34 includes a
判別識別子フィールド40の判別識別子は、顔認識処理において新しく顔が認識された時、又は、顔が再び認識された時に顔判別処理装置30により生成される一意の識別子である。顔識別子フィールド42の顔識別子は、顔を一意に特定する識別子である。顔判別処理装置30は、顔認識処理装置26からの顔特徴量が顔特徴量データベース32に登録済みの場合に、顔特徴量データベース32から当該顔特徴量に対応する顔識別子を読み出し、顔識別子フィールド42に格納する。
The discrimination identifier in the
コンテンツ名フィールド44のコンテンツ名は、ビデオカメラ16から受信する動画像データに対し、図示していないアプリケーションが付与する名前である。すなわち、顔判別処理装置30は、図示していないアプリケーションから提供されるファイル名などのコンテンツ名を管理テーブル34のコンテンツ名フィールド44に格納する。
The content name in the
開始タイムフィールド46には、フレーム画像に顔が初めて又は再び出現した時のタイムコードが格納され、終了タイムフィールド48には、その顔が認識されなくなった時のタイムコードが格納される。タイムコードは、動画像データの最初のフレーム画像を00:00:00としたときの経過時間であり、動画像データのフレームレートに合わせて値が増加する。例えば、フレームレートが30フレーム/秒で、顔認識処理を6フレーム毎に行っている場合、タイムコードは5フレーム毎に1秒、増加する。即ち、開始タイムフィールド46の開始タイムから、終了タイムフィールド48の終了タイムの直前までの間、顔識別子フィールド42の顔識別子で特定される人物が、記録中の動画像に含まれていることになる。
The
時間フィールド50には、顔識別子フィールド42で特定される人物が動画像に出現していた期間、具体的には、終了タイムフィールド48の値から開始タイムフィールド46の値を差し引いた結果が格納される。
The
ビデオカメラ16からの動画像をHDD28に記録する動作を説明したが、ビデオカメラ16からのワンショットの動画像、即ち、静止画像を、同様のプロセスでHDD28に記録することができる。勿論、最近の多くのビデオカメラは、デジタルスチルカメラとしても利用できる程の高解像度の静止画像を撮影できるので、この静止画撮影機能を使えばよい。
Although the operation of recording a moving image from the
また、動画像の記録と同時に、顔認識処理と顔判別処理を実行する動作を説明したが、動画像の記録終了後に、例えば待機状態の時に、顔認識処理と顔判別処理を実行してもよい。 In addition, the operation of executing the face recognition process and the face discrimination process simultaneously with the recording of the moving image has been described, but the face recognition process and the face discrimination process may be executed after the recording of the moving image, for example, in a standby state. Good.
本実施例の記録再生装置10は、再生モードで、HDD28に記録される任意の画像(動画像又は静止画像)を再生することができる。本実施例は特に、特定の人物が撮影されている動画像のプレイリストを作成し、そのプレイリストに従って、HDD28の記録画像を再生できる。即ち、HDD28に記録された動画像のうち、プレイリストにて指定された部分の動画像を選択して再生することができる。この動作モードをプレイリスト作成モードと呼ぶ。
The recording / reproducing
プレイリスト作成モードでは、カメラ12の出力画像信号は、デジタルインターフェース38を介して顔認識処理装置26に供給される。デジタルインターフェース38は、例えば、USDB又はIEEE1394等に準拠するインターフェース、又は、アナログ画像信号をデジタル画像信号に変換する画像キャプチャ装置である。顔認識処理装置26は、カメラ12の撮影画像から、記録モードの場合と同様に、映っている人物の顔を認識する。勿論、カメラ12がスチルカメラの場合には、顔認識処理装置26は、カメラ12からのワンショットの撮影画像(静止画)から顔を認識する。顔認識処理装置26は、顔認識により抽出された顔特徴量(第2のオブジェクト特徴量)を顔判別処理装置30に供給する。これは、第2のオブジェクト認識処理による第2のオブジェクト特徴量の抽出に相当する。
In the playlist creation mode, the output image signal of the
顔判別処理装置30は、顔認識処理装置26からの顔特徴量を検索キーとして顔特徴量データベース32を検索し、更に、顔特徴量データベース32の検索で合致した人物の顔識別子を検索キーとして管理テーブル34を検索する。顔判別処理装置30は、最終的に、カメラ12で撮影された人物が含まれるコンテンツを示すプレイリストを管理テーブル34から生成し、再生処理装置36に供給する。即ち、顔判別処理装置30は、特許請求の範囲のプレイリスト生成手段に相当する。
The face
再生処理装置36は、顔判別処理装置30からのプレイリストを参照して、ユーザにプレイリストの存在を通知し、自動で、又はユーザの指示に従い、HDD28から該当するコンテンツを再生する。再生処理装置36は、再生映像信号及び再生音声信号を映像音声モニタ18に供給する。
The
図4は、本実施例による動画像の記録と顔認識の動作フローチャートを示す。図示しないアプリケーションが起動し、例えばHTTPのPOSTリクエストを使ってビデオカメラ16から記録再生装置10への動画像データの送信を開始する。通信処理装置20が、ビデオカメラ16からの動画像データを受信する(S1)。このとき、記録再生装置10は、受信する動画像データにコンテンツ名を付与する。本実施例では、例えば動画像データであれば、MOVIE−X.MPGとし、静止画データであれば、IMAGE−X.JPGとする。Xは連続番号である。
FIG. 4 shows an operation flowchart of moving image recording and face recognition according to this embodiment. An application (not shown) is activated, and transmission of moving image data from the
顔認識処理装置26は、上述したように、通信処理装置20からの動画像データから所定間隔のフレーム画像を抽出し、顔認識処理を実施する(S2)。フレーム画像内に顔を認識した場合(S3)、抽出した顔特徴量を顔判別処理装置30に供給し、フレーム画像内に顔を認識できなかった場合(S3)、顔認識処理を終了する。
As described above, the face
顔判別処理装置30は、顔認識処理装置26からの顔特徴量が顔特徴量データベース32に登録されているかいなかを意志ラベル(S4)。抽出された顔特徴量が顔特徴量データベース32に登録されていない場合(S4)、新しくユニークな顔識別子を生成し、顔特徴量とともに顔特徴量データベース32に登録する(S5)。一方、抽出された顔特徴量が顔特徴量データベース32に登録されている場合(S4)、顔特徴量データベース32から、顔特徴量に対応する顔識別子を取得する(S6)。
The face
生成した顔識別子(S5)又は取得した顔識別子(S6)を管理テーブル34に記録する(S7)。新規に顔を認識した際に、管理テーブル34に判別識別子フィールド40、顔識別子フィールド42,コンテンツ名フィールド44及び開始タイムフィールド46を書き込んだ新レコードを追加する。この新レコードの終了タイムフィールド48には、この顔が認識されなくなった時のタイムコードが書き込まれ、時間フィールド50には、開始タイムから終了タイムへの経過時間が書き込まれる。管理テーブル34の各レコードは、顔識別子フィールド42の顔識別子で識別される人物が動画像内に映っている期間を示す。
The generated face identifier (S5) or the acquired face identifier (S6) is recorded in the management table 34 (S7). When a face is newly recognized, a new record in which a
動画像データの受信を完了するまで、以上の処理(S2〜S7)を繰り返す(S8)。動画像データの受信を完了すると、図4に示すフローを終了する。 The above processing (S2 to S7) is repeated until the reception of the moving image data is completed (S8). When the reception of moving image data is completed, the flow shown in FIG. 4 ends.
図5、図6及び図7は、管理テーブル34の内容と変遷の例を示す。図5は、記録再生装置10が動画像データ(コンテンツ名:MOVIE−1.MPG)を受信し記録した時の管理テーブル34の内容例を示す。図6は、図5に続いて、静止画データ(コンテンツ名:IMAGE−1.JPG)をビデオカメラ16から受信し記録した時の管理テーブル34の内容例を示す。図7は、図6に続いて動画像データ(コンテンツ名:MOVIE−2.MPG)をビデオカメラ16から受信し記録した時の管理テーブル34の内容例を示す。顔判別処理装置30が、図5、図6及び図7に示すように管理テーブル34を更新する。
5, 6 and 7 show examples of the contents and transition of the management table 34. FIG. FIG. 5 shows an example of the contents of the management table 34 when the recording / reproducing
カメラ12で撮影した人物を検索キーとして当該人物が撮影されている画像のプレイリストを作成するプレイリスト再生モードの動作を説明する。図8は、プレイリスト作成モードの動作フローチャートを示す。
The operation in the playlist reproduction mode for creating a playlist of images in which the person is photographed using the person photographed by the
図示しないアプリケーションが、カメラ12の撮影画像データを取り込む(S11)。これにより、カメラ12の撮影画像データは、デジタルインターフェース38を介して顔認識処理装置26に供給される。デジタルインターフェース38にIEEE1394インターフェースを使用する場合、IEEE1394のAV/Cプロトコルを利用できる。顔認識処理装置26は、記録モードの際と同様に、カメラ12の撮影画像データから人物の顔を認識する(S12)。
An application (not shown) takes captured image data of the camera 12 (S11). Thereby, the captured image data of the
顔を認識した場合(S13)、顔認識処理装置26は、抽出した顔特徴量を顔判別処理装置30に供給する。顔を認識できなかった場合(S13)、顔認識処理装置26は、顔認識処理を終了して、S17に進む。
When the face is recognized (S13), the face
顔判別処理装置30は、顔認識処理装置26からの顔特徴量を検索キーとして顔特徴量データベース32を検索する(S14)。カメラ12の撮影画像データから抽出された顔特徴量が、顔特徴量データベース32に登録済みでない場合(S14)には、顔判別処理装置30は顔判別処理を終了して、S17に進む。
The face
カメラ12の撮影画像データから抽出された顔特徴量が顔特徴量データベース32に登録済みの場合(S14)、顔判別処理装置30は、当該顔特徴量に対応する顔識別子を顔特徴量データベース32から読み出す。そして、顔判別処理装置30は、顔特徴量データベース32からの顔識別子を検索キーとして管理テーブル34を検索し、この顔識別子を含む画像のプレイリストを管理テーブル34から生成する(S15)。
When the face feature amount extracted from the captured image data of the
例えば、管理テーブル34が図7に示す内容からなる場合で、S14において顔識別子として“F−01”を取得したとする。この場合、顔判別処理装置30は、図7に示す管理テーブル34を顔識別子=“F−01”でフィルタリングし、図9に示すプレイリストを生成する。即ち、顔識別子=“F−01”のレコードを管理テーブル34から抽出する。
For example, it is assumed that the management table 34 has the contents shown in FIG. 7, and “F-01” is acquired as the face identifier in S14. In this case, the face
顔判別処理装置30は、プレイリスト生成のイベントをプレイリストと共に再生処理装置36に通知する。再生処理装置36は、このイベントに応じて、ユーザにプレイリストの存在を通知する(S16)。具体的には、再生処理装置36は、映像表示装置18aの画面にプレイリストの存在を表示し、又は、スピーカ18bからプレイリストの存在を音声で出力する。図10は、映像表示装置18aの表示例を示す。図10に示す例では、プレイリスト再生のための“再生する”ボタンを映像表示装置18aに表示しており、ユーザがユーザインターフェース22を用いて再生を指示した場合、再生処理装置36は、この指示に応じて、プレイリストの再生を開始する。
The face
ユーザからの指示又はタイムアウト等によってカメラ12からの映像信号の取り込みが終了するまで、ステップS12〜S16を繰り返す(S17)。
Steps S12 to S16 are repeated until the capturing of the video signal from the
ユーザから一定時間、何の指示もない場合、プレイリストに従い、プレイリストに記述される画像を順番に自動再生してもよい。 When there is no instruction from the user for a certain period of time, images described in the playlist may be automatically reproduced in order according to the playlist.
このようにして、本実施例では、カメラ12で撮影した人物を含むプレイリストを記録画像から自動生成することができ、ユーザの指示に応じて又は自動的に、プレイリストを実行できる。
In this way, in this embodiment, a playlist including a person photographed by the
LAN経由で送られる動画像を録画と顔認識の対象とする実施例を説明したが、テレビ放送される映像信号を録画と顔認識の対象とすることができることは明らかである。また、記録再生装置10を映像音声モニタ18と一体化してもよい。
Although an embodiment has been described in which a moving image sent via a LAN is a target for recording and face recognition, it is obvious that a video signal broadcast on television can be a target for recording and face recognition. Further, the recording / reproducing
プレイリスト作成のキーとして、人物の顔を例示したが、その他のオブジェクト一般、例えば、犬、猫等の特定の動物、特定の風景等にも、本発明は適用可能であることは明らかである。この点で、顔認識処理装置26は、オブジェクト認識処理手段の一例である。
The face of a person is exemplified as a key for creating a playlist. However, it is obvious that the present invention can be applied to other objects in general, for example, specific animals such as dogs and cats, specific landscapes, and the like. . In this regard, the face
図8に示すフローでは、カメラ12で撮影する一人の人物のプレイリストを作成した。顔認識処理装置26として高速に動作するものを使用することで、1画面内で複数人の顔を認識することが可能である。その場合、複数人のそれぞれを映す画像のプレイリストを作成するだけでなく、これら複数人を同時に映す画像のプレイリストを作成する。図11は、その動作フローチャートを示す。
In the flow shown in FIG. 8, a playlist of one person photographed by the
図示しないアプリケーションが、カメラ12の撮影画像データを取り込む(S21)。これにより、カメラ12の撮影画像データは、デジタルインターフェース38を介して顔認識処理装置26に供給される。顔認識処理装置26は、記録モードの際と同様に、カメラ12の撮影画像データから人物の顔を認識する(S22)。複数の人間が映っている場合、複数人の顔を認識する。
An application (not shown) captures captured image data of the camera 12 (S21). Thereby, the captured image data of the
認識した各顔について、顔認識処理装置26は、抽出した顔特徴量を顔判別処理装置30に供給し(S23)、顔判別処理装置30は、顔特徴量データベース32に登録済みかどうかを調べる(S24)。顔特徴量が顔特徴量データベース32に登録済みの場合(S24)、顔判別処理装置30は、登録済みの各顔特徴量に対応する顔識別子を顔特徴量データベース32から読み出す。
For each recognized face, the face
顔判別処理装置30は、顔特徴量データベース32から読み出した各顔識別子を検索キーとして管理テーブル34を検索し、これらの顔識別子を単独で含む画像のプレイリストと、全部の顔識別子を含むプレイリストを作成する(S25)。
The face
例えば、管理テーブル34が図7に示す内容からなる場合で、S24において顔識別子として”F−01”と”F−02”を取得したとする。この場合、顔判別処理装置30は、顔識別子=“F−01”に対する図9に示すプレイリストに加えて、図12及び図13に示すプレイリストを作成する。図12は、顔識別子=“F−02”に対するプレイリストを示す。図13は、顔識別子として“F−01”と“F−02”の両方を同時に含むプレイリストを示す。
For example, it is assumed that the management table 34 has the contents shown in FIG. 7 and that “F-01” and “F-02” are acquired as face identifiers in S24. In this case, the face
図13に示すプレイリストでは、開始タイム、終了タイム及び時間は、顔識別子=“F−01”が映っている期間と、顔識別子=“F−02”が映って期間が重複する期間を規定する。即ち、図13に示すプレイリストは、図10に示すプレイリストと、図12に示すプレイリストの論理積に相当する。 In the playlist shown in FIG. 13, the start time, end time, and time are defined as a period in which the face identifier = “F-01” is reflected and a period in which the face identifier = “F-02” is reflected and the periods overlap. To do. That is, the playlist shown in FIG. 13 corresponds to the logical product of the playlist shown in FIG. 10 and the playlist shown in FIG.
顔判別処理装置30は、プレイリスト生成のイベントをプレイリストと共に再生処理装置36に通知する。再生処理装置36は、このイベントに応じて、ユーザにプレイリストの存在を通知する(S26)。具体的には、再生処理装置36は、映像表示装置18aの画面にプレイリストの存在を表示し、又は、スピーカ18bからプレイリストの存在を音声で出力する。図14は、映像表示装置18aの表示例を示す。図10に示すプレイリストに対するメッセージ60、図12に示すプレイリストに対するメッセージ62、図13に示すプレイリストに対するメッセージ64が、同時に表示される。その他の構成は、図14と同じである。
The face
ユーザからの指示又はタイムアウト等によってカメラ12からの映像信号の取り込みが終了するまで、ステップS22〜S26を繰り返す(S27)。
Steps S22 to S26 are repeated until the capturing of the video signal from the
ユーザから一定時間、何の指示もない場合、プレイリストに従い、プレイリストに記述される画像を順番に自動再生してもよい。 When there is no instruction from the user for a certain period of time, images described in the playlist may be automatically reproduced in order according to the playlist.
このようにして、本実施例では、カメラ12で同時に撮影された複数の人物を同時に含むプレイリストをも記録画像から自動生成できる。各人に対するプレイリストの論理和により、複数の人物の一人が必ず含まれるプレイリストを生成できることは明らかである。
In this way, in this embodiment, a playlist including a plurality of persons photographed simultaneously by the
10:記録再生装置
12:カメラ
14:LAN
16:ビデオカメラ
18:映像音声モニタ
18a:映像表示装置
18b:スピーカ
20:通信処理装置
22:ユーザインターフェース(UI)
24:記録処理装置
26:顔認識処理装置
28:ハードディスク(HDD)
30:顔判別処理装置
32:顔特徴量データベース
34:管理テーブル
36:再生処理装置
38:デジタルインターフェース
40:判別識別子フィールド
42:顔識別子フィールド
44:コンテンツ名フィールド
46:開始タイムフィールド
48:終了タイムフィールド
50:時間フィールド
10: Recording / reproducing apparatus 12: Camera 14: LAN
16: Video camera 18: Video /
24: Recording processing device 26: Face recognition processing device 28: Hard disk (HDD)
30: Face discrimination processing device 32: Face feature quantity database 34: Management table 36: Playback processing device 38: Digital interface 40: Discrimination identifier field 42: Face identifier field 44: Content name field 46: Start time field 48: End time field 50: Time field
Claims (13)
画像認識によりオブジェクト特徴量を抽出するオブジェクト認識処理手段と、
前記動画像から前記オブジェクト認識処理手段により抽出されるオブジェクト特徴量に応じて、前記動画像に含まれるオブジェクトを示すオブジェクト関連情報を生成するオブジェクト関連情報生成手段と、
前記オブジェクト関連情報生成手段によって生成される前記オブジェクト関連情報に基づき、前記記録媒体に記録された動画像のうち再生を制御するためのプレイリストを生成するプレイリスト生成手段
とを具備することを特徴とする記録再生装置。 Recording means for recording a moving image on a recording medium;
Object recognition processing means for extracting object features by image recognition;
Object-related information generating means for generating object-related information indicating an object included in the moving image according to an object feature amount extracted from the moving image by the object recognition processing means;
Playlist generating means for generating a playlist for controlling reproduction of the moving images recorded on the recording medium, based on the object related information generated by the object related information generating means. A recording / reproducing apparatus.
前記オブジェクト認識処理手段が顔認識処理手段であり、
前記オブジェクト関連情報生成手段は、前記顔認識処理手段による顔認識の結果に従い顔を判別する
ことを特徴とする請求項1に記載の記録再生装置。 The object is a human face;
The object recognition processing means is a face recognition processing means;
The recording / reproducing apparatus according to claim 1, wherein the object-related information generating unit determines a face according to a result of face recognition by the face recognition processing unit.
前記オブジェクト認識処理手段が、前記撮像手段によって撮影された画像から第2のオブジェクト特徴量を抽出し、
前記プレイリスト生成手段が、前記オブジェクト関連情報及び前記第2のオブジェクト特徴量に基づき、前記記録媒体に記録された動画像のうち前記第2のオブジェクトに関連した部分を選択して再生するためのプレイリストを生成する
ことを特徴とする請求項1乃至4の何れか1項に記載の記録再生装置。 Furthermore, it has an imaging means,
The object recognition processing means extracts a second object feature quantity from the image taken by the imaging means;
The playlist generating means is for selecting and playing a portion related to the second object out of the moving images recorded on the recording medium based on the object related information and the second object feature amount. The recording / reproducing apparatus according to claim 1, wherein a playlist is generated.
前記プレイリスト生成手段が、前記オブジェクト関連情報及び前記複数の第2のオブジェクト特徴量に基づき、前記記録媒体に記録される動画像のうち、前記複数の第2のオブジェクトに関連した部分を選択してそれぞれ再生するための複数のプレイリストを生成する
ことを特徴とする請求項1乃至4の何れか1項に記載の記録再生装置。 The object recognition processing means extracts a plurality of second object feature quantities for different objects from the image taken by the imaging means;
The playlist generation means selects a portion related to the plurality of second objects from the moving images recorded on the recording medium based on the object related information and the plurality of second object feature amounts. 5. The recording / reproducing apparatus according to claim 1, wherein a plurality of playlists are generated for reproduction respectively.
前記動画像から画像認識により第1のオブジェクト特徴量を抽出する第1のオブジェクト認識処理ステップと、
前記第1のオブジェクト特徴量に応じて、前記動画像に含まれるオブジェクトを示すオブジェクト関連情報を生成するオブジェクト関連情報生成ステップと、
前記オブジェクト関連情報生成ステップによって生成される前記オブジェクト関連情報に基づき、前記記録媒体に記録される動画像のプレイリストを生成するプレイリスト生成ステップ
とを具備することを特徴とする記録再生方法。 A recording step of recording a moving image on a recording medium;
A first object recognition processing step of extracting a first object feature amount from the moving image by image recognition;
An object related information generating step for generating object related information indicating an object included in the moving image according to the first object feature amount;
And a playlist generating step of generating a playlist of moving images recorded on the recording medium based on the object related information generated by the object related information generating step.
前記オブジェクト関連情報生成ステップは、顔特徴量に従い顔を判別する
ことを特徴とする請求項8に記載の記録再生方法。 The first object recognition processing step is a face recognition processing step of recognizing a face from the moving image and extracting a facial feature quantity;
9. The recording / reproducing method according to claim 8, wherein the object-related information generating step discriminates a face according to a face feature amount.
前記プレイリスト生成ステップが、前記オブジェクト関連情報及び前記第2のオブジェクト特徴量に基づき、前記記録媒体に記録される動画像のプレイリストを生成する
ことを特徴とする請求項8乃至10の何れか1項に記載の記録再生方法。 And a second object recognition processing step for extracting a second object feature amount by image recognition from the image photographed by the imaging means,
11. The play list generation step of generating a play list of moving images recorded on the recording medium based on the object related information and the second object feature amount. 2. The recording / reproducing method according to item 1.
前記プレイリスト生成ステップが、前記オブジェクト関連情報及び前記複数の第2のオブジェクト特徴量に基づき、前記記録媒体に記録される動画像の、前記複数の第2のオブジェクト特徴量の1つ以上に対する複数のプレイリストを生成する
ことを特徴とする請求項8乃至10の何れか1項に記載の記録再生方法。 The second object recognition processing step extracts a plurality of second object feature amounts for different objects from the image photographed by the imaging means;
The playlist generation step includes a plurality of moving images recorded on the recording medium based on the object-related information and the plurality of second object feature quantities, with respect to one or more of the plurality of second object feature quantities. 11. The recording / reproducing method according to claim 8, wherein a play list is generated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007193680A JP4999589B2 (en) | 2007-07-25 | 2007-07-25 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007193680A JP4999589B2 (en) | 2007-07-25 | 2007-07-25 | Image processing apparatus and method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009033351A true JP2009033351A (en) | 2009-02-12 |
JP2009033351A5 JP2009033351A5 (en) | 2010-09-02 |
JP4999589B2 JP4999589B2 (en) | 2012-08-15 |
Family
ID=40403384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007193680A Expired - Fee Related JP4999589B2 (en) | 2007-07-25 | 2007-07-25 | Image processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4999589B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287985A (en) * | 2009-06-10 | 2010-12-24 | Sanyo Electric Co Ltd | Image processor |
JP2011035837A (en) * | 2009-08-05 | 2011-02-17 | Toshiba Corp | Electronic apparatus and method for displaying image data |
US20110110564A1 (en) * | 2009-11-06 | 2011-05-12 | Kabushiki Kaisha Toshiba | Electronic apparatus and image display |
JP2011150649A (en) * | 2010-01-25 | 2011-08-04 | Canon Inc | System and method for processing information |
JP2011244343A (en) * | 2010-05-20 | 2011-12-01 | Toshiba Corp | Electronic apparatus and dynamic image generating method |
JP2013126175A (en) * | 2011-12-15 | 2013-06-24 | Nikon Corp | Image recorder, image generating apparatus, control program of image recorder and control program of image generating apparatus |
JP2014238712A (en) * | 2013-06-07 | 2014-12-18 | 三菱電機株式会社 | Content analysis device, content analysis method and content analysis program |
US9159368B2 (en) | 2008-05-19 | 2015-10-13 | Hitachi Maxell, Ltd. | Recording and reproducing apparatus and method thereof |
JP2021168040A (en) * | 2020-04-10 | 2021-10-21 | 株式会社エクサウィザーズ | Information processing device, information processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005101906A (en) * | 2003-09-25 | 2005-04-14 | Fuji Photo Film Co Ltd | Moving image recording device, moving image recording method, and program |
JP2005333381A (en) * | 2004-05-19 | 2005-12-02 | Toshiba Corp | Media data reproducer, media-data reproducing system, media-data reproducing program and remote operation program |
JP2006323621A (en) * | 2005-05-19 | 2006-11-30 | Noritsu Koki Co Ltd | Electronic album system |
JP2008283486A (en) * | 2007-05-10 | 2008-11-20 | Sony Corp | Information processor, information processing method, and program |
-
2007
- 2007-07-25 JP JP2007193680A patent/JP4999589B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005101906A (en) * | 2003-09-25 | 2005-04-14 | Fuji Photo Film Co Ltd | Moving image recording device, moving image recording method, and program |
JP2005333381A (en) * | 2004-05-19 | 2005-12-02 | Toshiba Corp | Media data reproducer, media-data reproducing system, media-data reproducing program and remote operation program |
JP2006323621A (en) * | 2005-05-19 | 2006-11-30 | Noritsu Koki Co Ltd | Electronic album system |
JP2008283486A (en) * | 2007-05-10 | 2008-11-20 | Sony Corp | Information processor, information processing method, and program |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10418069B2 (en) | 2008-05-19 | 2019-09-17 | Maxell, Ltd. | Recording and reproducing apparatus and method thereof |
US11948605B2 (en) | 2008-05-19 | 2024-04-02 | Maxell, Ltd. | Recording and reproducing apparatus and method thereof |
US11727960B2 (en) | 2008-05-19 | 2023-08-15 | Maxell, Ltd. | Recording and reproducing apparatus and method thereof |
US11094350B2 (en) | 2008-05-19 | 2021-08-17 | Maxell, Ltd. | Recording and reproducing apparatus and method thereof |
US9159368B2 (en) | 2008-05-19 | 2015-10-13 | Hitachi Maxell, Ltd. | Recording and reproducing apparatus and method thereof |
US10176848B2 (en) | 2008-05-19 | 2019-01-08 | Maxell, Ltd. | Recording and reproducing apparatus and method thereof |
JP2010287985A (en) * | 2009-06-10 | 2010-12-24 | Sanyo Electric Co Ltd | Image processor |
JP2011035837A (en) * | 2009-08-05 | 2011-02-17 | Toshiba Corp | Electronic apparatus and method for displaying image data |
US20110110564A1 (en) * | 2009-11-06 | 2011-05-12 | Kabushiki Kaisha Toshiba | Electronic apparatus and image display |
JP2011101251A (en) * | 2009-11-06 | 2011-05-19 | Toshiba Corp | Electronic apparatus and image display method |
US8244005B2 (en) | 2009-11-06 | 2012-08-14 | Kabushiki Kaisha Toshiba | Electronic apparatus and image display method |
JP2011150649A (en) * | 2010-01-25 | 2011-08-04 | Canon Inc | System and method for processing information |
JP2011244343A (en) * | 2010-05-20 | 2011-12-01 | Toshiba Corp | Electronic apparatus and dynamic image generating method |
JP2013126175A (en) * | 2011-12-15 | 2013-06-24 | Nikon Corp | Image recorder, image generating apparatus, control program of image recorder and control program of image generating apparatus |
JP2014238712A (en) * | 2013-06-07 | 2014-12-18 | 三菱電機株式会社 | Content analysis device, content analysis method and content analysis program |
JP2021168040A (en) * | 2020-04-10 | 2021-10-21 | 株式会社エクサウィザーズ | Information processing device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4999589B2 (en) | 2012-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4999589B2 (en) | Image processing apparatus and method | |
JP4998026B2 (en) | Image processing apparatus, imaging apparatus, image display control method, and computer program | |
JP4656454B2 (en) | Recording apparatus and method, reproducing apparatus and method, and program | |
JP5515890B2 (en) | Image processing apparatus, image processing method, image processing system, control program, and recording medium | |
EP3185539A1 (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
JP2010103765A (en) | Electronic apparatus, and video processing method | |
JP2007241496A (en) | Image processor, image processing method, and program | |
JPWO2006025284A1 (en) | Stream playback device | |
JP2003274352A (en) | Content recording and reproducing device and content editing method | |
JP2011090476A (en) | System and method for retrieving similar image | |
JP2013171373A (en) | Information processor, system and information processing method | |
JP2012085000A (en) | Image reproducing device, image recording device, and image recording and reproducing system | |
JP6214762B2 (en) | Image search system, search screen display method | |
WO2017026154A1 (en) | Information processing device, information processing method, and program | |
JP2011066609A (en) | Reproduction control apparatus, reproduction control method, and program | |
JP2014204411A (en) | Conference recording system, conference recording device, conference recording-reproduction method, and computer program | |
JP2010263374A (en) | Recording and reproducing device and recording and reproducing method | |
JP2011078029A (en) | Electronic equipment, and method and program for reproducing content | |
JP2011076551A (en) | Electronic apparatus, access control method and program | |
JP2006314017A (en) | Hard disk drive recorder | |
JP2006128880A (en) | Dvd recorder connected to ieee 1394 serial bus, and digital video recording apparatus connected to ieee 1394 serial bus | |
US8255433B2 (en) | Recorder | |
JP2010157960A (en) | Imaging apparatus | |
JP4290062B2 (en) | Recording / playback device | |
US20150229786A1 (en) | Communication device and control method of communication device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100721 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120515 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4999589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
LAPS | Cancellation because of no payment of annual fees |