JP2011234180A - Imaging apparatus, reproducing device, and reproduction program - Google Patents
Imaging apparatus, reproducing device, and reproduction program Download PDFInfo
- Publication number
- JP2011234180A JP2011234180A JP2010103308A JP2010103308A JP2011234180A JP 2011234180 A JP2011234180 A JP 2011234180A JP 2010103308 A JP2010103308 A JP 2010103308A JP 2010103308 A JP2010103308 A JP 2010103308A JP 2011234180 A JP2011234180 A JP 2011234180A
- Authority
- JP
- Japan
- Prior art keywords
- change point
- moving image
- face
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、動画のフレーム画像に人物などの顔が含まれているかどうかを検出する顔検出機能を備えた撮像装置、再生装置、および再生プログラムに関するものである。 The present invention relates to an imaging device, a playback device, and a playback program having a face detection function for detecting whether a face such as a person is included in a frame image of a moving image.
特許文献１には、記録媒体に記録されている動画像のコンテンツをスライドショー的に再生することにより、動画像のコンテンツの新しい楽しみかたをユーザに提供し、ユーザを満足させられる再生装置が記載されている。
特許文献１に記載の再生装置は、第２の画像再生手段が出力するフレームの画像を切り換える時間間隔を条件に、静止画像出力手段が出力するフレームの画像を抽出するので、音声再生手段が出力している音声にあった、フレームの画像を抽出し、出力することができる。
The playback device described in
また、特許文献１に記載の再生装置は、第２の画像再生手段が出力するフレームの画像を、前後のフレームとは独立していて、単独で記録されている基本フレームの画像、例えばＭＰＥＧ２におけるＩ−Ｐｉｃｔｕｒｅ、としたので、そのフレームにかかる画像データのみ処理するだけでよい。したがって、装置本体にかかる負荷が抑えられるとともに、静止画像として出力するフレームの画像の画質を適正に保つことができる。
In addition, the playback device described in
しかしながら、特許文献１に記載の再生装置は、第２の画像再生手段が出力するフレームの画像を切り換える時間間隔を条件に、静止画像出力手段が出力するフレームの画像を抽出するか、第２の画像再生手段が出力するフレームの画像を、前後のフレームとは独立していて、単独で記録されている基本フレームの画像としたので、動画内の人物などの顔に関する情報に有意な変化が生じたシーンを抽出して表示することはできない。
However, the playback device described in
第２の画像再生手段が出力するフレームの画像を切り換える時間間隔や前後のフレームとは独立していて、単独で記録されている基本フレームは、動画内の人物などの顔に関する情報とは無関係に決定されるからである。 The time interval for switching the image of the frame output by the second image reproduction means and the preceding and following frames are independent, and the basic frame recorded independently is independent of the information about the face such as a person in the moving image. It is because it is decided.
本発明は、前記課題を解決し、動画内の人物などの顔に関する情報に有意な変化が生じたシーンを抽出して表示することができる撮像装置、再生装置、および再生プログラムを提供することを目的とする。 The present invention provides an imaging device, a playback device, and a playback program capable of solving the above-described problems and extracting and displaying a scene in which information relating to a face such as a person in a moving image has a significant change. Objective.
前記課題を解決するために、本発明の撮像装置は、複数のフレームから構成される動画データを生成する撮像手段と、前記フレームに基づく画像を表示する表示手段と、前記動画データに含まれる人間の顔に関する変化点を検出する顔検出手段と、前記変化点に対応するフレームに関する情報を記録する記録手段と、前記動画データのスライドショー再生を指示する指示手段と、前記指示手段によって前記動画データのスライドショー再生が指示されたときに、前記記録手段に記録された前記変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記表示手段に表示させる制御手段と、を備える、ことを特徴とする。 In order to solve the above problem, an imaging apparatus according to the present invention includes an imaging unit that generates moving image data including a plurality of frames, a display unit that displays an image based on the frames, and a human included in the moving image data. Face detecting means for detecting a change point related to the face of the user, a recording means for recording information relating to a frame corresponding to the change point, an instruction means for instructing a slide show reproduction of the moving image data, and the instruction means An image based on a frame corresponding to the change point among a plurality of frames constituting the moving image data based on information related to the frame corresponding to the change point recorded in the recording unit when a slide show reproduction is instructed And control means for displaying on the display means.
また、本発明の再生装置は、複数のフレームから構成される動画データを再生する再生手段と、前記フレームに基づく画像を表示する表示手段と、前記動画データに含まれる人間の顔に関する変化点を検出する顔検出手段と、前記変化点に対応するフレームに関する情報を記録する記録手段と、前記動画データのスライドショー再生を指示する指示手段と、前記指示手段によって前記動画データのスライドショー再生が指示されたときに、前記記録手段に記録された前記変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記表示手段に表示させる制御手段と、を備える、ことを特徴とする。 In addition, the playback device of the present invention includes a playback unit that plays back moving image data including a plurality of frames, a display unit that displays an image based on the frame, and a change point related to a human face included in the moving image data. Face detecting means for detecting, recording means for recording information relating to a frame corresponding to the change point, instruction means for instructing slide show reproduction of the moving image data, and instruction for instructing reproduction of the moving image data by the instruction means Sometimes, based on the information about the frame corresponding to the change point recorded in the recording means, an image based on the frame corresponding to the change point among a plurality of frames constituting the moving image data is displayed on the display means. And a control means for making it possible.
また、本発明の再生プログラムは、電子計算機を、複数のフレームから構成される動画データを再生する再生手段と、前記フレームに基づく画像を表示する表示手段と、前記動画データに含まれる人間の顔に関する変化点を検出する顔検出手段と、前記変化点に対応するフレームに関する情報を記録する記録手段と、前記動画データのスライドショー再生を指示する指示手段と、前記指示手段によって前記動画データのスライドショー再生が指示されたときに、前記記録手段に記録された前記変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記表示手段に表示させる制御手段と、して動作させる、ことを特徴とする。 In addition, the reproduction program of the present invention is a computer program that reproduces moving image data composed of a plurality of frames, a display unit that displays an image based on the frames, and a human face included in the moving image data. A face detecting means for detecting a change point relating to the image, a recording means for recording information relating to a frame corresponding to the change point, an instruction means for instructing a slide show reproduction of the moving picture data, and a slide show reproduction of the moving picture data by the instruction means. On the basis of the information about the frame corresponding to the change point recorded in the recording means, the image based on the frame corresponding to the change point among the plurality of frames constituting the moving image data is displayed. It is characterized by operating as control means for displaying on the display means.
以上のように、本発明によれば、記録手段に記録された人間の顔に関する変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記表示手段に表示させるので、動画内の人物などの顔に関する情報に有意な変化が生じたシーンを抽出して表示することができるという効果を奏する。 As described above, according to the present invention, based on the information related to the frame corresponding to the change point related to the human face recorded in the recording means, the change point corresponding to the change point among the plurality of frames constituting the moving image data. Since an image based on a frame is displayed on the display means, it is possible to extract and display a scene in which a significant change has occurred in information related to a face such as a person in a moving image.
（実施の形態）
（１．外観）
以下、本発明の実施の形態に係るデジタルカメラについて、図面を参照しながら説明する。
(Embodiment)
(1. Appearance)
Hereinafter, a digital camera according to an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の実施の形態に係るデジタルカメラ１００の外観図である。図１（ａ）は、正面図であり、図１（ｂ）は、背面図である。本発明の実施の形態に係るデジタルカメラ１００は、ＡＶＣＨＤ規格によって規定された動画とＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格によって規定された静止画を記録できる。
FIG. 1 is an external view of a
デジタルカメラ１００の正面には、撮像光学系１０１とフラッシュ１０２が配されている。撮像光学系１０１は、被写体像をデジタルカメラ１００内の撮像素子に結像させる。フラッシュ１０２は、静止画撮影モードにおいて、暗所での撮影の場合に、閃光を発して撮影光量の不足を補う。
An imaging
デジタルカメラ１００の上面には、シャッターボタン１０３が配されている。静止画撮影モードにおいて、シャッターボタン１０３を押下すると、撮像素子に結像した光学像に基づく電気信号が静止画ファイルとしてメモリカードなどの記録媒体に記録される。
A
また、動画撮影モードにおいて、シャッターボタン１０３を押下すると、撮像素子に結像した光学像に基づく電気信号が、順次、動画ファイルとして記録媒体に記録される。再度、シャッターボタン１０３を押下すると、動画ファイルの記録が終了する。同時に、記録媒体に管理ファイルが存在しない場合は、管理ファイルが記録媒体に新たに作成され、記録媒体に管理ファイルが既に存在する場合は、管理ファイルが更新される。管理ファイルには、撮影時間や動画ファイルのプロファイル情報などが記載される。
Further, when the
デジタルカメラ１００の下面には、記録媒体を装着するスロット１０８が配されている。デジタルカメラ１００を用いて静止画および動画を撮影した場合、静止画ファイルと動画ファイルは、記録媒体内の異なるフォルダに格納される。また、再生モードにおいては、記録媒体に記録された静止画ファイルに基づく静止画や動画ファイルに基づく動画を液晶モニター１０４に表示する。
A
デジタルカメラ１００の背面には、液晶モニター１０４、モードダイヤル１０５、各種操作ボタン１０６が配されている。液晶モニター１０４には、静止画撮影モードまたは動画撮影モードのとき、撮像素子に結像した光学像に基づく画像が、順次、表示される。したがって、液晶モニター１０４に表示された画像を確認しながら撮影のための構図を決定することができる。また、液晶モニター１０４は、再生モードのとき、記録媒体に記録された静止画ファイルに基づく静止画や動画ファイルに基づく動画を表示することができる。
A
モードダイヤル１０５は、静止画撮影モード、動画撮影モードおよび再生モードを切り替えるためのダイヤル式のスイッチである。モードダイヤル１０５を操作することによって、デジタルカメラ１００の動作モードを決定することができる。デジタルカメラ１００の動作モードには、静止画撮影モード、動画撮影モードおよび再生モードがある。
The
静止画撮影モードは、シャッターボタン１０３を押下することにより、撮像素子に結像した光学像に基づく電気信号を静止画ファイルとして記録媒体に記録する動作モードである。静止画撮影モードは、さらに全自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、シーン別撮影モードに細分される。
The still image shooting mode is an operation mode in which an electric signal based on an optical image formed on an image sensor is recorded on a recording medium as a still image file when the
動画撮影モードは、シャッターボタン１０３を押下してから、再度、シャッターボタン１０３を押下するまでの間、撮像素子に結像した光学像に基づく電気信号を、順次、動画ファイルとして記録媒体に記録する動作モードである。
In the moving image shooting mode, an electric signal based on the optical image formed on the image sensor is sequentially recorded as a moving image file on a recording medium from when the
再生モードは、記録媒体に記録された静止画ファイルに基づく静止画や動画ファイルに基づく動画を液晶モニター１０４に表示する動作モードである。また、静止画ファイルのサムネイル画像と動画ファイルの代表画像を示すサムネイル画像を混在させて、撮影日時順に並べて液晶モニター１０４に表示することができる。液晶モニター１０４に表示されたサムネイル画像を選択することによって、表示を切り替えることができる。すなわち、静止画ファイルのサムネイル画像が選択された場合は、静止画ファイルに基づく静止画が液晶モニター１０４に表示され、動画ファイルの代表画像を示すサムネイル画像が選択された場合は、動画ファイルに基づく動画が再生される。また、静止画ファイルと動画ファイルの代表画像を混在させて、撮影日時順に並べて、所定の時間間隔ごとに順番に液晶モニター１０４に表示する、いわゆるスライドショー再生をすることができる。動画ファイルの代表画像がスライドショー再生された場合は、所望の代表画像が表示されているときに、各種操作ボタン１０６を操作することで、その代表画像以降の動画ファイルに基づく動画を再生することができる。
The playback mode is an operation mode in which a still image based on a still image file recorded on a recording medium or a moving image based on a moving image file is displayed on the
各種操作ボタン１０６は、液晶モニター１０４にメニュー画面を表示するためのメニューボタン１０６ｂ、メニュー画面における項目を選択するために上下左右にカーソルを移動させる上下左右ボタン１０６ａ、メニュー画面においてカーソルが存在する項目の決定を指示する決定ボタン１０６ｂ（メニューボタンと兼用）、液晶モニター１０４上のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示項目を切り替えるための表示切替ボタン１０６ｃ、不要な静止画ファイルまたは動画ファイルの削除を指示する削除ボタン１０６ｄから構成される。動画ファイルが削除されると、これを受けて管理ファイルが更新される。
これらのボタンを操作することによって、静止画撮影モード、動画撮影モードおよび再生モードにおけるさらに詳細な設定をすることができる。すなわち、静止画撮影モードにおいては、露出補正、ホワイトバランス調整、フラッシュ１０２の発光に関する設定、顔検出機能に関する設定などを行うことができる。また、動画撮影モードにおいては、解像度やフレームレートなどを変更することができる。さらに、再生モードにおいては、液晶モニター１０４に表示された静止画の拡大や縮小、液晶モニター１０４に同時に表示するサムネイル画像の数の設定、記録媒体に記録された静止画ファイルや動画ファイルの検索などを行うことができる。
（２．構成）
図２は、本発明の実施の形態に係るデジタルカメラ１００のブロック図である。
By operating these buttons, more detailed settings can be made in the still image shooting mode, the moving image shooting mode, and the playback mode. That is, in the still image shooting mode, exposure correction, white balance adjustment, settings relating to flash 102 emission, settings relating to the face detection function, and the like can be performed. In the moving image shooting mode, the resolution, the frame rate, and the like can be changed. Furthermore, in the playback mode, enlargement or reduction of the still image displayed on the
(2. Configuration)
FIG. 2 is a block diagram of the
本実施の形態に係るデジタルカメラ１００は、記録媒体２１２に、メモリカードを採用する。
操作手段２１１は、シャッターボタン１０３、各種操作ボタン１０６、モードダイヤル１０５から構成され、これらを通じてユーザの指示を制御手段２０２に出力する。
The
制御手段２０２は、操作手段２１１から出力されたユーザの指示にしたがって、撮像手段２０１、信号処理手段２０５、表示制御手段２０３、記録制御手段２０６を制御し、撮影、記録および再生などの処理を実行する。
The
表示手段２０４は、液晶モニター１０４から構成され、撮像素子に結像した光学像に基づく画像や、記録媒体に記録されている静止画ファイルや動画ファイルの再生画像、撮影や再生に関する設定を行うメニュー画面などを表示する。表示制御手段２０３は、表示手段２０４の表示を制御する。
The display means 204 is composed of the
撮像手段２０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子から構成され、制御手段２０２の指示にしたがって、光学像を電気信号に変換し、信号処理手段２０５に出力する。
The
信号処理手段２０５は、静止画撮影モードにおいて、撮像手段２０１から出力された電気信号に対して、ＪＰＥＧ圧縮などの圧縮処理を行い、圧縮された静止画ファイルを記録制御手段２０６に出力する。
The
また、信号処理手段２０５は、動画撮影モードにおいて、撮像手段２０１から、順次、出力される電気信号に対して、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの圧縮処理を行い、圧縮された動画ファイルを記録制御手段２０６に出力する。
Further, the
さらに、信号処理手段２０５は、静止画撮影モードおよび動画撮影モードにおいて、撮像手段２０１から、順次、出力される電気信号を、ＹＣ信号などの表示手段２０４が表示できる信号に変換し、表示制御手段２０３に出力する。
Further, the
加えて、信号処理手段２０５は、再生モードにおいて、記録制御手段２０６から出力される記録媒体２１２内の静止画ファイルを伸張し、表示制御手段２０３に出力する。また、記録制御手段２０６から出力される記録媒体２１２内の動画ファイルを伸張し、表示制御手段２０３に出力する。
In addition, the
顔検出機能を有効にしている場合、信号処理手段２０５は、各動作モードにおいて生成した静止画あるいは動画のフレーム画像の信号を、顔検出手段２０７に出力する。
When the face detection function is enabled, the
顔検出手段２０７は、信号処理手段２０５から出力された静止画あるいは動画のフレーム画像に対して、顔情報の検出を行う。ここでいう顔情報の検出とは、パターン識別などのアルゴリズムにより、静止画あるいは動画のフレーム画像の中に人物などの顔画像が含まれているかどうか、顔画像の個数、顔画像の位置、顔画像の大きさ、顔画像の角度といった情報を検出することを指す。顔検出手段２０７は、これらの情報のうち少なくとも一つを検出することのできる顔検出機能を備える。また、顔検出手段２０７は、被写体識別機能を備えていてもよい。ここでいう被写体識別機能は、顔検出により得られた顔画像が、デジタルカメラ１００自体のもつ図示しない記憶手段や記録媒体２１２などに記録されているデータベースに登録されている被写体であるかどうかを検出することのできる機能を指す。あるいは、顔検出手段２０７は、表情変化検出機能を備えていてもよい。ここでいう表情変化検出機能は、顔検出により得られた顔画像から、人物などの表情が変化したかどうかを検出することのできる機能を指す。さらに、被写体識別機能と表情変化検出機能を両方とも備えていてもよい。
The
顔検出手段２０７の備える機能によって検出された情報は、静止画あるいは動画のフレーム画像に対する顔検出情報として、制御手段２０２の指示にしたがって、制御手段２０２および記録制御手段２０６に出力される。
Information detected by the function of the
記録制御手段２０６は、信号処理手段２０５から出力された静止画ファイルまたは動画ファイルを記録媒体２１２に記録する。また、制御手段２０２の指示にしたがって、信号処理手段２０５および顔検出手段２０７から出力された情報を元に、管理ファイルを記録媒体２１２に記録する。さらに、制御手段２０２の指示にしたがって、記録媒体２１２から静止画ファイルまたは動画ファイルを読み出し、信号処理手段２０５に出力する。加えて、制御手段２０２の指示にしたがって、記録媒体２１２内の管理ファイルを読み出し、制御手段２０２に出力する。
（３．ファイル構成）
（３−１．フォルダ構成）
図３は、記憶媒体２１２内のフォルダ構成を示す図である。フォルダ名は四角によって囲まれているが、ファイル名は四角によって囲まれていない。ＲＯＯＴフォルダの下位には、ＤＣＩＭフォルダとＰＲＩＶＡＴＥフォルダが作成されている。
The recording control unit 206 records the still image file or the moving image file output from the
(3. File structure)
(3-1. Folder structure)
FIG. 3 is a diagram showing a folder structure in the
ＤＣＩＭフォルダは、ＤＣＦ規格によって規定されたフォルダである。ＤＣＩＭフォルダの下位には、１００＿ＰＡＮＡフォルダが作成されている。１００＿ＰＡＮＡフォルダは、ＤＣＦ規格に基づいて命名されたフォルダであって、静止画ファイルが格納される。Ｐ１０００００１．ｊｐｇファイルからＰ１００ｎｎｎｎ．ｊｐｇファイルは、ＤＣＦ規格に基づいて命名された静止画ファイルである（ｎｎｎｎ＝０００２〜９９９９）。静止画ファイルに対応する管理ファイルは、存在しない。 The DCIM folder is a folder defined by the DCF standard. A 100_PANA folder is created under the DCIM folder. The 100_PANA folder is a folder named based on the DCF standard, and stores still image files. P1000001. jpg file from P100nnnn. The jpg file is a still image file named based on the DCF standard (nnnn = 0002 to 9999). There is no management file corresponding to the still image file.
ＰＲＩＶＡＴＥフォルダの下位には、ＡＶＣＨＤフォルダが作成されている。ＡＶＣＨＤフォルダの下位には、ＢＤＭＶフォルダが作成されている。 An AVCHD folder is created under the PRIVATE folder. A BDMV folder is created below the AVCHD folder.
ＢＤＭＶフォルダの下位には、ＳＴＲＥＡＭフォルダが作成されている。ＳＴＲＥＡＭフォルダには、動画ファイルが格納される。０００００．ｍｔｓファイルからＸＸＸＸＸ．ｍｔｓファイルは、動画ファイルである（ＸＸＸＸＸ＝００００１〜９９９９９）。 A STREAM folder is created below the BDMV folder. A moving image file is stored in the STREAM folder. 00000. From the mts file, XXXXXX. The mts file is a moving image file (XXXX = 00001 to 99999).
ＢＤＭＶフォルダに格納されるファイルとＢＤＭＶフォルダの下位のフォルダに格納されるファイルのうち、ＳＴＲＥＡＭフォルダに格納される動画ファイル以外のファイルは、管理ファイルの一例である。 Of the files stored in the BDMV folder and the files stored in the folders below the BDMV folder, files other than the moving image file stored in the STREAM folder are examples of management files.
管理ファイルの一例として、ＣＬＩＰＩＮＦフォルダに格納されるクリップ情報ファイルについて説明する。ＢＤＭＶフォルダの下位には、ＣＬＩＰＩＮＦフォルダが作成されている。ＣＬＩＰＩＮＦフォルダには、クリップ情報ファイルが格納される。０００００．ｃｐｉファイルからＸＸＸＸＸ．ｃｐｉファイルは、クリップ情報ファイルである。クリップ情報ファイルは、動画ファイルと一対一に対応し、対応する動画ファイルの撮影時間などの情報が記載されている。 As an example of the management file, a clip information file stored in the CLIPINF folder will be described. A CLIPINF folder is created below the BDMV folder. A clip information file is stored in the CLIPINF folder. 00000. from the cpi file. The cpi file is a clip information file. The clip information file has a one-to-one correspondence with the moving image file and describes information such as the shooting time of the corresponding moving image file.
ＢＤＭＶフォルダに格納されるＩＮＤＥＸ．ｂｄｍファイル、ＭＯＶＩＥＯＢＪ．ｂｄｍファイルおよびＰＬＡＹＬＩＳＴフォルダに格納される０００００．ｍｐｌファイルからＹＹＹＹＹ．ｍｐｌファイルについては説明を省略する。
（３−２．フレーム位置情報）
以下に、管理ファイルに記録されるフレーム位置情報について、例を挙げて説明する。図４は動画ファイルとフレーム位置情報の対応の一例を示す図である。また、図５はフレーム位置情報として記録されるデータの一例を示す図である。
INDEX.NET stored in the BDMV folder. bdm file, MOVIEOBJ. stored in the bdm file and the PLAYLIST folder. mpl file from YYYYY. Description of the mpl file is omitted.
(3-2. Frame position information)
Hereinafter, the frame position information recorded in the management file will be described with an example. FIG. 4 is a diagram showing an example of the correspondence between a moving image file and frame position information. FIG. 5 is a diagram showing an example of data recorded as frame position information.
管理ファイルには、フレーム位置情報として、再生位置情報、顔検出情報、参照画像の有無、管理番号などが記録されている。本例はあくまでも一例であり、これら以外の情報が記録されていてもよいし、ここで挙げた情報のうちのいくつかが記録されていなくても問題ない。 In the management file, playback position information, face detection information, presence / absence of a reference image, management number, and the like are recorded as frame position information. This example is merely an example, and information other than these may be recorded, and there is no problem even if some of the information listed here is not recorded.
再生位置情報は動画ファイル内におけるフレームの位置を特定するための情報である。なお、再生位置情報としては、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）情報のほか、動画の再生時間、動画の撮影時刻、フレーム番号、パケット数、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）情報、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）情報、およびこれらの情報から算出される値を利用することもできる。 The reproduction position information is information for specifying the position of the frame in the moving image file. The playback position information includes PTS (Presentation Time Stamp) information, video playback time, video shooting time, frame number, number of packets, GOP (Group Of Pictures) information, DTS (Decoding Time Stamp) information, Also, values calculated from these pieces of information can be used.
顔検出情報は顔検出手段２０７に備わる顔検出機能により検出された、顔画像の有無、検出された顔画像の個数、位置、大きさ、角度などを含む情報を指す。また、顔検出手段２０７が被写体識別機能を備える場合は、被写体識別機能によって検出された、被写体識別の成否、識別された被写体の識別番号や名称などを含む情報を記録してもよい。また、顔検出手段２０７が表情変化検出機能を備える場合は、表情変化検出機能によって検出された、表情変化の有無、検出された表情種別の識別番号あるいは名称などを含む情報を記録してもよい。
The face detection information indicates information including the presence / absence of a face image, the number of detected face images, the position, the size, and the angle detected by the face detection function provided in the
参照画像の有無は、再生位置情報の指し示すフレーム画像を、動画ファイルとは別に、静止画ファイルとして保存する場合に使用する。スライドショー再生やマルチサムネイル再生など、静止画の表示を主な用途とする場合には、この情報を元に、動画内のフレーム画像から生成した静止画の参照画像を代表画像として参照することで、高速な表示が可能である。 The presence / absence of the reference image is used when the frame image indicated by the reproduction position information is saved as a still image file separately from the moving image file. When the main application is still image display such as slide show playback and multi-thumbnail playback, by referring to the reference image of the still image generated from the frame image in the moving image as the representative image based on this information, High-speed display is possible.
管理番号は再生位置情報と顔検出情報を管理するために割り振られる番号である。 The management number is a number assigned to manage reproduction position information and face detection information.
ＰＴＳ情報は、動画ファイル内の各パケットに記録されるデータの表示時刻を指示するインデックス値であり、一般的に動画ファイル内のフレーム情報と一対一で割り当てられる。再生位置情報としてＰＴＳ情報を用いた場合、この数値を読み取ることで、動画ファイル内の参照したいフレームを特定することが可能である。その他の例として、再生位置情報として再生時間を利用する場合などは、フレームレートなどの情報を用いて基準となるフレームからの時間差を算出することで、参照したいフレームを特定することが可能である。
（４．動作）
（４−１．フレーム位置情報の記録動作）
（４−１−１．顔検出）
図６は、本発明の実施の形態に係るデジタルカメラ１００の動画撮影動作を示すフローチャートである。
The PTS information is an index value that indicates the display time of data recorded in each packet in the moving image file, and is generally assigned one-to-one with the frame information in the moving image file. When PTS information is used as reproduction position information, it is possible to specify a frame to be referred to in the moving image file by reading this numerical value. As another example, when the playback time is used as the playback position information, it is possible to specify the frame to be referred to by calculating the time difference from the reference frame using information such as the frame rate. .
(4. Operation)
(4-1. Recording operation of frame position information)
(4-1-1. Face Detection)
FIG. 6 is a flowchart showing the moving image shooting operation of the
本発明の実施の形態に係るデジタルカメラ１００は、顔検出機能が有効になっている場合、動画撮影モードで動画の撮影開始後に、信号処理手段２０５より出力された動画のフレーム画像に対して、顔検出手段２０７で顔検出を行う（Ｓ６００）。顔検出手段２０７の備える機能によって検出された顔検出情報は、制御手段２０２の指示にしたがって、制御手段２０２および記録制御手段２０６に出力される。
When the face detection function is enabled, the
制御手段２０２は、顔検出手段２０７から出力された顔検出情報を元に、顔検出の結果を判定する（Ｓ６０１）。動画のフレーム画像から人物などの顔が１つ以上検出されていない場合は、制御手段２０２は、そのフレーム画像に対する判定処理を終了する。一方、動画のフレーム画像から人物などの顔画像が検出されている場合は、制御手段２０２は、顔検出手段２０７から出力された顔検出情報のもつ各値に対して閾値判定を行う（Ｓ６０２）。この閾値判定では、検出された顔画像の個数があらかじめ指定した個数に達しているか、顔画像の検出位置があらかじめ指定した範囲に収まっているか、顔画像の領域の大きさがあらかじめ指定した範囲に収まっているか、顔画像の角度があらかじめ指定した範囲に収まっているか、といった判定条件のうちいくつかを組み合わせて実施する。これらの判定が、時間あるいはフレーム数などを基準とした一定の期間以上連続で満たされた場合、フレーム位置情報を記録するためのフラグを有効にする。これらの判定の閾値に関するパラメータは、デジタルカメラ１００の設定などから変更できるようにしてもよい。
The
顔検出情報の閾値判定の結果、フレーム位置情報を記録するためのフラグが有効になっている場合（Ｓ６０３でＹＥＳ）は、動画内の人物などの顔に関する情報が変化したシーンであるとみなし、記録制御手段２０６は、制御手段２０２の指示にしたがって、信号処理手段２０５と顔検出手段２０７から出力された情報を元に、動画のフレーム位置情報を管理ファイルであるクリップ情報ファイルに記録する（Ｓ６０４）。このとき、動画のフレーム位置情報は、動画の撮影中は一時的にデジタルカメラ１００の図示しないワークメモリ上に出力し、撮影停止の際に管理ファイルであるクリップ情報ファイルに記録しても構わない。また、フレーム画像から静止画ファイルの参照画像を生成する場合は、フレーム位置情報とともに参照画像を記録する。
When the flag for recording the frame position information is valid as a result of the threshold determination of the face detection information (YES in S603), it is regarded as a scene in which information about a face such as a person in the video has changed, The recording control unit 206 records the frame position information of the moving image in the clip information file that is a management file based on the information output from the
フレーム位置情報を記録するためのフラグが有効になっていない場合（Ｓ６０３でＮＯ）、あるいは検出された顔画像に対するフレーム位置情報の記録（Ｓ６０４）が終了した場合、同じフレーム画像から検出された顔画像が他にあるかどうかの判定を行う（Ｓ６０５）。検出された顔画像がまだある場合は、その顔画像に対してＳ６０２の閾値判定より同様の処理を繰り返す。 When the flag for recording the frame position information is not valid (NO in S603), or when the recording of the frame position information for the detected face image is completed (S604), the face detected from the same frame image It is determined whether there is another image (S605). If there is still a detected face image, the same processing is repeated for the face image from the threshold determination in S602.
撮影停止操作が入力されるまで、制御手段２０２の指示にしたがって実行される顔検出の実行タイミングごとに、一連の処理を繰り返し実行する。
Until a photographing stop operation is input, a series of processing is repeatedly executed at each face detection execution timing executed in accordance with an instruction from the
この構成では、動画撮影中に人物などの顔が特定の位置に検出されたフレーム、人物などがカメラに向かって近づくことで人物などの顔が特定大きさで検出されたフレーム、人物などの顔が特定の方向を向いたフレームなどのフレーム位置情報を管理ファイルであるクリップ情報ファイルに記録することとなる。
（４−１−２．表情変化検出）
なお、顔検出手段２０７は、動画のフレーム画像に人物などの顔が含まれているかどうかを検出する顔検出機能に加え、追加の機能を備えていてもよい。一例として、デジタルカメラ１００の顔検出手段２０７が、人物などの表情が変化したかどうかを検出する表情変化検出機能を備えている場合を挙げる。図７は、表情変化検出機能を備えたデジタルカメラ１００の動作を示すフローチャートである。
In this configuration, a frame in which a face such as a person is detected at a specific position during video recording, a frame in which a face such as a person is detected at a specific size as the person approaches the camera, and a face such as a person Frame position information such as a frame facing in a specific direction is recorded in a clip information file that is a management file.
(4-1-2. Expression Change Detection)
Note that the
表情変化検出機能を備えている場合でも、顔検出手段２０７で顔検出を行い（Ｓ７００）、検出された顔画像の個数を判定する（Ｓ７０１）処理の流れについては、表情変化検出機能を備えていない場合と同様である。しかし、表情変化検出機能を備えている場合は、顔検出情報に対する閾値判定を行う前に、表情変化検出機能により表情変化の検出を実行する（Ｓ７０２）。表情変化検出の実行後、表情変化検出機能を備えていない場合と同様に顔検出情報のもつ各値に対して閾値判定を行うが、表情変化が検出されているかといった判定条件を新たに加えることができる（Ｓ７０３）。 Even if the facial expression change detection function is provided, the face detection means 207 detects the face (S700) and determines the number of detected facial images (S701). The processing flow includes the facial expression change detection function. It is the same as when there is no. However, if a facial expression change detection function is provided, facial expression change detection is executed by the facial expression change detection function before performing threshold determination for face detection information (S702). After executing facial expression change detection, the threshold is determined for each value of the face detection information in the same way as when the facial expression change detection function is not provided, but a new criterion such as whether facial expression change is detected is added. (S703).
顔検出情報の閾値判定の結果、フレーム位置情報を記録するためのフラグが有効になっている場合（Ｓ７０４でＹＥＳ）は、動画内の人物などの顔や表情に関する情報が変化したシーンであるとみなし、記録制御手段２０６は、制御手段２０２の指示にしたがって、信号処理手段２０５と表情変化検出機能を備える顔検出手段２０７から出力された情報を元に、動画のフレーム位置情報を管理ファイルに記録する（Ｓ７０５）。このとき、動画のフレーム位置情報は、動画の撮影中は一時的にデジタルカメラ１００の図示しないワークメモリ上に出力し、撮影停止の際に管理ファイルに記録しても構わない。また、フレーム画像から静止画ファイルの参照画像を生成する場合は、フレーム位置情報とともに参照画像を記録する。
If the flag for recording the frame position information is valid as a result of the threshold determination of the face detection information (YES in S704), it is a scene in which information about the face and facial expression of a person in the video has changed. The recording control unit 206 records the frame position information of the moving image in the management file based on the information output from the
上記の処理が終わった場合、表情変化検出機能を備えていない場合と同様に、同じフレーム画像から検出された顔画像が他にあるかどうかの判定（Ｓ７０６）を行い、次の顔画像に対して表情変化検出の実行（Ｓ７０２）から、一連の処理を繰り返し実行する。 When the above processing is completed, it is determined whether there is another face image detected from the same frame image (S706) as in the case where the expression change detection function is not provided, and the next face image is determined. From the execution of facial expression change detection (S702), a series of processing is repeatedly executed.
この構成では、動画撮影中に人物などの顔が検出され、検出された人物などの表情が変化したフレームのフレーム位置情報を管理ファイルであるクリップ情報ファイルに記録することとなる。このとき、表情変化検出機能が表情の変化の種類まで判別できる場合、どんな表情に変化したかという情報もフレーム位置情報に加えて記録することができる。検出された人物などの表情の変化は、例えば、真顔から笑顔への変化を挙げることができる。
（４−１−３．被写体識別）
デジタルカメラ１００の顔検出手段２０７が追加の機能を備えている場合の一例として、デジタルカメラ１００自体のもつ図示しない記憶手段や記録媒体２１２などに記録されているデータベースに登録されている被写体かどうかを検出する被写体識別機能を備えている場合を挙げる。図８は、被写体識別機能を備えたデジタルカメラ１００の動作を示すフローチャートである。
In this configuration, a face such as a person is detected during moving image shooting, and the frame position information of a frame whose facial expression such as the detected person has changed is recorded in a clip information file that is a management file. At this time, if the facial expression change detection function can discriminate up to the type of facial expression change, information indicating what facial expression has changed can be recorded in addition to the frame position information. The change in the facial expression of the detected person or the like can be, for example, a change from a true face to a smile.
(4-1-3. Subject identification)
As an example of the case where the
被写体識別機能を備えている場合でも、顔検出手段２０７で顔検出を行い（Ｓ８００）、検出された顔画像の個数を判定する（Ｓ８０２）処理の流れについては、被写体識別機能を備えていない場合と同様である。しかし、被写体識別機能を備えている場合は、顔検出情報に対する閾値判定を行う前に、被写体識別機能により被写体の識別を実行する（Ｓ８０２）。被写体識別の実行後、被写体識別機能を備えていない場合と同様に顔検出情報のもつ各値に対して閾値判定を行うが、被写体識別が成功したかどうか、あらかじめ指定した特定の被写体であるかどうか、といった判定条件を新たに加えることができる（Ｓ８０３）。
Even when the subject identification function is provided, the
顔検出情報の閾値判定の結果、フレーム位置情報を記録するためのフラグが有効になっている場合（Ｓ８０４でＹＥＳ）は、動画内の人物などの顔や被写体の識別に関する情報が変化したシーンであるとみなし、記録制御手段２０６は、制御手段２０２の指示にしたがって、信号処理手段２０５と顔検出手段２０７から出力された情報を元に、動画のフレーム位置情報を管理ファイルに記録する（Ｓ８０５）。このとき、動画のフレーム位置情報は、動画の撮影中は一時的にデジタルカメラ１００の図示しないワークメモリ上に出力し、撮影停止の際に管理ファイルに記録しても構わない。また、フレーム画像から静止画ファイルの参照画像を生成する場合は、フレーム位置情報とともに参照画像を記録する。
If the flag for recording the frame position information is valid as a result of the threshold determination of the face detection information (YES in S804), it is a scene in which information related to identification of a face or subject such as a person in the video has changed. The recording control unit 206 records the frame position information of the moving image in the management file based on the information output from the
上記の処理が終わった場合、被写体識別機能を備えていない場合と同様に、同じフレーム画像から検出された顔画像が他にあるかどうかの判定（Ｓ８０６）を行い、次の顔画像に対して被写体識別の実行（Ｓ８０２）から、一連の処理を繰り返し実行する。 When the above processing is completed, as in the case where the subject identification function is not provided, it is determined whether there is another face image detected from the same frame image (S806), and the next face image is determined. A series of processing is repeatedly executed from execution of subject identification (S802).
この構成では、動画撮影中に人物などの顔が検出され、検出された人物などの顔画像に対して被写体識別が成功したフレームのフレーム位置情報を管理ファイルであるクリップ情報ファイルに記録することとなる。このとき、被写体識別機能の出力する識別結果に関する情報もフレーム位置情報に加えて記録することができる。被写体識別機能の出力する識別結果に関する情報は、例えば、識別された被写体の名称や番号を挙げることができる。
（４−１−４．被写体識別と表情変化検出）
デジタルカメラ１００の顔検出手段２０７が追加の機能を備えている場合の一例として、被写体検出機能と表情変化検出機能の両方を備えている場合を挙げる。図９は、被写体識別機能と表情変化検出機能を備えたデジタルカメラ１００の動作を示すフローチャートである。
In this configuration, a face such as a person is detected during movie shooting, and the frame position information of a frame in which subject identification has been successfully performed on the detected face image such as a person is recorded in a clip information file that is a management file. Become. At this time, information related to the identification result output by the subject identification function can also be recorded in addition to the frame position information. The information regarding the identification result output by the subject identification function can include, for example, the name and number of the identified subject.
(4-1-4. Subject identification and facial expression change detection)
As an example of the case where the
顔検出機能に付随する追加の機能を複数備えている場合でも、顔検出手段２０７で顔検出を行い（Ｓ９００）、検出された顔画像の個数を判定する（Ｓ９０１）処理の流れについては、顔検出機能に付随する追加の機能を備えていない場合や、追加の機能を１つ備えている場合と同様である。しかし、追加の機能を複数備えている場合、顔検出情報に対する閾値判定を行う前に、被写体識別機能による被写体の識別（Ｓ９０２）と表情変化検出機能による表情変化の検出（Ｓ９０３）を実行する。
Even when a plurality of additional functions associated with the face detection function are provided, the
各追加の機能による処理実行後の流れは、追加の機能を１つ備えている場合と同様である。各追加の機能の出力する情報を含んだ顔検出情報のもつ各値に対して閾値判定を行い（Ｓ９０４）、フレーム位置情報を記録するフラグが有効になっているかどうかの判定（Ｓ９０５）を行う。フレーム位置情報を記録するためのフラグが有効になっている場合（Ｓ９０５でＹＥＳ）は、動画内の人物などの顔や表情や被写体の識別に関する情報が変化したシーンであるとみなし、記録制御手段２０６は、制御手段２０２の指示にしたがって、信号処理手段２０５と顔検出手段２０７から出力された情報を元に、動画のフレーム位置情報を管理ファイルに記録する（Ｓ９０６）。上記の処理が終わった場合、同じフレーム画像から検出された顔画像が他にあるかどうかの判定（Ｓ９０７）を行い、次の顔画像に対して被写体識別の実行（Ｓ９０２）から、一連の処理を繰り返し実行する。
The flow after execution of processing by each additional function is the same as the case where one additional function is provided. A threshold is determined for each value of the face detection information including information output by each additional function (S904), and it is determined whether the flag for recording the frame position information is valid (S905). . If the flag for recording the frame position information is valid (YES in S905), it is regarded as a scene in which information relating to identification of the face, facial expression, and subject of the person in the video has changed, and the recording control means 206 records the frame position information of the moving image in the management file based on the information output from the
なお、本例では、被写体識別の実行を表情変化検出の実行より先に行っているが、これらの処理の実行順序についてはどちらを先に実行しても構わない。
（４−１−５．まとめ）
顔検出手段２０７の備える追加の機能の一例として、表情変化検出機能と被写体識別機能を挙げたが、まったく他の機能でも構わないし、追加の機能を備えていなくても構わない。また、追加の機能を３つ以上備えていてもよい。
In this example, subject identification is performed prior to facial expression change detection, but either of these processing execution orders may be performed first.
(4-1-5. Summary)
As an example of the additional functions provided in the face detection means 207, the expression change detection function and the subject identification function have been described. However, other functions may be used or no additional functions may be provided. Three or more additional functions may be provided.
上記のように、本発明の実施の形態に係るデジタルカメラ１００は、動画撮影の際に、動画内の人物などの顔に関する情報が変化したフレームのフレーム位置情報を、管理ファイルに記録することができる。一方、動画撮影モードで動作させた場合に限らず、動画再生時に顔検出手段２０７を動作できる構成であれば、動画再生の際に、動画内の人物などの顔に関する情報が変化したフレームのフレーム位置情報を、管理ファイルに記録することが可能である。動画再生時に、動画内の人物などの顔に関する情報が変化したフレームのフレーム位置情報を記録する方法については、説明を省略する。
As described above, the
したがって、本発明は、デジタルカメラ１００などの撮像装置に限定されず、撮像手段２０１を備えない再生装置にも適用することができる。具体的な再生装置としては、静止画や動画を再生することができるビューワ、携帯電話、ＰＤＡ、フォトフレーム、テレビ受像機、カーナビなどを挙げることができる。また、光ディスクプレーヤ、光ディスクレコーダ、ハードディスクレコーダなどの（記録）再生装置も、テレビ受像機などを表示手段とすることによって、本発明を適用することができる。すなわち、表示手段を備えない再生装置であっても、テレビ受像機などの表示手段に画像を出力することができる出力手段を備えた再生装置であれば、本発明を適用することができる。さらに、本発明は、電子計算機の再生プログラムとすることもできる。
Therefore, the present invention is not limited to an imaging apparatus such as the
なお、本実施の形態に係るデジタルカメラ１００は、動画撮影の際に、動画内の人物などの顔に関する情報が変化したフレームのフレーム位置情報を、管理ファイルであるクリップ情報ファイルに記録することとしたが、動画内の人物などの顔に関する情報が変化したフレームのフレーム位置情報を、管理ファイルであるクリップ情報ファイル以外のファイルに記録することとしてもよい。例えば、ＡＶＣＨＤ規格によって規定される管理ファイルとは無関係のファイルに記録することとしてもよい。このファイルは、動画ファイルごとに作成してもよいし、一つのファイルに複数の動画ファイルのフレーム位置情報を記録してもよい。また、フレーム位置情報を動画ファイルのヘッダに記録することとしてもよい。さらに、記録する形式は一つに限定するものでなく、例えば、クリップ情報ファイルと動画ファイルのヘッダといったように、複数のファイルに同時に記録してもよい。
（４−２．フレーム位置情報を利用したスライドショー再生動作）
本発明におけるフレーム位置情報は、動画内の人物などの顔に関する情報が変化したシーンの再生位置情報などを含んでいる。
The
(4-2. Slideshow playback operation using frame position information)
The frame position information in the present invention includes the reproduction position information of a scene in which information about a face such as a person in a moving image has changed.
そのため、再生や編集などにおいて動画内の有意なシーンを検索する際に本情報を利用することで、利便性を向上させることができる。 Therefore, the convenience can be improved by using this information when searching for a significant scene in a moving image during reproduction or editing.
一例として、本発明におけるフレーム位置情報を利用したスライドショー再生について説明する。 As an example, a slide show reproduction using frame position information in the present invention will be described.
図１０は、本発明の実施の形態に係るデジタルカメラ１００のスライドショー再生動作を示すフローチャートである。
FIG. 10 is a flowchart showing the slide show playback operation of the
本発明の実施の形態に係るデジタルカメラ１００は、スライドショーの再生が開始されると、静止画ファイルと動画ファイルを撮影日時などの情報で並び替え、並び替え順序の最も若いファイルが動画ファイルであるかどうかの判定を行う（Ｓ１０００）。並び替え順序の最も若いファイルは、撮影日時が最も新しいファイルであってもよいし、撮影日時が最も古いファイルであってもよい。
The
該当ファイルが動画ファイルでなく静止画ファイルである場合は、デジタルカメラ１００は静止画の表示処理を実行し、表示手段２０４には該当する静止画ファイルに基づく画像が表示される（Ｓ１００６）。
When the corresponding file is not a moving image file but a still image file, the
一方、該当ファイルが動画ファイルである場合は、デジタルカメラ１００は該当する動画ファイルに対応する管理ファイルを検索し、フレーム位置情報が記録されているかどうかを判定する（Ｓ１００１）。
On the other hand, if the corresponding file is a moving image file, the
ここで、該当する動画ファイルに対応するフレーム位置情報が記録されていない場合は、本発明におけるフレーム位置情報を利用しない場合と同様の、通常の表示処理を行う（Ｓ１００５）。動画ファイルの通常の表示処理には、動画ファイルに記録されているサムネイル画像や先頭フレームの画像を代表画像として表示手段２０４に静止画表示する方法や、動画として表示手段２０４に再生表示する方法などが一般的であるが、この限りではない。
Here, when the frame position information corresponding to the corresponding moving image file is not recorded, a normal display process similar to the case where the frame position information in the present invention is not used is performed (S1005). For normal display processing of a moving image file, a thumbnail image or a first frame image recorded in the moving image file is displayed as a representative image on the
これに対して、該当する動画ファイルに対応するフレーム位置情報が記録されている場合は、動画のフレーム位置情報を利用し、本情報に記録されている再生位置に関するフレームの画像を代表画像として表示手段２０４に静止画表示する（Ｓ１００２）。なお、このとき表示する代表画像は、動画ファイルから直接生成してもよいし、動画ファイルとは別に記録した参照画像を利用してもよい。また、このとき、フレームの画像を代表画像として静止画表示する代わりに、動画のフレーム位置情報に記録されている再生位置から動画として再生表示してもよい。あるいは、フレームの画像を代表画像として静止画表示している際に、各種操作ボタン１０６の操作を行うことにより、動画のフレーム位置情報に記録されている再生位置から動画として再生表示してもよい。
On the other hand, when the frame position information corresponding to the corresponding moving image file is recorded, the frame position information of the moving image is used to display the frame image relating to the reproduction position recorded in this information as a representative image. A still image is displayed on the means 204 (S1002). The representative image displayed at this time may be generated directly from the moving image file, or a reference image recorded separately from the moving image file may be used. At this time, instead of displaying a frame image as a representative image and displaying a still image, the image may be reproduced and displayed as a moving image from the reproduction position recorded in the frame position information of the moving image. Alternatively, when a still image is displayed as a representative image of a frame image, the operation may be performed by operating
なお、動画のフレーム位置情報を利用し、本情報に記録されている再生位置に関するフレームの画像を代表画像として表示手段２０４に静止画表示する際は、本情報に記録されている再生位置に関するフレームから所定時間経過したあとのフレームの画像を代表画像として表示手段２０４に静止画表示するようにしてもよい。動画内の人物などの顔に関する情報が変化したフレームにおいては、例えば、人物などが動画内に入ってきた直後のように、顔検出手段２０７が人物の顔を検出したとしても、人物が画面の端に存在するなどして、代表画像とするには不適切な場合があるからである。一方、顔検出手段２０７が、画面の中央部の所定の領域において人物の顔を検出したときにフレーム位置情報を記録するようにすれば、このような問題を回避することもできる。
When a frame image related to the reproduction position recorded in the main information is displayed as a representative image on the display means 204 using the frame position information of the moving image, the frame related to the reproduction position recorded in the main information is displayed. A still image may be displayed on the
上記表示処理の実行から、何らかの操作が入力される、あるいは所定の時間が過ぎ、次の画像を表示するタイミングとなると、該当する動画ファイルに対して、まだ表示していないフレーム位置情報があるかどうかを判定する（Ｓ１００３）。まだ表示していないフレーム位置情報があった場合、そのフレーム位置情報に関して、Ｓ１００２の表示処理を実行する。 When some operation is input from the execution of the display process or when a predetermined time has passed and it is time to display the next image, is there any frame position information not yet displayed for the corresponding video file? It is determined whether or not (S1003). If there is frame position information that has not been displayed yet, the display processing of S1002 is executed for the frame position information.
一方、まだ表示していないフレーム位置情報がなくなった場合には、該当する動画ファイルに対する処理を終了し、並び替え順序における次のファイルがあるかどうかを判定する（Ｓ１００４）。この判定は、静止画ファイルの表示処理（Ｓ１００６）や動画ファイルの通常の表示処理（Ｓ１００５）が行われたあとにも行う。 On the other hand, if there is no frame position information that has not yet been displayed, the processing for the corresponding moving image file is terminated, and it is determined whether there is a next file in the rearrangement order (S1004). This determination is also made after the still image file display processing (S1006) and the moving image file normal display processing (S1005).
並び替え順序における次のファイルがなかった場合は、スライドショー再生を終了する。 If there is no next file in the rearrangement order, the slide show reproduction ends.
並び替え順序における次のファイルがあった場合は、並び替え順序における最後のファイルの表示処理が行われるまで、次のファイルに対して、動画ファイルであるかどうかの判定（Ｓ１０００）から、一連の処理を繰り返し実行する。 If there is a next file in the rearrangement order, a determination is made from the determination (S1000) whether the next file is a moving image file until display processing of the last file in the rearrangement order is performed. Repeat the process.
図１１は本発明の実施の形態に係るデジタルカメラ１００のファイル構成の一例を示す図である。このファイル構成では、記憶媒体２１２に２つの静止画ファイル（Ｐ１００００１．ｊｐｇ、Ｐ１００００２．ｊｐｇ）と３つの動画ファイル（０００００．ｍｔｓ、００００１．ｍｔｓ、００００２．ｍｔｓ）と３つの動画ファイルに対応するクリップ情報ファイル（０００００．ｃｐｉ、００００１．ｃｐｉ、００００２．ｃｐｉ）が記録されている。また、３つあるクリップ情報ファイルのうち１つに、対応する動画ファイルの３フレーム分のフレーム位置情報が記録されており、３つあるクリップ情報のうち残り２つにはフレーム位置情報が含まれていない。ただし、記憶媒体２１２には、ここに記載していないファイルや情報が記録されていても構わない。
FIG. 11 is a diagram showing an example of a file configuration of the
図１１に示すファイル構成について、図８のフローチャートに示すスライドショー再生動作を行った場合の実施例について説明する。スライドショーの再生が開始された際の並び替えは静止画および動画の撮影日時による順序とし、撮影日時が最も古いファイルを並び替え順序の最も若いファイルとする。図１２は、フレーム位置情報を利用したスライドショー再生で表示される代表画像を示す図である。 With respect to the file structure shown in FIG. 11, an example when the slide show reproduction operation shown in the flowchart of FIG. The rearrangement when the slide show reproduction is started is the order according to the shooting date and time of the still image and the moving image, and the file with the oldest shooting date and time is set as the file with the youngest rearrangement order. FIG. 12 is a diagram illustrating a representative image displayed by slide show reproduction using the frame position information.
まず、並び替え順序の最も若いＰ１００００１．ｊｐｇに対して、動画ファイルであるかの判定（Ｓ１０００）を行う。Ｐ１００００１．ｊｐｇは静止画ファイルであるため、表示手段２０４に対して静止画ファイルに基づく画像のスライドショー表示処理（Ｓ１００６）を行い、並べ替え順序における次のファイルの有無の判定（Ｓ１００４）を行った後、次のファイルである０００００．ｍｔｓの表示処理に移行する。 First, P100001. Jpg is determined whether it is a moving image file (S1000). P100001. Since jpg is a still image file, a slide show display process of images based on the still image file is performed on the display means 204 (S1006), and the presence / absence of the next file in the rearrangement order is determined (S1004). The next file is 00000. The process shifts to mts display processing.
０００００．ｍｔｓは動画ファイルであるが、管理ファイルであるクリップ情報ファイル０００００．ｃｐｉ内にフレーム位置情報が記録されていないため、Ｓ１００１の判定の後、動画ファイルの先頭フレームの画像を代表画像として表示手段２０４に対して静止画表示するなどの、フレーム位置情報を利用しない場合と同様の通常の表示処理（Ｓ１００５）を行う。表示処理を終えると、次のファイルの有無の判定（Ｓ１００４）を行った後、次のファイルである００００１．ｍｔｓの表示処理に移行する。
00000. mts is a moving image file, but a
００００１．ｍｔｓは動画ファイルであり、かつ、管理ファイルであるクリップ情報ファイル００００１．ｃｐｉ内にフレーム位置情報が記録されているため、Ｓ１００１の判定の後、本情報に記録されている再生位置情報に関するフレームの画像を代表画像として表示手段２０４に対して静止画表示するなどの、動画のフレーム位置情報を利用した表示処理（Ｓ１００２）を行う。００００１．ｃｐｉのように複数フレームのフレーム位置情報が記録されている場合は、フレーム位置情報を並び替え、並び替え順序の若い順番に使用する。並び替え順序としては、フレーム位置情報のもつ管理番号により昇順あるいは降順に並べる方法や、再生位置情報により昇順あるいは降順に並べる方法などが考えられる。１フレーム目の表示処理を終えると、次のフレーム位置情報の有無の判定（Ｓ１００３）を行った後、２フレーム目の表示処理に移行する。こうして、１フレーム目の時と同様にして、２フレーム目と３フレーム目の動画のフレーム位置情報を利用した表示処理を行う。３フレーム目の表示処理を終えると、次のフレーム位置情報の有無の判定（Ｓ１００３）にて、次のフレーム位置情報がこれ以上ないため、次のファイルの有無の判定（Ｓ１００４）を行った後、次のファイルであるＰ１０００００２．ｊｐｇの表示処理に移行する。
00001. mts is a moving image file and a
Ｐ１００００２．ｊｐｇは静止画ファイルであるため、表示手段２０４に対して静止画ファイルに基づく画像のスライドショー表示処理（Ｓ１００６）を行い、並べ替え順序における次のファイルの有無の判定（Ｓ１００４）を行った後、次のファイルである００００２．ｍｔｓの表示処理に移行する。 P100002. Since jpg is a still image file, a slide show display process of images based on the still image file is performed on the display means 204 (S1006), and the presence / absence of the next file in the rearrangement order is determined (S1004). The next file is 00002. The process shifts to mts display processing.
００００２．ｍｔｓは、０００００．ｍｔｓと同様に、フレーム位置情報を持たない動画ファイルであるため、フレーム位置情報を利用しない場合と同様の通常の表示処理（Ｓ１００５）を行う。表示処理を終えると、次のファイルの有無の判定（Ｓ１００４）にて、次のファイルがこれ以上ないため、終了処理に移行する。 00002. mts is 00000. Similar to mts, since the movie file does not have frame position information, normal display processing (S1005) similar to the case where frame position information is not used is performed. When the display process is finished, in the determination of the presence / absence of the next file (S1004), since there is no more next file, the process proceeds to the end process.
フレーム位置情報は、動画再生の際に動画内の人物などの顔に関する情報が変化したシーンに関する情報を含んでいる。そのため、このような再生方法を行うことにより、動画内の人物などの顔に関する情報に有意な変化が生じたシーンを抽出して表示することができる。一例として、本発明におけるフレーム位置情報を利用したスライドショー再生ついて説明したが、この限りでなく、動画ファイルの代表画像を並べて表示するマルチサムネイル再生の際などにも有用である。一例として、図１３は、フレーム位置情報を利用したマルチサムネイル再生で表示される代表画像を示す図である。図１２に示した複数の静止画像及び動画の代表画像のサムネイルが１つの画面に複数並べて表示される。 The frame position information includes information related to a scene in which information related to a face such as a person in the moving image is changed during moving image reproduction. Therefore, by performing such a reproduction method, it is possible to extract and display a scene in which a significant change has occurred in information related to a face such as a person in a moving image. As an example, the slide show reproduction using the frame position information in the present invention has been described. However, the present invention is not limited to this, and is useful for multi-thumbnail reproduction in which representative images of moving image files are displayed side by side. As an example, FIG. 13 is a diagram illustrating a representative image displayed in multi-thumbnail playback using frame position information. A plurality of thumbnails of still images and moving image representative images shown in FIG. 12 are displayed side by side on one screen.
また、動画ファイルの編集を行う際のシーン検出などに利用することも可能である。なお、被写体識別や表情変化検出によって得られた情報を参照することで、動画ファイル内のシーンを登場人物ごとにカテゴリ分類したり、特定の人物が笑顔になったときを検出するといった利用方法も可能である。したがって、本発明の利用により、利便性の向上した撮像装置、再生装置、および再生プログラムを提供することができる。 It can also be used for scene detection when editing a moving image file. In addition, by referring to information obtained by subject identification and facial expression change detection, there are also usage methods such as categorizing scenes in a video file for each character or detecting when a specific person smiles Is possible. Therefore, by using the present invention, an imaging device, a playback device, and a playback program with improved convenience can be provided.
なお、近時の顔検出手段は、犬や猫などの動物の顔を検出することができる。そのような機能を備えた顔検出手段を採用すれば、人物の顔のみならず動物の顔についても、実施の形態において説明したと同様の効果を奏することができる。 The recent face detection means can detect the faces of animals such as dogs and cats. If the face detection means having such a function is employed, the same effects as described in the embodiment can be achieved not only for the face of a person but also for the face of an animal.
本発明によれば、動画内の人物などの顔に関する情報が変化したシーンを検出し、代表画像として選択することができるため、動画の撮像手段と顔検出手段を有する撮像装置、たとえばデジタルカメラやデジタルビデオカメラに適用して有用である。また、動画の表示手段と顔検出手段を有する再生装置、たとえばテレビやパーソナルコンピュータに使用する再生プログラムに適用して有用である。 According to the present invention, a scene in which information about a face such as a person in a moving image is changed can be detected and selected as a representative image. Therefore, an imaging device having a moving image capturing unit and a face detecting unit, such as a digital camera, It is useful when applied to digital video cameras. Further, the present invention is useful when applied to a playback apparatus having a moving image display means and a face detection means, for example, a playback program used for a television or a personal computer.
１００ デジタルカメラ
１０１ 撮像光学系
１０２ フラッシュ
１０３ シャッターボタン
１０４ 液晶モニター
１０５ モードダイヤル
１０６ 各種操作ボタン
１０６ａ 上下左右ボタン
１０６ｂ メニュー／決定ボタン
１０６ｃ 表示切替ボタン
１０６ｄ 削除ボタン
１０８ スロット
２０１ 撮像手段
２０２ 制御手段
２０３ 表示制御手段
２０４ 表示手段
２０５ 信号処理手段
２０６ 記録制御手段
２０７ 顔検出手段
２１１ 操作手段
２１２ 記録媒体
DESCRIPTION OF
Claims (16)
前記フレームに基づく画像を表示する表示手段と、
前記動画データに含まれる人間の顔に関する変化点を検出する顔検出手段と、
前記変化点に対応するフレームに関する情報を記録する記録手段と、
前記動画データの再生を指示する指示手段と、
前記指示手段によって前記動画データの再生が指示されたときに、前記記録手段に記録された前記変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記表示手段に表示させる制御手段と、
を備える、
ことを特徴とする撮像装置。 Imaging means for generating moving image data composed of a plurality of frames;
Display means for displaying an image based on the frame;
Face detection means for detecting a change point related to a human face included in the moving image data;
Recording means for recording information about a frame corresponding to the change point;
Instruction means for instructing reproduction of the video data;
When the instruction unit is instructed to reproduce the moving image data, the change point among a plurality of frames constituting the moving image data is based on information about the frame corresponding to the change point recorded in the recording unit. Control means for causing the display means to display an image based on a frame corresponding to
Comprising
An imaging apparatus characterized by that.
前記動画データに人間の顔が含まれない状態から含まれる状態への変化点である、
ことを特徴とする請求項１に記載の撮像装置。 The change point is
It is a change point from a state in which the human face is not included in the moving image data to a state in which it is included.
The imaging apparatus according to claim 1.
前記動画データに含まれる人間の顔の表情の変化点である、
ことを特徴とする請求項１に記載の撮像装置。 The change point is
It is a change point of the facial expression of the human face included in the video data.
The imaging apparatus according to claim 1.
前記動画データに特定の人物の顔が含まれない状態から含まれる状態への変化点である、
ことを特徴とする請求項１に記載の撮像装置。 The change point is
It is a change point from a state where a face of a specific person is not included in the moving image data to a state where it is included.
The imaging apparatus according to claim 1.
前記動画データに含まれる動物の顔に関する変化点を検出する、
ことを特徴とする請求項１に記載の撮像装置。 The face detection means includes
Detecting a change point related to the face of the animal included in the video data;
The imaging apparatus according to claim 1.
前記フレームに基づく画像を表示する表示手段と、
前記動画データに含まれる人間の顔に関する変化点を検出する顔検出手段と、
前記変化点に対応するフレームに関する情報を記録する記録手段と、
前記動画データの再生を指示する指示手段と、
前記指示手段によって前記動画データの再生が指示されたときに、前記記録手段に記録された前記変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記表示手段に表示させる制御手段と、
を備える、
ことを特徴とする再生装置。 Playback means for playing back video data composed of a plurality of frames;
Display means for displaying an image based on the frame;
Face detection means for detecting a change point related to a human face included in the moving image data;
Recording means for recording information about a frame corresponding to the change point;
Instruction means for instructing reproduction of the video data;
When the instruction unit is instructed to reproduce the moving image data, the change point among a plurality of frames constituting the moving image data is based on information about the frame corresponding to the change point recorded in the recording unit. Control means for causing the display means to display an image based on a frame corresponding to
Comprising
A reproducing apparatus characterized by that.
前記フレームに基づく画像信号を出力する出力手段と、
前記動画データに含まれる人間の顔に関する変化点を検出する顔検出手段と、
前記変化点に対応するフレームに関する情報を記録する記録手段と、
前記動画データの再生を指示する指示手段と、
前記指示手段によって前記動画データの再生が指示されたときに、前記記録手段に記録された前記変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記出力手段に出力させる制御手段と、
を備える、
ことを特徴とする再生装置。 Playback means for playing back video data composed of a plurality of frames;
Output means for outputting an image signal based on the frame;
Face detection means for detecting a change point related to a human face included in the moving image data;
Recording means for recording information about a frame corresponding to the change point;
Instruction means for instructing reproduction of the video data;
When the instruction unit is instructed to reproduce the moving image data, the change point among a plurality of frames constituting the moving image data is based on information about the frame corresponding to the change point recorded in the recording unit. Control means for causing the output means to output an image based on a frame corresponding to
Comprising
A reproducing apparatus characterized by that.
前記動画データに人間の顔が含まれない状態から含まれる状態への変化点である、
ことを特徴とする請求項６または請求項７に記載の再生装置。 The change point is
It is a change point from a state in which the human face is not included in the moving image data to a state in which it is included.
The reproducing apparatus according to claim 6 or 7, characterized by the above.
前記動画データに含まれる人間の顔の表情の変化点である、
ことを特徴とする請求項６または請求項７に記載の再生装置。 The change point is
It is a change point of the facial expression of the human face included in the video data.
The reproducing apparatus according to claim 6 or 7, characterized by the above.
前記動画データに特定の人物の顔が含まれない状態から含まれる状態への変化点である、
ことを特徴とする請求項６または請求項７に記載の再生装置。 The change point is
It is a change point from a state where a face of a specific person is not included in the moving image data to a state where it is included.
The reproducing apparatus according to claim 6 or 7, characterized by the above.
前記動画データに含まれる動物の顔に関する変化点を検出する、
ことを特徴とする請求項６または請求項７に記載の再生装置。 The face detection means includes
Detecting a change point related to the face of the animal included in the video data;
The reproducing apparatus according to claim 6 or 7, characterized by the above.
複数のフレームから構成される動画データを再生する再生手段と、
前記フレームに基づく画像を表示する表示手段と、
前記動画データに含まれる人間の顔に関する変化点を検出する顔検出手段と、
前記変化点に対応するフレームに関する情報を記録する記録手段と、
前記動画データの再生を指示する指示手段と、
前記指示手段によって前記動画データの再生が指示されたときに、前記記録手段に記録された前記変化点に対応するフレームに関する情報に基づいて、前記動画データを構成する複数のフレームのうち前記変化点に対応するフレームに基づく画像を前記表示手段に表示させる制御手段と、
して動作させる、
ことを特徴とする再生プログラム。 Electronic calculator
Playback means for playing back video data composed of a plurality of frames;
Display means for displaying an image based on the frame;
Face detection means for detecting a change point related to a human face included in the moving image data;
Recording means for recording information about a frame corresponding to the change point;
Instruction means for instructing reproduction of the video data;
When the instruction unit is instructed to reproduce the moving image data, the change point among a plurality of frames constituting the moving image data is based on information about the frame corresponding to the change point recorded in the recording unit. Control means for causing the display means to display an image based on a frame corresponding to
Make it work,
A reproduction program characterized by that.
前記動画データに人間の顔が含まれない状態から含まれる状態への変化点である、
ことを特徴とする請求項１２に記載の再生プログラム。 The change point is
It is a change point from a state in which the human face is not included in the moving image data to a state in which it is included.
The reproduction program according to claim 12, wherein:
前記動画データに含まれる人間の顔の表情の変化点である、
ことを特徴とする請求項１２に記載の再生プログラム。 The change point is
It is a change point of the facial expression of the human face included in the video data.
The reproduction program according to claim 12, wherein:
前記動画データに特定の人物の顔が含まれない状態から含まれる状態への変化点である、
ことを特徴とする請求項１２に記載の再生プログラム。 The change point is
It is a change point from a state where a face of a specific person is not included in the moving image data to a state where it is included.
The reproduction program according to claim 12, wherein:
前記動画データに含まれる動物の顔に関する変化点を検出する、
ことを特徴とする請求項１２に記載の再生プログラム。 The face detection means includes
Detecting a change point related to the face of the animal included in the video data;
The reproduction program according to claim 12, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010103308A JP2011234180A (en) | 2010-04-28 | 2010-04-28 | Imaging apparatus, reproducing device, and reproduction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010103308A JP2011234180A (en) | 2010-04-28 | 2010-04-28 | Imaging apparatus, reproducing device, and reproduction program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011234180A true JP2011234180A (en) | 2011-11-17 |
Family
ID=45323038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010103308A Pending JP2011234180A (en) | 2010-04-28 | 2010-04-28 | Imaging apparatus, reproducing device, and reproduction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011234180A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140048407A (en) * | 2012-10-12 | 2014-04-24 | 삼성전자주식회사 | Apparatus and method for processing a image of camera device and terminal equipment having a camera |
| JP2018502340A (en) * | 2015-12-01 | 2018-01-25 | 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． | Video classification method and apparatus |
-
2010
- 2010-04-28 JP JP2010103308A patent/JP2011234180A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140048407A (en) * | 2012-10-12 | 2014-04-24 | 삼성전자주식회사 | Apparatus and method for processing a image of camera device and terminal equipment having a camera |
| KR101953614B1 (en) * | 2012-10-12 | 2019-05-22 | 삼성전자주식회사 | Apparatus and method for processing a image of camera device and terminal equipment having a camera |
| JP2018502340A (en) * | 2015-12-01 | 2018-01-25 | 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． | Video classification method and apparatus |
| US10115019B2 (en) | 2015-12-01 | 2018-10-30 | Xiaomi Inc. | Video categorization method and apparatus, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101436639B1 (en) | Information processing apparatus, imaging apparatus, image display control method and recording medium | |
| JP5528008B2 (en) | Playback apparatus and playback method | |
| KR20080084725A (en) | Image processing apparatus, imaging apparatus, image display control method and computer program | |
| JP2006197428A (en) | Imaging apparatus, and recording method, and processing apparatus and method for photographed image data | |
| JP2011070687A (en) | System, method and program for recording data | |
| EP1347455A2 (en) | Contents recording/playback apparatus and contents edit method | |
| JP4506832B2 (en) | Image processing apparatus, index generation apparatus, imaging apparatus, index generation method, and program | |
| KR101319544B1 (en) | Photographing apparatus for detecting appearance of person and method thereof | |
| US8818165B2 (en) | Data processing apparatus, data processing method, and computer program | |
| JP2012085000A (en) | Image reproducing device, image recording device, and image recording and reproducing system | |
| JP2007166501A (en) | Image recording apparatus, image recording and reproducing method, program and computer readable storage medium | |
| US8531575B2 (en) | Image production device, image production method, and program for driving computer to execute image production method | |
| JP2005260749A (en) | Electronic camera and control program thereof | |
| JP2011234180A (en) | Imaging apparatus, reproducing device, and reproduction program | |
| US8379109B2 (en) | Image processing apparatus | |
| JP2012044451A (en) | Image reproduction device, control method therefor, image reproduction program, and recording medium | |
| JP4698961B2 (en) | Electronic camera and electronic camera control program | |
| JP5769434B2 (en) | Movie recording device, information processing device | |
| JP5575494B2 (en) | Imaging device, recording device, file management device, display device, and file management program | |
| JP2007200409A (en) | Image pickup device, recording device, and recording method | |
| JP2006217060A (en) | Recording apparatus, recording and reproducing apparatus, recording method, and recording and reproducing method | |
| JP3780252B2 (en) | Recording / reproducing apparatus and recording / reproducing method | |
| JP2012156588A (en) | Moving image recorder | |
| US10410674B2 (en) | Imaging apparatus and control method for combining related video images with different frame rates | |
| JP2005339645A (en) | Recording and reproducing device, its recording and reproducing method, program and recording medium |