JP2004007158A - 撮像装置および主要被写体判定装置ならびに画像処理装置 - Google Patents
撮像装置および主要被写体判定装置ならびに画像処理装置 Download PDFInfo
- Publication number
- JP2004007158A JP2004007158A JP2002159118A JP2002159118A JP2004007158A JP 2004007158 A JP2004007158 A JP 2004007158A JP 2002159118 A JP2002159118 A JP 2002159118A JP 2002159118 A JP2002159118 A JP 2002159118A JP 2004007158 A JP2004007158 A JP 2004007158A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- image data
- main subject
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
- G11B2220/215—Recordable discs
- G11B2220/216—Rewritable discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
- G11B2220/215—Recordable discs
- G11B2220/218—Write-once discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2545—CDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
- G11B2220/2575—DVD-RAMs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Camera Data Copying Or Recording (AREA)
Abstract
【課題】重要なシーンを中心とした画像データの編集や再生、画像データの保管／管理、プリント作成等を効率よく行うことができ、貴重な画像データを十分に活用することを可能にする撮像装置、主要被写体検出装置、および画像処理装置を提供する。
【解決手段】デジタルによる撮影時に視線を検出し、この視線情報を用いて主要被写体を判定し、画像データと主要被写体情報とを用いて、主要被写体を中心とする処理を行うことにより、前記課題を解決する。
【選択図】図１
【解決手段】デジタルによる撮影時に視線を検出し、この視線情報を用いて主要被写体を判定し、画像データと主要被写体情報とを用いて、主要被写体を中心とする処理を行うことにより、前記課題を解決する。
【選択図】図１
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置、この撮像装置等に好適に利用される主要被写体判定装置、および、前記撮像装置が撮影した画像の画像データを処理する画像処理装置の技術分野に属し、詳しくは、画像、特に動画から主要被写体を抽出して、これを利用した様々な画像データの処理を行うことを可能にする撮像装置および主要被写体判定装置ならびに画像処理装置に関する。
【０００２】
【従来の技術】
現在、家庭用のビデオカメラが広く普及し、運動会や結婚式などの各種のイベントで一般ユーザによる動画の撮影が盛んに行われている。
専門家ではない一般ユーザによる動画の撮影では、主要な被写体が存在しない無駄なシーンや失敗を有する撮影も多い。そのため、全ての撮影画像が、必ずしも後の鑑賞を欲する画像ではなく、また、重要なシーンであっても、画像が適正に撮影されているとは限らない。
【０００３】
【発明が解決しようとする課題】
これに対し、デジタルのビデオカメラで撮影した画像の画像データ、もしくはアナログのビデオカメラで撮影した画像をデジタルの画像データに変換して、コンピュータ等に取り込み、編集や補正等の画像データの処理を行うアプリケーションやシステムは、各種、市販されている。
しかしながら、周知のように、画像データましてや動画の画像データは、非常にデータ量が多い。そのため、例えば、撮影した動画から、見たいシーンや重要なシーンを探し出すだけでも、時間がかかり、そのため、画像データの編集や管理等には、手間がかかる。このような理由により、ビデオカメラで撮影した動画の画像データは、ほとんどの場合、鑑賞したら、そのまま保管されているのが現状である。
【０００４】
一方、スチルカメラでは、主要な被写体が適正に再生されれば、適正画像と判定されるのが常である。それに対応して、例えば、特開平８−３２８１２６号公報には、ファインダ内における視線検出による被写体の位置（存在エリア）を検出し、その結果に応じて被写体エリア情報を写真フィルムの磁気記録媒体等に記録する視線検出機能付きカメラが提案され、この情報を基に、被写体エリアが適正に仕上がるように露光を制御することが開示されている。
しかしながら、動画の画像データに関しては、このような仕組みはない。
【０００５】
すなわち、現状では、画像データの保管／管理、画像の編集や補正、動画の再生、プリントの作成など、動画の画像データの処理は、非常に手間がかかり、その結果、前述のように、ビデオカメラで撮影した動画の画像データは、通常は、鑑賞したら、そのまま保管されているのが現状であり、貴重な画像データが十分に活用されてはおらず、また、記憶資源の無駄にもつながっている。
【０００６】
本発明の目的は、前記従来技術の問題点を解決することにあり、画像、特に動画の画像データから画像の主要被写体を抽出し、その情報を用いることにより、重要なシーンを中心とした動画（画像データ）の編集や再生、画像データの保管／管理、プリント作成等を効率よく行うことができ、すなわち、貴重な画像データを十分に活用することを可能にする撮像装置、および、この撮像装置等に好適に利用される主要被写体判定装置、ならびに、前記撮像装置で撮影された画像データ等を効率よく処理することができる画像処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、本発明の撮像装置は、固体撮像素子と、前記固体撮像素子による撮影シーンを確認するための確認手段と、前記確認手段における撮影者の視線を検出する視線検出手段と、前記固体撮像素子によって撮影された動画の画像の画像データ、および、この動画が撮影された際に前記視線検出手段によって検出された視線の情報もしくはこの視線情報から検出された主要被写体の情報を、対応付けして記録媒体に記録する記録手段とを有することを特徴とする撮像装置を提供する。
【０００８】
本発明の主要被写体判定装置は、固体撮像素子と、前記固体撮像素子による撮影シーンを確認するための確認手段と、前記確認手段における撮影者の視線を検出する視線検出手段と、前記固体撮像素子によって撮影された動画の画像の画像データ、および、この動画が撮影された際に前記視線検出手段によって検出された視線の情報とから、撮影された動画の主要被写体を検出する検出手段とを有することを特徴とする主要被写体判定装置を提供する。
【０００９】
本発明の画像処理装置の第１の態様は、光電的に撮影された画像の画像データ、および、この画像を撮影した際の撮影シーンの確認手段における撮影者の視線情報を取得する取得手段と、前記取得手段が取得した画像データおよび視線情報を用いて、前記取得手段が取得した画像データが担持する画像から主要被写体を判定する判定手段とを有することを特徴とする画像処理装置を提供する。
このような本発明の第１の態様の本発明の画像処理装置において、前記取得手段は、前記画像データと、前記画像データに対応付けされた視線情報とが記録された記録媒体から、前記画像データおよび視線情報を取得するものであり、前記判定手段は、１画像から１以上の主要被写体候補を選択した後、前記視線情報を用いて、主要被写体候補から主要被写体を選択するのが好ましい。
なお、前記画像データは動画の画像データであるのが好ましく、また、前記視線情報は動画の各フレーム毎に対応付けされているのが好ましい。
【００１０】
さらに、本発明の画像処理装置の第２の態様は、光電的に撮影された画像の画像データ、および、この画像データの画像の主要被写体情報を用いて、前記画像データから主要被写体が存在する画像を抽出する抽出手段と、抽出した主要被写体を中心に、前記画像データに処理を施す画像処理手段とを有することを特徴とする画像処理装置を提供する。
このような本発明の第２の態様の画像処理装置において、前記画像データが動画の画像データであり、前記画像処理手段は、主要被写体を最適にした動画もしくは静止画を再生するための画像処理、主要被写体が存在するフレームを中心に動画を再生するための画像処理、主要被写体を基準に選択したインデックス画像の選択の少なくとも１以上を行うのが好ましい。
なお、前記主要被写体を基準に選択したインデックス画像の選択とは、例えば、主要被写体が最初に現れたフレームの選択もしくは主要被写体が最も大きく撮影されているフレームの選択であり、また、前記主要被写体が存在するフレームを中心に動画を再生するための画像処理とは、例えば、主要被写体が存在するフレーム（あるいは、さらにその前後所定数フレーム）は通常再生して、それ以外のフレームは早送り再生となるような画像データの生成である。
【００１１】
【発明の実施の形態】
以下、本発明の撮像装置および主要被写体判定装置ならびに画像処理装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１２】
図１に、本発明の撮像装置の一例の概念図を示す。
図１に示すカメラ（撮像装置）１０は、いわゆるデジタルのビデオカメラであって、基本的に、撮影部１２と視線検出部１４とから構成されるもので、撮影した動画の画像データと共に、撮影者の視線情報も記録媒体Ｍに記録する。
【００１３】
撮影部１２は、結像レンズユニット１６と、撮影用のＣＣＤセンサ１８（以下、撮影ＣＣＤ１８とする）と、信号処理部２０と、Ａ／Ｄ変換機２２と、表示制御部２６と、液晶ディスプレイ２８（以下、ＬＣＤ２８とする）と、圧縮処理部３０と、データ記録部３２とを有して構成される。
このような撮影部１２は、データ記録部３２による記録媒体Ｍへのデータ記録以外は、基本的に、通常のデジタルビデオカメラと同様のものである。
【００１４】
結像レンズユニット１６は、ビデオカメラに通常用いられるズーム機能やＡＦ（オートフォーカス機能）等を有する結像レンズユニットであり、また、撮影ＣＣＤ１８も、同様に、ビデオカメラに通常用いられる、撮影シーン（画像）をＲ（赤）、Ｇ（緑）およびＢ（青）の三原色に分解して読み取る、エリアＣＣＤセンサである。
なお、本発明において、カメラ１０は、１つのエリアＣＣＤセンサで三原色を読み取るものであってもよく、あるいは、１つのエリアＣＣＤセンサで１色を読み取る、いわゆる３ＣＣＤセンサのカメラであってもよい。
【００１５】
通常のビデオカメラと同様、撮影シーンは結像レンズユニット１６によって撮影ＣＣＤ１８の受光面に結像され、光電変換される。
撮影ＣＣＤ１８からの出力信号は、信号処理部２０においてノイズ除去や暗時補正（暗レベル補正）等の信号処理を施された後に、Ａ／Ｄ変換器２２においてＡ／Ｄ変換（アナログ／デジタル変換）され、デジタルの画像信号とされる。
Ａ／Ｄ変換機２２で変換されたデジタルの画像信号は、表示制御部２６および圧縮処理部３０に供給される。
【００１６】
表示制御部２６に供給された画像信号は、ここで、階調変換や色／濃度補正、さらにはデータ変換処理等の公知の画像処理を施されて、ＬＣＤ２８による表示用の画像データに変換され、カメラ１０のファインダ（撮影シーンの確認手段）であるＬＣＤ２８に、撮影シーンが表示される。
なお、本発明のカメラ１０において、ファインダはＬＣＤに限定はされず、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等の各種の表示手段が利用可能である。
【００１７】
一方、圧縮処理部３０に供給された画像信号は、ここで、例えば、一般のＹ，Ｕ，Ｖ信号に変換され、さらに画像のエンハンスが行われた後に、映像として展開されて、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）形式に従って圧縮され、ＭＰＥＧの画像ファイル形式の動画の画像データとしてデータ記録部３２に出力される。
本発明において、動画の画像ファイル形式は、ＭＰＥＧに限定はされず、例えば、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅｄ）、ＷＭＶ（Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ）、ＱＴ（Ｑｕｉｃｋ Ｔｉｍｅ）等の各種の画像ファイル形式が利用可能である。
【００１８】
一方、視線検出部１４は、撮影者の眼球Ｐが、ファインダであるＬＣＤ２８の何処をみているか、すなわち、撮影時における撮影者の視線検出を行う部位であり、基本的に、赤外ＬＥＤ３６ａおよび３６ｂと、光分割器３８と、結像レンズ４０と、視線検出用のエリアＣＣＤセンサ４２（以下、視線ＣＣＤ４２とする）と、信号処理部４４と、視線検出部４８とを有して構成される。
【００１９】
赤外ＬＥＤ３６ａおよび３６ｂは、共に、赤外光を出射する公知のＬＥＤである。両者は、赤外光を撮影者の眼球Ｐに出射するように、結像レンズ４０の光軸ｆに対して、対称の位置に配置される。
光分割器３８は、可視光と、赤外光とを分割し、赤外光を結像レンズ４０に入射する部材である。図示例においては、可視光を透過し赤外線を反射するダイクロイックミラーを、光軸ｆに対して４５°傾けて反射面を眼球Ｐに向けて配置することにより、眼球Ｐに反射された赤外線を結像レンズ４０に入射する。
【００２０】
光分割器３８によって反射された赤外光は、結像レンズ４０によって、視線ＣＣＤ４２の受光面に結像される。視線ＣＣＤ４２は、赤外光に感度を有する単色のエリアＣＣＤセンサである。
図示例において、ＬＣＤ２８は、中央の画素を結像レンズ４０の光軸ｆの延長線と一致して、観察面をこの延長線に直交して配置される。また、視線ＣＣＤ４２も、中央の画素を結像レンズ４０の光軸ｆと一致して、受光面を光軸ｆに直交して配置される。さらに、ＬＣＤ２８と視線ＣＣＤ４２とは、画素の配列方向が光軸ｆに対して光学的に一致するように配置される。すなわち、カメラ１０のファインダであるＬＣＤ２８と、視線ＣＣＤ４２とは、光軸ｆに対して光学的に等価の位置に配置されている。
【００２１】
視線ＣＣＤ４２の出力信号は、信号処理部４４においてノイズ除去や暗時補正等の信号処理を施された後に、Ａ／Ｄ変換器４６においてＡ／Ｄ変換されてデジタル信号とされ、視線検出部４８に出力される。
視線検出部４８は、視線ＣＣＤ４２に読み取られた画像、すなわち赤外ＬＥＤ３６ａおよび３６ｂから出射され、撮影者の眼球Ｐで反射され、視線ＣＣＤ４２に結像した赤外光の画像を解析して、撮影者の視線を検出する部位である。
【００２２】
前述のように、赤外ＬＥＤ３６ａおよび３６ｂは、結像レンズ４０の光軸ｆに対して対称の位置に配置されている。
そのため、赤外ＬＥＤ３６ａから出射され眼球Ｐの角膜によって反射された赤外光の視線ＣＣＤ４２への入射位置、赤外ＬＥＤ３６ｂから出射され眼球Ｐの角膜によって反射された赤外光の視線ＣＣＤ４２への入射位置、ならびに、赤外ＬＥＤ３６ａおよび３６ｂから出射され眼球Ｐの虹彩の端部によって反射された赤外光の視線ＣＣＤ４２への入射位置は、眼球Ｐの中心線（眼球光軸）の角度変化すなわち視線によって変化する。また、前述のように、ＬＣＤ２８と、視線ＣＣＤ４２とは、光軸ｆに対して光学的に等価の位置に配置されている
従って、視線ＣＣＤ４２に投影された各特徴点（角膜および虹彩の投影光）の位置を検出、解析することにより、ファインダであるＬＣＤ２８における撮影者の視線を検出することができる。
【００２３】
このような視線検出方法に関しては、特開平５−３３３２５９号公報に詳述されている。
また、本発明において、カメラ１０における撮影者の視線検出の方法は、この方法に限定はされず、例えば、特開平８−１７９２２３号公報に開示される、赤外光源からの赤外光の光路と表示画像が観察者の眼球に至る光路とをダイクロイックミラーで一致させて、観察者の眼球に入射させ、これによる眼球の映像を受光素子に結像して、この画像を解析することにより視線を検出する方法や、特開平１−２７４７３６号公報に開示される、光源からの平行光束を観察者の眼球の前眼部に投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求める方法等、各種の方法が利用可能である。
【００２４】
前述のように、撮影ＣＣＤ１８によって撮影された画像は、所定の処理を施されてＭＰＥＧ形式の画像ファイルとしてデータ記録部３２に出力される。また、視線検出部４８による撮影者（眼球Ｐ）の視線検出結果も、データ記録部３２に出力される。
データ記録部３２は、ＭＰＥＧ形式の画像ファイルの１フレームと、そのフレームの撮影時における撮影者の視線の情報（以下、視線情報とする）とを対応付けして、記録媒体Ｍに記録する。
【００２５】
視線情報には、特に限定は無く、例えば、各フレーム毎の視線の位置を撮影画面上における座標位置で示す方法等、各種の方法が利用可能であるが、好ましい一例として、以下の方法が例示される。
図２に模式的に示すように、予め撮影画面を複数の小領域に分割して、視線検出部４８による視線の検出結果と、各小領域の位置（アドレス）との対応を取っておく。その上で、撮影された動画の各フレーム毎に、撮影者の視線が存在する小領域を検出して視線情報とし、両者を対応付けして、記録媒体Ｍに記録すればよい。
【００２６】
動画の画像データおよび視線情報の記録方法には、特に限定はなく、各種の方法が利用可能である。動画の画像データをＭＰＥＧ形式の画像ファイルとする図示例においては、好ましい一例として、ＭＰＥＧ形式のファイルフォーマットを利用して、画像ファイルおよび視線情報を記録する。
図３（Ａ）に、その一例の概念図を示す。
【００２７】
周知のように、ＭＰＥＧ形式の画像ファイルは、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、および、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ ）を組み合わせるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造を用いており、ＧＯＰデータとシーケンスヘッダとの繰り返しで構成されている。
１つのＧＯＰには、通常、０．５秒（１５フレーム）程度が記録されるので、図３（Ａ）に示されるように、シーケンスヘッダで区切られた１つのＧＯＰの区間内の例えばＧＯＰデータの後ろに、この区間に記録されている各フレームの視線情報を付加して、画像ファイルを構成すればよい。
【００２８】
また、これ以外にも、独立したファイルとして、動画の画像データと視線情報とを記録してもよい。
例えば、図３（Ｂ）に示されるように、１つの動画の画像ファイルについて、ファイル情報のファイルと、ＭＰＥＧ形式の動画のファイルと、視線情報のファイルを形成して、それぞれに対応するデータを記録して、画像ファイルを構成すればよい。
【００２９】
本発明において、カメラ１０は、動画と静止画の両方を記録できるデジタルビデオカメラであってもよい。この際において、動画と静止画の両者を記録媒体Ｍに記録する場合には、動画（フレーム）および静止画の両者について、対応付けした視線情報を記録する。
【００３０】
カメラ１０が情報を記録する記録媒体Ｍにも、特に限定はなく、デジタルのビデオカメラが動画を記録する各種の記録媒体が利用可能であり、例えば、ビデオテープ、ＤＶＤ（ＤＶＤ−ＲＡＭ，ＤＶＤ−ＲＷ）、ＣＤ（ＣＤ−Ｒ，ＣＤ−ＲＷ），ＩＣメモリ，ＨＤ（ハードディスク）等が例示される。
【００３１】
図４に、このような本発明のカメラ１０で撮影された画像を再生する、本発明の画像処理装置を利用する再生装置の一例の概念をブロック図で示す。
図４に示す再生装置５０は、カメラ１０によってＭＰＥＧ形式の画像ファイルと視線情報とが対応付けして記録された記録媒体Ｍ等、撮影画像の画像データと、この画像を撮影した撮影者の視線情報とが記録された記録媒体Ｍから、画像データおよび視線情報を読み出し、各種の処理を施して表示するものであり、基本的に、データ読込部５２、主要被写体判定部５４、表示制御部５６、および、表示部５８を有して構成される。
【００３２】
データ読込部５２は、記録媒体Ｍに応じたドライブ等を有して構成されるものであり、記録媒体Ｍから記録されたデータを読み込み、画像データ（図１のカメラであれば、ＭＰＥＧ形式の動画の画像データ）と視線情報とを分別して、視線情報を主要被写体判定部５４に、画像データを主要被写体判定部５４および表示制御部５６に、それぞれ供給する部位である。
【００３３】
主要被写体判定部５４（以下、判定部５４とする）は、視線情報を用いて、画像の主要被写体を判定して、表示制御部５６に供給する部位である。
ビデオカメラ等による動画の撮影では、撮影者は、自身が取りたいと思う最も重要な被写体、すなわち主要被写体を視線で追いかけ、これが最も好ましく写るようにするのが、通常である。従って、視線情報を利用することにより、主要被写体を正確に判定することができる。また、動画の主要被写体を判定することにより、後述するように、これを利用して各種の処理を効率よく行うことができ、動画の画像データを、有効に活用することができる。
【００３４】
判定部５４においては、まず、画像中から主要被写体の候補を抽出する。
主要被写体候補の抽出方法には特に限定はなく、各種の方法が利用可能であるが、データ量を低減できる方法として、輪郭線を利用する方法が例示され、例えば、特開平５−３０７５３７号公報に開示される方法が例示される。この方法では、画像の注目点を設定して、この注目点を中心とする所定方向への線分を検出して、検出された線分から、前記所定方向と略一致方向に高連続性線分や高強度線分を互いに協調させて強調すると共に、同低連続性線分や低強度線分を競合させて消去することにより、主要被写体候補の輪郭線を抽出する。
【００３５】
被写体候補の抽出方法としては、これ以外にも、特開平５−１５８１６４号公報に開示される、三原色の画像データから色相および彩度の二次元ヒストグラムを求め、このヒストグラムの特定の山頂に対応する断面を含み、かつ、色相および彩度軸を含む座標平面で二次元ヒストグラムを切断し、この断面に排他的膨張処理を施して、処理済断面の境界で各山を分割し、各画素を各山の群に分けることにより画像を分割して、分割された領域から１以上を被写体候補として選択する方法も利用可能である。
また、他にも、画素の連続性を用いて被写体候補を抽出する方法、同じ色が集合している画素を被写体候補として抽出する方法等、各種の被写体抽出方法が利用可能である。
【００３６】
このようにして主要被写体候補を抽出したら、判定部５４は、次いで、視線情報を用いて、撮影者の視線が追跡している候補を、主要被写体として判定し、この主要被写体の情報を、表示制御部５６に出力する。例えば、前述（図２）のように撮影画面を小領域に分割して、視線が存在する小領域によって視線情報とする場合であれば、輪郭抽出等によって求めた主要被写体候補が囲む小領域を求め、この中から、視線が追従する小領域を検出することで、主要被写体を判定すればよい。
前述のように、ビデオカメラ等による動画の撮影時には、撮影者は、視線で主要被写体を追いかけて撮影を行うのが通常であるので、視線情報を利用する本発明によれば、高精度に主要被写体を判定することができる。
【００３７】
ここで、図示例においては、カメラ１０では、記録媒体への視線情報の記録のみを行い、主要被写体の判定は、この視線情報を利用して再生装置５０で行っている。しかしながら、本発明は、これに限定はされず、データ処理速度等の点で可能であれば、視線情報と撮影した動画の画像データを用いて、カメラが主要被写体を判定し、各フレームの主要被写体情報を記録媒体Ｍに記録してもよい。
一例として、前述の視線検出結果より、視線が追跡している物体を主要被写体として、その輪郭を抽出し、この輪郭情報を主要被写体情報として、各フレームに対応付けして、例えば、前述したようにＭＰＥＧ形式の画像ファイル等の動画の画像データと共に記録媒体Ｍに記録する方法が例示される。なお、輪郭抽出は、前述の方法によればよい。
【００３８】
なお、このような主要被写体の判定において、前述の複数の主要被写体候補の中に、視線が追従する小領域がないフレーム（画像）は、「主要被写体が存在しない」という主要被写体情報としてもよい。
また、視線が画面中を頻繁に移動する（すなわち、視線が不安定）等によって、単位時間内（所定フレーム数）において判定された主要被写体が変動する場合には、同様に、このフレームには主要被写体が存在しないという主要被写体情報としてもよい。
さらに、所定フレーム数以上、連続的に同じ被写体が主要被写体と判定された場合にのみ、これを主要被写体と確定し、それ以外のフレームは、主要被写体が存在しないとしてもよい。
【００３９】
表示制御部５６は、判定部５４から供給された主要被写体情報を中心として、供給された画像データに処理を施し、また、表示部５８における画像表示に対応する画像データに変換して、表示部５８に動画を再生させる。なお、表示部５８は、ＬＣＤやＣＲＴ等の各種の表示手段が利用可能である。
ここで、主要被写体に応じた画像データの処理としては、一例として、主要被写体が最適な状態で再生できるように、画像の濃度や色バランスを調整する方法が例示され、例えば、主要被写体が人物である場合には、特に顔が美しい肌色となるように、画像濃度や色バランスを調整する方法が例示される。このような画像処理の方法は、マトリクス演算を利用する方法や、ＬＵＴ（ルックアップテーブル）を用いる方法等、公知の方法によればよい。
【００４０】
また、動画の再生時に、主要被写体が存在するシーンを重点再生するように、画像データを処理して表示部５８に供給する方法も好適である。
例えば、主要被写体であると特定できるものが存在するシーンは通常再生し、前記主要被写体無しと判定されたシーンのように、視線のバラツキ等によって主要被写体と特定できるものが無いシーンは、飛ばして（スキップして）もしくは早送りして、動画を再生するように処理を行う。
【００４１】
なお、図４に示される例では、表示部５８による動画の再生のみを例示したが、本発明を利用する再生装置では、動画の画像データを用いて、プリントを出力できるようにしてもよい。すなわち、本発明の再生装置においては、処理した画像データの画像をハードコピーとして再生できるようにしてもよい。
本発明を利用する再生装置は、図４に示されるような、動画（画像）の再生のみを行う装置でもよく、プリントの出力のみを行う装置でもよく、動画の再生とプリント出力の両方を行うことができる再生装置であってもよい。
【００４２】
プリンタには、特に限定はなく、各種のプリンタが全て利用可能である。
例えば、画像データに応じて変調した記録光で感光材料（印画紙）を像様露光して、所定の湿式の現像処理を施して出力するプリンタ、同様に像様露光された後に、水等の画像形成溶媒の存在下で受像媒体に画像を転写する感光材料（ドナー）を用いるプリンタ（富士写真フイルム社製 Ｐｉｃｔｒｏｓｔａｔ等）、インクジェットプリンタ、電子写真プリンタ等が例示される。
【００４３】
本例において、動画中の１シーンをプリントする場合には、例えば、先と同様に、主要被写体が最適な条件になるように、プリントを行う。
具体的には、プリントするシーン（フレーム）が指定されたら、先と同様に、判定部５４において、輪郭抽出等に、そのシーンの視線情報を組み合わせて主要被写体を判定する。次いで、表示制御部５６のようなプリント画像の処理部において、主要被写体が最適になるように画像処理を施して、さらに、プリンタに応じた画像データに変換してプリンタに出力し、プリント作成を行う。一例として、主要被写体が人物である場合には、特に顔が最適に仕上がるように画像処理を行えばよい。
【００４４】
なお、施す画像処理には、特に限定はなく、色／濃度補正、階調補正、彩度補正、シャープネス処理、覆い焼き処理（中間階調を維持したダイナミックレンジの圧縮／伸張）など、プリント（ハードコピー）作成において実施されている各種の画像処理が全て利用可能である。
また、これらの画像処理の方法も公知の方法でよく、判定した主要被写体に応じて、主要被写体が最適に仕上がるように、実施する画像処理の処理条件を設定すればよい。
【００４５】
以上の例は、主要被写体の情報を利用することにより、これを中心にした画像の再生を行うものであるが、本発明によれば、これ以外にも、主要被写体の情報を利用して各種の処理を行うことにより、動画の画像データの整理や編集も、効率よく行うことができる。
図５に、本発明の画像処理装置の一例の概念をブロック図で示す。
【００４６】
図５に示される画像処理装置６０（以下、処理装置６０とする）は、前述の再生装置５０と同様、カメラ１０によってＭＰＥＧ形式の画像ファイルと視線情報とが対応付けされて記録された記録媒体Ｍ等、撮影画像の画像データと視線情報とが記録された記録媒体Ｍから、画像データおよび視線情報を読み出し、各種の処理を施すものであり、基本的に、データ入出力部６２、（主要被写体）判定部５４、表示制御部５６、表示装置５８、データベース６４、および、編集部６６を有して構成される。
なお、図示例の処理装置６０において、判定部５４、表示制御部５６および表示装置５８、ならびに、記録媒体Ｍから読み込んだ画像の表示に関しては、基本的に、前述の再生装置５０と同様のものであるので、同じ部位には同じ符号を付し、説明は異なる部位を主に行う。
【００４７】
データ入出力部６２は、前述の再生装置５０のデータ読込部５２と同様に記録媒体Ｍからの画像データおよび視線データの読込み、および供給を行うと共に、判定部５４や編集部６６から供給された各種の情報を記録媒体Ｍに書込みするもので、同様に、記録媒体Ｍに対応するドライブ等を有して構成される。
また、処理装置６０においては、データ入出力部６２が読み込んだ画像データは、判定部５４および表示制御部５６のみならず、必要に応じて、編集部６６にも供給する。
【００４８】
処理装置６０においては、判定部５４は、主要被写体の判定結果を、表示制御部５６のみならず、必要に応じて、データ入出力部６２（書込み）、データベース６４、および編集装置６６にも供給する。
さらに、処理装置６０においては、判定部５４は主要被写体の判定結果、例えば、主要被写体情報（主要被写体無しも含む）や、後述するデータベース６４から取得した主要被写体の氏名や属性等をデータ入出力部６２に供給して、記録媒体Ｍに記録するようにしてもよい。これにより、これ以降の記録媒体Ｍからの動画の検索や各種の処理等を、より容易に行うことができる。
【００４９】
データベース６４は、被写体に関する情報等を登録しておき、データ入出力部６２や編集部６６における情報の書込み等に利用するためのものである。
例えば、データベース６４に、家族の顔など、カメラ１０で撮影される可能性を有する人物を登録しておき、主要被写体を判定した判定部５４が、データベース６４に登録されている情報と比較して、主要被写体が誰であるかを特定することが例示される。
【００５０】
また、データベース６４に、撮影者の撮影履歴を記録しておき、これから主要被写体の情報を得るようにしてもよい。
例えば、撮影者の撮影履歴から、この撮影者に関係する被写体の情報をデータベースから取得し、判定部５４で、判定した主要被写体に関する情報を選択し、また、各情報を表示部５８に表示させて、処理装置６０の使用者が所望する情報を選択できるようにする。
【００５１】
なお、撮影履歴としては、時間、ＧＰＳ等を用いた位置情報、山、車、建物、花のような具体的な対象等が例示される。例えば、旅行の際の位置情報を用いて被写体を推定することができる。また、具体的な対象を用いる場合には、類似形を表示して、該当するものを指定していく事により、同じ種類の被写体を集約され、被写体情報として利用できる。
撮影者の判定は、公知の方法で処理装置６０に入力指示すればよい。
【００５２】
この際においては、虹彩を利用して撮影者を特定し、撮影者が誰であるかの情報をデータベース６４を利用して取得してもよい。
例えば、前述のカメラ１０に、ファインダであるＬＣＤ２８を観察する撮影者の虹彩を読み取る機能を付加し、画像データおよび視線情報等と共に、虹彩の情報も記録媒体Ｍに記録する。一方で、データベース６４には、虹彩情報と撮影者の情報とを対応付けして、記憶しておく。これにより、記録媒体Ｍの動画を撮影した撮影者を特定できる。
【００５３】
データベース６４を利用して特定した主要被写体や、データベース６４から取得した主要被写体や撮影者に関する情報等は、例えば、データ入出力部６２に供給されて、記録媒体Ｍに記録された対応する動画の画像データに付加され、また、編集部６６に供給され、編集した動画の画像データに付加される。
さらに、判定部５４が判定した主要被写体がデータベース６４に登録されていない場合には、この主要被写体を画像データの属性等と共にデータベース６４に登録して、今後の情報の検索等に利用するようにしてもよい。
【００５４】
このような処理装置６０において、データベースは、撮影者毎に構築しておいて、撮影者に応じて、使用するデータベースを切り換えてもよい。
データベースを切り換えるための撮影者の判別は、公知の方法で処理装置６０の利用者が入力指示できるようにしてもよく、また、前述の撮影者の虹彩の情報を用いて自動選択するようにしてもよい。
【００５５】
編集部６６は、判定部５４による主要被写体の判定結果に応じて、必要によりデータベース６４に記録される各種の情報を利用して、データ入出力部６２が記録媒体Ｍから読み込んだ画像データを編集する部位である。
例えば、前述のように、動画の画像データから、主要被写体を特定できるシーンのみ（あるいはさらに、その前後の所定数フレーム）を抽出して、これを１つの動画の画像データに編集してもよい。また、同じ主要被写体が存在する複数の動画から同じ主要被写体が存在するシーンをまとめて、一つの動画の画像データに編集してもよい。さらに、前述のようにして、データベース６４から主要被写体の情報や撮影者の情報を取得して、動画中に、これらの情報を字幕やイラストで組み込んでもよい。
【００５６】
このように編集した動画の画像データは、データ入出力部６２に供給して画像データを読み出した記録媒体Ｍや別の記録媒体Ｍの空領域に記録してもよく、あるいは、編集部６６が各種の記録媒体やコンピュータ等に出力してもよく、さらに、表示制御部５６に供給して、表示部５８で動画を再生してもよい。
【００５７】
また、動画の画像データの整理や保管を好適に行うために、インデックス画像を決定して、例えば、動画の画像データに付して、すぐに見られるようにしておく方法が例示される。
動画の画像データのインデックス画像には、通常、先頭のフレーム（先頭の画像）が用いられる。しかしながら、動画では、先頭フレームは偶然に撮影された画像である場合も多く、インデックス画像としては適当では無い場合も多い。
それに対し、本発明によれば、判定部５４による主要被写体情報を利用して、動画の中から、主要被写体と特定できる被写体が最初に現れたフレームや、主要被写体が最も大きく写っているフレームを選択することにより、容易かつ迅速に、その動画を的確に示すインデックス画像を決定できる。
【００５８】
処理装置６０においては、このようなインデックス画像の決定を、例えば、編集部６６で行えばよく、データ入出力部６２から供給された画像データ、および、判定部５４から供給された主要被写体の情報から、前述のようにインデックス画像を決定し、そのフレームの画像データを抽出する（もしくは、所定サイズの画像データを生成してもよい）。
インデックス画像の画像データは、データ入出力６２に供給して、記録媒体Ｍのインデックス画像の記録領域に記録させてもよく、編集部６６が情報を記録する記録媒体のインデックス画像の記録領域に記録させてもよく、表示制御部５６に供給してインデックス画像を表示させてもよく、さらに、図示しないプリンタによってインデックスプリントを出力させてもよい。
これにより、動画の整理や保管管理を、容易かつ適正に行うことができる。
【００５９】
なお、このような動画の画像データの編集やインデックス画像の決定は、前述の図４に示される再生装置５０でも、好適に利用可能であるのは、もちろんのことである。
【００６０】
以上の説明より明らかなように、本発明によれば、記録媒体に画像データと視線情報を利用して、主要被写体を判定し、あるいはさらに、記録媒体に画像データと主要被写体情報とを記録することにより、主要被写体が存在する見たいシーンの検出、主要被写体を中心とした画像の再生や編集、主要被写体を中心とした画像処理、主要被写体を利用するインデックス画像の決定等、重要なシーンを中心とした動画（画像データ）の編集や再生、画像データの保管／管理、プリント作成等を効率よく行うことができ、すなわち、貴重な画像データを十分に活用することができる。
【００６１】
以上の例は、本発明を動画の画像データに利用した例であるが、本発明は、これに例示はされず、静止画にも好適に利用可能である。この際には、同様に、撮影時の撮影者の視線を検出して画像ファイルのヘッダに視線情報を記録して、後に画像データと視線情報から主要被写体を判定してもよく、あるいは、視線情報から主要被写体を検出して、主要被写体情報を画像ファイルのヘッダに視線情報を記録してもよい。
このようにして、静止画から主要被写体を検出することにより、特に、データベース６４に登録した各種の情報を、主要被写体情報を用いて読み出し、主要被写体の氏名等を情報を画像データ（画像ファイル）に付加できるので、静止画の画像データの整理や、保管／管理等も好適に行うことができる。
【００６２】
以上、本発明の撮像装置、主要被写体判定装置、および画像処理装置について、詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんのことである。
【００６３】
【発明の効果】
以上、詳細に説明したように、本発明によれば、動画や静止画の画像データについて、主要被写体を中心として、見たいシーンの検出、画像の再生や編集、画像処理、インデックス画像の決定等を行うことができ、重要なシーンを中心とした画像データの編集や再生、画像データの保管／管理、プリント作成等を効率よく行うことができ、すなわち、貴重な画像データを十分に活用できる。
【図面の簡単な説明】
【図１】本発明の撮像装置（カメラ）の一例を概念的に示すブロック図である。
【図２】本発明の主要被写体検出方法を説明するための概念図である。
【図３】（Ａ）および（Ｂ）は、図１に示される撮像装置による動画の画像データの記録方法の一例を説明するための概念図である。
【図４】本発明の画像処理装置を利用する再生装置の一例を概念的に示すブロック図である。
【図５】本発明の画像処理装置を利用する処理システムの一例を概念的に示すブロック図である。
【符号の説明】
１０ カメラ
１２ 撮影部
１４ 視線検出部
１６ 結像レンズ
１８ 撮影ＣＣＤ
２０，４４ 信号処理部
２２，４６ Ａ／Ｄ変換器
２６，５６ 表示制御部
２８ ＬＣＤ（液晶ディスプレイ）
３０ 圧縮処理部
３２ データ記録部
３６（３６ａ，３６ｂ） 赤外ＬＥＤ
３８ 光分割器
４０ 結像レンズ
４２ 視線ＣＣＤ
４８ 視線検出部
５０ 再生装置
５２ データ読込部
５４ （主要被写体）判定部
５８ 表示部
６０ 処理装置
６２ データ入出力部
６４ データベース
６６ 編集部
【発明の属する技術分野】
本発明は、撮像装置、この撮像装置等に好適に利用される主要被写体判定装置、および、前記撮像装置が撮影した画像の画像データを処理する画像処理装置の技術分野に属し、詳しくは、画像、特に動画から主要被写体を抽出して、これを利用した様々な画像データの処理を行うことを可能にする撮像装置および主要被写体判定装置ならびに画像処理装置に関する。
【０００２】
【従来の技術】
現在、家庭用のビデオカメラが広く普及し、運動会や結婚式などの各種のイベントで一般ユーザによる動画の撮影が盛んに行われている。
専門家ではない一般ユーザによる動画の撮影では、主要な被写体が存在しない無駄なシーンや失敗を有する撮影も多い。そのため、全ての撮影画像が、必ずしも後の鑑賞を欲する画像ではなく、また、重要なシーンであっても、画像が適正に撮影されているとは限らない。
【０００３】
【発明が解決しようとする課題】
これに対し、デジタルのビデオカメラで撮影した画像の画像データ、もしくはアナログのビデオカメラで撮影した画像をデジタルの画像データに変換して、コンピュータ等に取り込み、編集や補正等の画像データの処理を行うアプリケーションやシステムは、各種、市販されている。
しかしながら、周知のように、画像データましてや動画の画像データは、非常にデータ量が多い。そのため、例えば、撮影した動画から、見たいシーンや重要なシーンを探し出すだけでも、時間がかかり、そのため、画像データの編集や管理等には、手間がかかる。このような理由により、ビデオカメラで撮影した動画の画像データは、ほとんどの場合、鑑賞したら、そのまま保管されているのが現状である。
【０００４】
一方、スチルカメラでは、主要な被写体が適正に再生されれば、適正画像と判定されるのが常である。それに対応して、例えば、特開平８−３２８１２６号公報には、ファインダ内における視線検出による被写体の位置（存在エリア）を検出し、その結果に応じて被写体エリア情報を写真フィルムの磁気記録媒体等に記録する視線検出機能付きカメラが提案され、この情報を基に、被写体エリアが適正に仕上がるように露光を制御することが開示されている。
しかしながら、動画の画像データに関しては、このような仕組みはない。
【０００５】
すなわち、現状では、画像データの保管／管理、画像の編集や補正、動画の再生、プリントの作成など、動画の画像データの処理は、非常に手間がかかり、その結果、前述のように、ビデオカメラで撮影した動画の画像データは、通常は、鑑賞したら、そのまま保管されているのが現状であり、貴重な画像データが十分に活用されてはおらず、また、記憶資源の無駄にもつながっている。
【０００６】
本発明の目的は、前記従来技術の問題点を解決することにあり、画像、特に動画の画像データから画像の主要被写体を抽出し、その情報を用いることにより、重要なシーンを中心とした動画（画像データ）の編集や再生、画像データの保管／管理、プリント作成等を効率よく行うことができ、すなわち、貴重な画像データを十分に活用することを可能にする撮像装置、および、この撮像装置等に好適に利用される主要被写体判定装置、ならびに、前記撮像装置で撮影された画像データ等を効率よく処理することができる画像処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、本発明の撮像装置は、固体撮像素子と、前記固体撮像素子による撮影シーンを確認するための確認手段と、前記確認手段における撮影者の視線を検出する視線検出手段と、前記固体撮像素子によって撮影された動画の画像の画像データ、および、この動画が撮影された際に前記視線検出手段によって検出された視線の情報もしくはこの視線情報から検出された主要被写体の情報を、対応付けして記録媒体に記録する記録手段とを有することを特徴とする撮像装置を提供する。
【０００８】
本発明の主要被写体判定装置は、固体撮像素子と、前記固体撮像素子による撮影シーンを確認するための確認手段と、前記確認手段における撮影者の視線を検出する視線検出手段と、前記固体撮像素子によって撮影された動画の画像の画像データ、および、この動画が撮影された際に前記視線検出手段によって検出された視線の情報とから、撮影された動画の主要被写体を検出する検出手段とを有することを特徴とする主要被写体判定装置を提供する。
【０００９】
本発明の画像処理装置の第１の態様は、光電的に撮影された画像の画像データ、および、この画像を撮影した際の撮影シーンの確認手段における撮影者の視線情報を取得する取得手段と、前記取得手段が取得した画像データおよび視線情報を用いて、前記取得手段が取得した画像データが担持する画像から主要被写体を判定する判定手段とを有することを特徴とする画像処理装置を提供する。
このような本発明の第１の態様の本発明の画像処理装置において、前記取得手段は、前記画像データと、前記画像データに対応付けされた視線情報とが記録された記録媒体から、前記画像データおよび視線情報を取得するものであり、前記判定手段は、１画像から１以上の主要被写体候補を選択した後、前記視線情報を用いて、主要被写体候補から主要被写体を選択するのが好ましい。
なお、前記画像データは動画の画像データであるのが好ましく、また、前記視線情報は動画の各フレーム毎に対応付けされているのが好ましい。
【００１０】
さらに、本発明の画像処理装置の第２の態様は、光電的に撮影された画像の画像データ、および、この画像データの画像の主要被写体情報を用いて、前記画像データから主要被写体が存在する画像を抽出する抽出手段と、抽出した主要被写体を中心に、前記画像データに処理を施す画像処理手段とを有することを特徴とする画像処理装置を提供する。
このような本発明の第２の態様の画像処理装置において、前記画像データが動画の画像データであり、前記画像処理手段は、主要被写体を最適にした動画もしくは静止画を再生するための画像処理、主要被写体が存在するフレームを中心に動画を再生するための画像処理、主要被写体を基準に選択したインデックス画像の選択の少なくとも１以上を行うのが好ましい。
なお、前記主要被写体を基準に選択したインデックス画像の選択とは、例えば、主要被写体が最初に現れたフレームの選択もしくは主要被写体が最も大きく撮影されているフレームの選択であり、また、前記主要被写体が存在するフレームを中心に動画を再生するための画像処理とは、例えば、主要被写体が存在するフレーム（あるいは、さらにその前後所定数フレーム）は通常再生して、それ以外のフレームは早送り再生となるような画像データの生成である。
【００１１】
【発明の実施の形態】
以下、本発明の撮像装置および主要被写体判定装置ならびに画像処理装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１２】
図１に、本発明の撮像装置の一例の概念図を示す。
図１に示すカメラ（撮像装置）１０は、いわゆるデジタルのビデオカメラであって、基本的に、撮影部１２と視線検出部１４とから構成されるもので、撮影した動画の画像データと共に、撮影者の視線情報も記録媒体Ｍに記録する。
【００１３】
撮影部１２は、結像レンズユニット１６と、撮影用のＣＣＤセンサ１８（以下、撮影ＣＣＤ１８とする）と、信号処理部２０と、Ａ／Ｄ変換機２２と、表示制御部２６と、液晶ディスプレイ２８（以下、ＬＣＤ２８とする）と、圧縮処理部３０と、データ記録部３２とを有して構成される。
このような撮影部１２は、データ記録部３２による記録媒体Ｍへのデータ記録以外は、基本的に、通常のデジタルビデオカメラと同様のものである。
【００１４】
結像レンズユニット１６は、ビデオカメラに通常用いられるズーム機能やＡＦ（オートフォーカス機能）等を有する結像レンズユニットであり、また、撮影ＣＣＤ１８も、同様に、ビデオカメラに通常用いられる、撮影シーン（画像）をＲ（赤）、Ｇ（緑）およびＢ（青）の三原色に分解して読み取る、エリアＣＣＤセンサである。
なお、本発明において、カメラ１０は、１つのエリアＣＣＤセンサで三原色を読み取るものであってもよく、あるいは、１つのエリアＣＣＤセンサで１色を読み取る、いわゆる３ＣＣＤセンサのカメラであってもよい。
【００１５】
通常のビデオカメラと同様、撮影シーンは結像レンズユニット１６によって撮影ＣＣＤ１８の受光面に結像され、光電変換される。
撮影ＣＣＤ１８からの出力信号は、信号処理部２０においてノイズ除去や暗時補正（暗レベル補正）等の信号処理を施された後に、Ａ／Ｄ変換器２２においてＡ／Ｄ変換（アナログ／デジタル変換）され、デジタルの画像信号とされる。
Ａ／Ｄ変換機２２で変換されたデジタルの画像信号は、表示制御部２６および圧縮処理部３０に供給される。
【００１６】
表示制御部２６に供給された画像信号は、ここで、階調変換や色／濃度補正、さらにはデータ変換処理等の公知の画像処理を施されて、ＬＣＤ２８による表示用の画像データに変換され、カメラ１０のファインダ（撮影シーンの確認手段）であるＬＣＤ２８に、撮影シーンが表示される。
なお、本発明のカメラ１０において、ファインダはＬＣＤに限定はされず、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等の各種の表示手段が利用可能である。
【００１７】
一方、圧縮処理部３０に供給された画像信号は、ここで、例えば、一般のＹ，Ｕ，Ｖ信号に変換され、さらに画像のエンハンスが行われた後に、映像として展開されて、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）形式に従って圧縮され、ＭＰＥＧの画像ファイル形式の動画の画像データとしてデータ記録部３２に出力される。
本発明において、動画の画像ファイル形式は、ＭＰＥＧに限定はされず、例えば、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅｄ）、ＷＭＶ（Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ）、ＱＴ（Ｑｕｉｃｋ Ｔｉｍｅ）等の各種の画像ファイル形式が利用可能である。
【００１８】
一方、視線検出部１４は、撮影者の眼球Ｐが、ファインダであるＬＣＤ２８の何処をみているか、すなわち、撮影時における撮影者の視線検出を行う部位であり、基本的に、赤外ＬＥＤ３６ａおよび３６ｂと、光分割器３８と、結像レンズ４０と、視線検出用のエリアＣＣＤセンサ４２（以下、視線ＣＣＤ４２とする）と、信号処理部４４と、視線検出部４８とを有して構成される。
【００１９】
赤外ＬＥＤ３６ａおよび３６ｂは、共に、赤外光を出射する公知のＬＥＤである。両者は、赤外光を撮影者の眼球Ｐに出射するように、結像レンズ４０の光軸ｆに対して、対称の位置に配置される。
光分割器３８は、可視光と、赤外光とを分割し、赤外光を結像レンズ４０に入射する部材である。図示例においては、可視光を透過し赤外線を反射するダイクロイックミラーを、光軸ｆに対して４５°傾けて反射面を眼球Ｐに向けて配置することにより、眼球Ｐに反射された赤外線を結像レンズ４０に入射する。
【００２０】
光分割器３８によって反射された赤外光は、結像レンズ４０によって、視線ＣＣＤ４２の受光面に結像される。視線ＣＣＤ４２は、赤外光に感度を有する単色のエリアＣＣＤセンサである。
図示例において、ＬＣＤ２８は、中央の画素を結像レンズ４０の光軸ｆの延長線と一致して、観察面をこの延長線に直交して配置される。また、視線ＣＣＤ４２も、中央の画素を結像レンズ４０の光軸ｆと一致して、受光面を光軸ｆに直交して配置される。さらに、ＬＣＤ２８と視線ＣＣＤ４２とは、画素の配列方向が光軸ｆに対して光学的に一致するように配置される。すなわち、カメラ１０のファインダであるＬＣＤ２８と、視線ＣＣＤ４２とは、光軸ｆに対して光学的に等価の位置に配置されている。
【００２１】
視線ＣＣＤ４２の出力信号は、信号処理部４４においてノイズ除去や暗時補正等の信号処理を施された後に、Ａ／Ｄ変換器４６においてＡ／Ｄ変換されてデジタル信号とされ、視線検出部４８に出力される。
視線検出部４８は、視線ＣＣＤ４２に読み取られた画像、すなわち赤外ＬＥＤ３６ａおよび３６ｂから出射され、撮影者の眼球Ｐで反射され、視線ＣＣＤ４２に結像した赤外光の画像を解析して、撮影者の視線を検出する部位である。
【００２２】
前述のように、赤外ＬＥＤ３６ａおよび３６ｂは、結像レンズ４０の光軸ｆに対して対称の位置に配置されている。
そのため、赤外ＬＥＤ３６ａから出射され眼球Ｐの角膜によって反射された赤外光の視線ＣＣＤ４２への入射位置、赤外ＬＥＤ３６ｂから出射され眼球Ｐの角膜によって反射された赤外光の視線ＣＣＤ４２への入射位置、ならびに、赤外ＬＥＤ３６ａおよび３６ｂから出射され眼球Ｐの虹彩の端部によって反射された赤外光の視線ＣＣＤ４２への入射位置は、眼球Ｐの中心線（眼球光軸）の角度変化すなわち視線によって変化する。また、前述のように、ＬＣＤ２８と、視線ＣＣＤ４２とは、光軸ｆに対して光学的に等価の位置に配置されている
従って、視線ＣＣＤ４２に投影された各特徴点（角膜および虹彩の投影光）の位置を検出、解析することにより、ファインダであるＬＣＤ２８における撮影者の視線を検出することができる。
【００２３】
このような視線検出方法に関しては、特開平５−３３３２５９号公報に詳述されている。
また、本発明において、カメラ１０における撮影者の視線検出の方法は、この方法に限定はされず、例えば、特開平８−１７９２２３号公報に開示される、赤外光源からの赤外光の光路と表示画像が観察者の眼球に至る光路とをダイクロイックミラーで一致させて、観察者の眼球に入射させ、これによる眼球の映像を受光素子に結像して、この画像を解析することにより視線を検出する方法や、特開平１−２７４７３６号公報に開示される、光源からの平行光束を観察者の眼球の前眼部に投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求める方法等、各種の方法が利用可能である。
【００２４】
前述のように、撮影ＣＣＤ１８によって撮影された画像は、所定の処理を施されてＭＰＥＧ形式の画像ファイルとしてデータ記録部３２に出力される。また、視線検出部４８による撮影者（眼球Ｐ）の視線検出結果も、データ記録部３２に出力される。
データ記録部３２は、ＭＰＥＧ形式の画像ファイルの１フレームと、そのフレームの撮影時における撮影者の視線の情報（以下、視線情報とする）とを対応付けして、記録媒体Ｍに記録する。
【００２５】
視線情報には、特に限定は無く、例えば、各フレーム毎の視線の位置を撮影画面上における座標位置で示す方法等、各種の方法が利用可能であるが、好ましい一例として、以下の方法が例示される。
図２に模式的に示すように、予め撮影画面を複数の小領域に分割して、視線検出部４８による視線の検出結果と、各小領域の位置（アドレス）との対応を取っておく。その上で、撮影された動画の各フレーム毎に、撮影者の視線が存在する小領域を検出して視線情報とし、両者を対応付けして、記録媒体Ｍに記録すればよい。
【００２６】
動画の画像データおよび視線情報の記録方法には、特に限定はなく、各種の方法が利用可能である。動画の画像データをＭＰＥＧ形式の画像ファイルとする図示例においては、好ましい一例として、ＭＰＥＧ形式のファイルフォーマットを利用して、画像ファイルおよび視線情報を記録する。
図３（Ａ）に、その一例の概念図を示す。
【００２７】
周知のように、ＭＰＥＧ形式の画像ファイルは、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、および、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ ）を組み合わせるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造を用いており、ＧＯＰデータとシーケンスヘッダとの繰り返しで構成されている。
１つのＧＯＰには、通常、０．５秒（１５フレーム）程度が記録されるので、図３（Ａ）に示されるように、シーケンスヘッダで区切られた１つのＧＯＰの区間内の例えばＧＯＰデータの後ろに、この区間に記録されている各フレームの視線情報を付加して、画像ファイルを構成すればよい。
【００２８】
また、これ以外にも、独立したファイルとして、動画の画像データと視線情報とを記録してもよい。
例えば、図３（Ｂ）に示されるように、１つの動画の画像ファイルについて、ファイル情報のファイルと、ＭＰＥＧ形式の動画のファイルと、視線情報のファイルを形成して、それぞれに対応するデータを記録して、画像ファイルを構成すればよい。
【００２９】
本発明において、カメラ１０は、動画と静止画の両方を記録できるデジタルビデオカメラであってもよい。この際において、動画と静止画の両者を記録媒体Ｍに記録する場合には、動画（フレーム）および静止画の両者について、対応付けした視線情報を記録する。
【００３０】
カメラ１０が情報を記録する記録媒体Ｍにも、特に限定はなく、デジタルのビデオカメラが動画を記録する各種の記録媒体が利用可能であり、例えば、ビデオテープ、ＤＶＤ（ＤＶＤ−ＲＡＭ，ＤＶＤ−ＲＷ）、ＣＤ（ＣＤ−Ｒ，ＣＤ−ＲＷ），ＩＣメモリ，ＨＤ（ハードディスク）等が例示される。
【００３１】
図４に、このような本発明のカメラ１０で撮影された画像を再生する、本発明の画像処理装置を利用する再生装置の一例の概念をブロック図で示す。
図４に示す再生装置５０は、カメラ１０によってＭＰＥＧ形式の画像ファイルと視線情報とが対応付けして記録された記録媒体Ｍ等、撮影画像の画像データと、この画像を撮影した撮影者の視線情報とが記録された記録媒体Ｍから、画像データおよび視線情報を読み出し、各種の処理を施して表示するものであり、基本的に、データ読込部５２、主要被写体判定部５４、表示制御部５６、および、表示部５８を有して構成される。
【００３２】
データ読込部５２は、記録媒体Ｍに応じたドライブ等を有して構成されるものであり、記録媒体Ｍから記録されたデータを読み込み、画像データ（図１のカメラであれば、ＭＰＥＧ形式の動画の画像データ）と視線情報とを分別して、視線情報を主要被写体判定部５４に、画像データを主要被写体判定部５４および表示制御部５６に、それぞれ供給する部位である。
【００３３】
主要被写体判定部５４（以下、判定部５４とする）は、視線情報を用いて、画像の主要被写体を判定して、表示制御部５６に供給する部位である。
ビデオカメラ等による動画の撮影では、撮影者は、自身が取りたいと思う最も重要な被写体、すなわち主要被写体を視線で追いかけ、これが最も好ましく写るようにするのが、通常である。従って、視線情報を利用することにより、主要被写体を正確に判定することができる。また、動画の主要被写体を判定することにより、後述するように、これを利用して各種の処理を効率よく行うことができ、動画の画像データを、有効に活用することができる。
【００３４】
判定部５４においては、まず、画像中から主要被写体の候補を抽出する。
主要被写体候補の抽出方法には特に限定はなく、各種の方法が利用可能であるが、データ量を低減できる方法として、輪郭線を利用する方法が例示され、例えば、特開平５−３０７５３７号公報に開示される方法が例示される。この方法では、画像の注目点を設定して、この注目点を中心とする所定方向への線分を検出して、検出された線分から、前記所定方向と略一致方向に高連続性線分や高強度線分を互いに協調させて強調すると共に、同低連続性線分や低強度線分を競合させて消去することにより、主要被写体候補の輪郭線を抽出する。
【００３５】
被写体候補の抽出方法としては、これ以外にも、特開平５−１５８１６４号公報に開示される、三原色の画像データから色相および彩度の二次元ヒストグラムを求め、このヒストグラムの特定の山頂に対応する断面を含み、かつ、色相および彩度軸を含む座標平面で二次元ヒストグラムを切断し、この断面に排他的膨張処理を施して、処理済断面の境界で各山を分割し、各画素を各山の群に分けることにより画像を分割して、分割された領域から１以上を被写体候補として選択する方法も利用可能である。
また、他にも、画素の連続性を用いて被写体候補を抽出する方法、同じ色が集合している画素を被写体候補として抽出する方法等、各種の被写体抽出方法が利用可能である。
【００３６】
このようにして主要被写体候補を抽出したら、判定部５４は、次いで、視線情報を用いて、撮影者の視線が追跡している候補を、主要被写体として判定し、この主要被写体の情報を、表示制御部５６に出力する。例えば、前述（図２）のように撮影画面を小領域に分割して、視線が存在する小領域によって視線情報とする場合であれば、輪郭抽出等によって求めた主要被写体候補が囲む小領域を求め、この中から、視線が追従する小領域を検出することで、主要被写体を判定すればよい。
前述のように、ビデオカメラ等による動画の撮影時には、撮影者は、視線で主要被写体を追いかけて撮影を行うのが通常であるので、視線情報を利用する本発明によれば、高精度に主要被写体を判定することができる。
【００３７】
ここで、図示例においては、カメラ１０では、記録媒体への視線情報の記録のみを行い、主要被写体の判定は、この視線情報を利用して再生装置５０で行っている。しかしながら、本発明は、これに限定はされず、データ処理速度等の点で可能であれば、視線情報と撮影した動画の画像データを用いて、カメラが主要被写体を判定し、各フレームの主要被写体情報を記録媒体Ｍに記録してもよい。
一例として、前述の視線検出結果より、視線が追跡している物体を主要被写体として、その輪郭を抽出し、この輪郭情報を主要被写体情報として、各フレームに対応付けして、例えば、前述したようにＭＰＥＧ形式の画像ファイル等の動画の画像データと共に記録媒体Ｍに記録する方法が例示される。なお、輪郭抽出は、前述の方法によればよい。
【００３８】
なお、このような主要被写体の判定において、前述の複数の主要被写体候補の中に、視線が追従する小領域がないフレーム（画像）は、「主要被写体が存在しない」という主要被写体情報としてもよい。
また、視線が画面中を頻繁に移動する（すなわち、視線が不安定）等によって、単位時間内（所定フレーム数）において判定された主要被写体が変動する場合には、同様に、このフレームには主要被写体が存在しないという主要被写体情報としてもよい。
さらに、所定フレーム数以上、連続的に同じ被写体が主要被写体と判定された場合にのみ、これを主要被写体と確定し、それ以外のフレームは、主要被写体が存在しないとしてもよい。
【００３９】
表示制御部５６は、判定部５４から供給された主要被写体情報を中心として、供給された画像データに処理を施し、また、表示部５８における画像表示に対応する画像データに変換して、表示部５８に動画を再生させる。なお、表示部５８は、ＬＣＤやＣＲＴ等の各種の表示手段が利用可能である。
ここで、主要被写体に応じた画像データの処理としては、一例として、主要被写体が最適な状態で再生できるように、画像の濃度や色バランスを調整する方法が例示され、例えば、主要被写体が人物である場合には、特に顔が美しい肌色となるように、画像濃度や色バランスを調整する方法が例示される。このような画像処理の方法は、マトリクス演算を利用する方法や、ＬＵＴ（ルックアップテーブル）を用いる方法等、公知の方法によればよい。
【００４０】
また、動画の再生時に、主要被写体が存在するシーンを重点再生するように、画像データを処理して表示部５８に供給する方法も好適である。
例えば、主要被写体であると特定できるものが存在するシーンは通常再生し、前記主要被写体無しと判定されたシーンのように、視線のバラツキ等によって主要被写体と特定できるものが無いシーンは、飛ばして（スキップして）もしくは早送りして、動画を再生するように処理を行う。
【００４１】
なお、図４に示される例では、表示部５８による動画の再生のみを例示したが、本発明を利用する再生装置では、動画の画像データを用いて、プリントを出力できるようにしてもよい。すなわち、本発明の再生装置においては、処理した画像データの画像をハードコピーとして再生できるようにしてもよい。
本発明を利用する再生装置は、図４に示されるような、動画（画像）の再生のみを行う装置でもよく、プリントの出力のみを行う装置でもよく、動画の再生とプリント出力の両方を行うことができる再生装置であってもよい。
【００４２】
プリンタには、特に限定はなく、各種のプリンタが全て利用可能である。
例えば、画像データに応じて変調した記録光で感光材料（印画紙）を像様露光して、所定の湿式の現像処理を施して出力するプリンタ、同様に像様露光された後に、水等の画像形成溶媒の存在下で受像媒体に画像を転写する感光材料（ドナー）を用いるプリンタ（富士写真フイルム社製 Ｐｉｃｔｒｏｓｔａｔ等）、インクジェットプリンタ、電子写真プリンタ等が例示される。
【００４３】
本例において、動画中の１シーンをプリントする場合には、例えば、先と同様に、主要被写体が最適な条件になるように、プリントを行う。
具体的には、プリントするシーン（フレーム）が指定されたら、先と同様に、判定部５４において、輪郭抽出等に、そのシーンの視線情報を組み合わせて主要被写体を判定する。次いで、表示制御部５６のようなプリント画像の処理部において、主要被写体が最適になるように画像処理を施して、さらに、プリンタに応じた画像データに変換してプリンタに出力し、プリント作成を行う。一例として、主要被写体が人物である場合には、特に顔が最適に仕上がるように画像処理を行えばよい。
【００４４】
なお、施す画像処理には、特に限定はなく、色／濃度補正、階調補正、彩度補正、シャープネス処理、覆い焼き処理（中間階調を維持したダイナミックレンジの圧縮／伸張）など、プリント（ハードコピー）作成において実施されている各種の画像処理が全て利用可能である。
また、これらの画像処理の方法も公知の方法でよく、判定した主要被写体に応じて、主要被写体が最適に仕上がるように、実施する画像処理の処理条件を設定すればよい。
【００４５】
以上の例は、主要被写体の情報を利用することにより、これを中心にした画像の再生を行うものであるが、本発明によれば、これ以外にも、主要被写体の情報を利用して各種の処理を行うことにより、動画の画像データの整理や編集も、効率よく行うことができる。
図５に、本発明の画像処理装置の一例の概念をブロック図で示す。
【００４６】
図５に示される画像処理装置６０（以下、処理装置６０とする）は、前述の再生装置５０と同様、カメラ１０によってＭＰＥＧ形式の画像ファイルと視線情報とが対応付けされて記録された記録媒体Ｍ等、撮影画像の画像データと視線情報とが記録された記録媒体Ｍから、画像データおよび視線情報を読み出し、各種の処理を施すものであり、基本的に、データ入出力部６２、（主要被写体）判定部５４、表示制御部５６、表示装置５８、データベース６４、および、編集部６６を有して構成される。
なお、図示例の処理装置６０において、判定部５４、表示制御部５６および表示装置５８、ならびに、記録媒体Ｍから読み込んだ画像の表示に関しては、基本的に、前述の再生装置５０と同様のものであるので、同じ部位には同じ符号を付し、説明は異なる部位を主に行う。
【００４７】
データ入出力部６２は、前述の再生装置５０のデータ読込部５２と同様に記録媒体Ｍからの画像データおよび視線データの読込み、および供給を行うと共に、判定部５４や編集部６６から供給された各種の情報を記録媒体Ｍに書込みするもので、同様に、記録媒体Ｍに対応するドライブ等を有して構成される。
また、処理装置６０においては、データ入出力部６２が読み込んだ画像データは、判定部５４および表示制御部５６のみならず、必要に応じて、編集部６６にも供給する。
【００４８】
処理装置６０においては、判定部５４は、主要被写体の判定結果を、表示制御部５６のみならず、必要に応じて、データ入出力部６２（書込み）、データベース６４、および編集装置６６にも供給する。
さらに、処理装置６０においては、判定部５４は主要被写体の判定結果、例えば、主要被写体情報（主要被写体無しも含む）や、後述するデータベース６４から取得した主要被写体の氏名や属性等をデータ入出力部６２に供給して、記録媒体Ｍに記録するようにしてもよい。これにより、これ以降の記録媒体Ｍからの動画の検索や各種の処理等を、より容易に行うことができる。
【００４９】
データベース６４は、被写体に関する情報等を登録しておき、データ入出力部６２や編集部６６における情報の書込み等に利用するためのものである。
例えば、データベース６４に、家族の顔など、カメラ１０で撮影される可能性を有する人物を登録しておき、主要被写体を判定した判定部５４が、データベース６４に登録されている情報と比較して、主要被写体が誰であるかを特定することが例示される。
【００５０】
また、データベース６４に、撮影者の撮影履歴を記録しておき、これから主要被写体の情報を得るようにしてもよい。
例えば、撮影者の撮影履歴から、この撮影者に関係する被写体の情報をデータベースから取得し、判定部５４で、判定した主要被写体に関する情報を選択し、また、各情報を表示部５８に表示させて、処理装置６０の使用者が所望する情報を選択できるようにする。
【００５１】
なお、撮影履歴としては、時間、ＧＰＳ等を用いた位置情報、山、車、建物、花のような具体的な対象等が例示される。例えば、旅行の際の位置情報を用いて被写体を推定することができる。また、具体的な対象を用いる場合には、類似形を表示して、該当するものを指定していく事により、同じ種類の被写体を集約され、被写体情報として利用できる。
撮影者の判定は、公知の方法で処理装置６０に入力指示すればよい。
【００５２】
この際においては、虹彩を利用して撮影者を特定し、撮影者が誰であるかの情報をデータベース６４を利用して取得してもよい。
例えば、前述のカメラ１０に、ファインダであるＬＣＤ２８を観察する撮影者の虹彩を読み取る機能を付加し、画像データおよび視線情報等と共に、虹彩の情報も記録媒体Ｍに記録する。一方で、データベース６４には、虹彩情報と撮影者の情報とを対応付けして、記憶しておく。これにより、記録媒体Ｍの動画を撮影した撮影者を特定できる。
【００５３】
データベース６４を利用して特定した主要被写体や、データベース６４から取得した主要被写体や撮影者に関する情報等は、例えば、データ入出力部６２に供給されて、記録媒体Ｍに記録された対応する動画の画像データに付加され、また、編集部６６に供給され、編集した動画の画像データに付加される。
さらに、判定部５４が判定した主要被写体がデータベース６４に登録されていない場合には、この主要被写体を画像データの属性等と共にデータベース６４に登録して、今後の情報の検索等に利用するようにしてもよい。
【００５４】
このような処理装置６０において、データベースは、撮影者毎に構築しておいて、撮影者に応じて、使用するデータベースを切り換えてもよい。
データベースを切り換えるための撮影者の判別は、公知の方法で処理装置６０の利用者が入力指示できるようにしてもよく、また、前述の撮影者の虹彩の情報を用いて自動選択するようにしてもよい。
【００５５】
編集部６６は、判定部５４による主要被写体の判定結果に応じて、必要によりデータベース６４に記録される各種の情報を利用して、データ入出力部６２が記録媒体Ｍから読み込んだ画像データを編集する部位である。
例えば、前述のように、動画の画像データから、主要被写体を特定できるシーンのみ（あるいはさらに、その前後の所定数フレーム）を抽出して、これを１つの動画の画像データに編集してもよい。また、同じ主要被写体が存在する複数の動画から同じ主要被写体が存在するシーンをまとめて、一つの動画の画像データに編集してもよい。さらに、前述のようにして、データベース６４から主要被写体の情報や撮影者の情報を取得して、動画中に、これらの情報を字幕やイラストで組み込んでもよい。
【００５６】
このように編集した動画の画像データは、データ入出力部６２に供給して画像データを読み出した記録媒体Ｍや別の記録媒体Ｍの空領域に記録してもよく、あるいは、編集部６６が各種の記録媒体やコンピュータ等に出力してもよく、さらに、表示制御部５６に供給して、表示部５８で動画を再生してもよい。
【００５７】
また、動画の画像データの整理や保管を好適に行うために、インデックス画像を決定して、例えば、動画の画像データに付して、すぐに見られるようにしておく方法が例示される。
動画の画像データのインデックス画像には、通常、先頭のフレーム（先頭の画像）が用いられる。しかしながら、動画では、先頭フレームは偶然に撮影された画像である場合も多く、インデックス画像としては適当では無い場合も多い。
それに対し、本発明によれば、判定部５４による主要被写体情報を利用して、動画の中から、主要被写体と特定できる被写体が最初に現れたフレームや、主要被写体が最も大きく写っているフレームを選択することにより、容易かつ迅速に、その動画を的確に示すインデックス画像を決定できる。
【００５８】
処理装置６０においては、このようなインデックス画像の決定を、例えば、編集部６６で行えばよく、データ入出力部６２から供給された画像データ、および、判定部５４から供給された主要被写体の情報から、前述のようにインデックス画像を決定し、そのフレームの画像データを抽出する（もしくは、所定サイズの画像データを生成してもよい）。
インデックス画像の画像データは、データ入出力６２に供給して、記録媒体Ｍのインデックス画像の記録領域に記録させてもよく、編集部６６が情報を記録する記録媒体のインデックス画像の記録領域に記録させてもよく、表示制御部５６に供給してインデックス画像を表示させてもよく、さらに、図示しないプリンタによってインデックスプリントを出力させてもよい。
これにより、動画の整理や保管管理を、容易かつ適正に行うことができる。
【００５９】
なお、このような動画の画像データの編集やインデックス画像の決定は、前述の図４に示される再生装置５０でも、好適に利用可能であるのは、もちろんのことである。
【００６０】
以上の説明より明らかなように、本発明によれば、記録媒体に画像データと視線情報を利用して、主要被写体を判定し、あるいはさらに、記録媒体に画像データと主要被写体情報とを記録することにより、主要被写体が存在する見たいシーンの検出、主要被写体を中心とした画像の再生や編集、主要被写体を中心とした画像処理、主要被写体を利用するインデックス画像の決定等、重要なシーンを中心とした動画（画像データ）の編集や再生、画像データの保管／管理、プリント作成等を効率よく行うことができ、すなわち、貴重な画像データを十分に活用することができる。
【００６１】
以上の例は、本発明を動画の画像データに利用した例であるが、本発明は、これに例示はされず、静止画にも好適に利用可能である。この際には、同様に、撮影時の撮影者の視線を検出して画像ファイルのヘッダに視線情報を記録して、後に画像データと視線情報から主要被写体を判定してもよく、あるいは、視線情報から主要被写体を検出して、主要被写体情報を画像ファイルのヘッダに視線情報を記録してもよい。
このようにして、静止画から主要被写体を検出することにより、特に、データベース６４に登録した各種の情報を、主要被写体情報を用いて読み出し、主要被写体の氏名等を情報を画像データ（画像ファイル）に付加できるので、静止画の画像データの整理や、保管／管理等も好適に行うことができる。
【００６２】
以上、本発明の撮像装置、主要被写体判定装置、および画像処理装置について、詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんのことである。
【００６３】
【発明の効果】
以上、詳細に説明したように、本発明によれば、動画や静止画の画像データについて、主要被写体を中心として、見たいシーンの検出、画像の再生や編集、画像処理、インデックス画像の決定等を行うことができ、重要なシーンを中心とした画像データの編集や再生、画像データの保管／管理、プリント作成等を効率よく行うことができ、すなわち、貴重な画像データを十分に活用できる。
【図面の簡単な説明】
【図１】本発明の撮像装置（カメラ）の一例を概念的に示すブロック図である。
【図２】本発明の主要被写体検出方法を説明するための概念図である。
【図３】（Ａ）および（Ｂ）は、図１に示される撮像装置による動画の画像データの記録方法の一例を説明するための概念図である。
【図４】本発明の画像処理装置を利用する再生装置の一例を概念的に示すブロック図である。
【図５】本発明の画像処理装置を利用する処理システムの一例を概念的に示すブロック図である。
【符号の説明】
１０ カメラ
１２ 撮影部
１４ 視線検出部
１６ 結像レンズ
１８ 撮影ＣＣＤ
２０，４４ 信号処理部
２２，４６ Ａ／Ｄ変換器
２６，５６ 表示制御部
２８ ＬＣＤ（液晶ディスプレイ）
３０ 圧縮処理部
３２ データ記録部
３６（３６ａ，３６ｂ） 赤外ＬＥＤ
３８ 光分割器
４０ 結像レンズ
４２ 視線ＣＣＤ
４８ 視線検出部
５０ 再生装置
５２ データ読込部
５４ （主要被写体）判定部
５８ 表示部
６０ 処理装置
６２ データ入出力部
６４ データベース
６６ 編集部
Claims (4)
- 固体撮像素子と、
前記固体撮像素子による撮影シーンを確認するための確認手段と、
前記確認手段における撮影者の視線を検出する視線検出手段と、
前記固体撮像素子によって撮影された動画の画像の画像データ、および、この動画が撮影された際に前記視線検出手段によって検出された視線の情報もしくはこの視線情報から検出された主要被写体の情報を、対応付けして記録媒体に記録する記録手段とを有することを特徴とする撮像装置。 - 固体撮像素子と、
前記固体撮像素子による撮影シーンを確認するための確認手段と、
前記確認手段における撮影者の視線を検出する視線検出手段と、
前記固体撮像素子によって撮影された動画の画像の画像データ、および、この動画が撮影された際に前記視線検出手段によって検出された視線の情報とから、撮影された動画の主要被写体を検出する検出手段とを有することを特徴とする主要被写体判定装置。 - 光電的に撮影された画像の画像データ、および、この画像を撮影した際の撮影シーンの確認手段における撮影者の視線情報を取得する取得手段と、
前記取得手段が取得した画像データおよび視線情報を用いて、前記取得手段が取得した画像データが担持する画像から主要被写体を判定する判定手段とを有することを特徴とする画像処理装置。 - 光電的に撮影された画像の画像データ、および、この画像データの画像の主要被写体情報を用いて、前記画像データから主要被写体が存在する画像を抽出する抽出手段と、
抽出した主要被写体を中心に、前記画像データに処理を施す画像処理手段とを有することを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159118A JP2004007158A (ja) | 2002-05-31 | 2002-05-31 | 撮像装置および主要被写体判定装置ならびに画像処理装置 |
| US10/449,508 US20030223006A1 (en) | 2002-05-31 | 2003-06-02 | Image pickup apparatus, main subject determination apparatus and image processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159118A JP2004007158A (ja) | 2002-05-31 | 2002-05-31 | 撮像装置および主要被写体判定装置ならびに画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004007158A true JP2004007158A (ja) | 2004-01-08 |
Family
ID=29561566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002159118A Pending JP2004007158A (ja) | 2002-05-31 | 2002-05-31 | 撮像装置および主要被写体判定装置ならびに画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030223006A1 (ja) |
| JP (1) | JP2004007158A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010104061A (ja) * | 2010-02-05 | 2010-05-06 | Nikon Corp | 電子カメラおよび画像処理装置 |
| US8306280B2 (en) | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
| WO2012153868A1 (ja) * | 2011-05-12 | 2012-11-15 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| JP2016018085A (ja) * | 2014-07-08 | 2016-02-01 | 富士通株式会社 | 画像表示制御装置、画像表示制御方法、及び画像表示制御プログラム |
| JP2018036706A (ja) * | 2016-08-29 | 2018-03-08 | コニカミノルタ株式会社 | 情報処理装置、情報処理方法及び印刷システム |
| JP2018207415A (ja) * | 2017-06-09 | 2018-12-27 | キヤノン株式会社 | 視線検出機能を備える撮像装置 |
| JP2019501720A (ja) * | 2015-12-31 | 2019-01-24 | ミラメトリックス インコーポレイテッド | 視線追跡のためのシステムおよび装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050134719A1 (en) * | 2003-12-23 | 2005-06-23 | Eastman Kodak Company | Display device with automatic area of importance display |
| US8059894B1 (en) | 2006-12-19 | 2011-11-15 | Playvision Technologies, Inc. | System and associated methods of calibration and use for an interactive imaging environment |
| JP5634111B2 (ja) * | 2010-04-28 | 2014-12-03 | キヤノン株式会社 | 映像編集装置、映像編集方法及びプログラム |
| JP2015023512A (ja) * | 2013-07-22 | 2015-02-02 | オリンパスイメージング株式会社 | 撮影装置、撮影方法及び撮影装置の撮影プログラム |
| US9525817B2 (en) * | 2013-11-22 | 2016-12-20 | Samsung Electro-Mechanics Co., Ltd. | System and method of controlling imaging direction and angle of view of camera |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6118484A (en) * | 1992-05-22 | 2000-09-12 | Canon Kabushiki Kaisha | Imaging apparatus |
| KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
| JP3297504B2 (ja) * | 1993-07-30 | 2002-07-02 | キヤノン株式会社 | 光学装置 |
| JP3577733B2 (ja) * | 1994-02-15 | 2004-10-13 | ソニー株式会社 | 画像記録装置 |
| US6396540B1 (en) * | 1995-09-20 | 2002-05-28 | Canon Kabushiki Kaisha | Video camera system with interchangeable lens assembly |
| JPH10178619A (ja) * | 1996-12-19 | 1998-06-30 | Nikon Corp | 画像再生装置および電子カメラ |
| US7145597B1 (en) * | 1999-10-28 | 2006-12-05 | Fuji Photo Film Co., Ltd. | Method and apparatus for image processing |
| WO2001076252A2 (en) * | 2000-04-05 | 2001-10-11 | Sony United Kingdom Limited | Audio and/or video generation apparatus and method of generating audio and/or video signals |
-
2002
- 2002-05-31 JP JP2002159118A patent/JP2004007158A/ja active Pending
-
2003
- 2003-06-02 US US10/449,508 patent/US20030223006A1/en not_active Abandoned
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306280B2 (en) | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
| US9485415B2 (en) | 2006-04-11 | 2016-11-01 | Nikon Corporation | Electronic camera and image processing apparatus |
| JP2010104061A (ja) * | 2010-02-05 | 2010-05-06 | Nikon Corp | 電子カメラおよび画像処理装置 |
| WO2012153868A1 (ja) * | 2011-05-12 | 2012-11-15 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| JP2016018085A (ja) * | 2014-07-08 | 2016-02-01 | 富士通株式会社 | 画像表示制御装置、画像表示制御方法、及び画像表示制御プログラム |
| JP2019501720A (ja) * | 2015-12-31 | 2019-01-24 | ミラメトリックス インコーポレイテッド | 視線追跡のためのシステムおよび装置 |
| US10984236B2 (en) | 2015-12-31 | 2021-04-20 | Mirametrix Inc. | System and apparatus for gaze tracking |
| JP7053469B2 (ja) | 2015-12-31 | 2022-04-12 | ミラメトリックス インコーポレイテッド | 視線追跡のためのシステムおよび装置 |
| JP2018036706A (ja) * | 2016-08-29 | 2018-03-08 | コニカミノルタ株式会社 | 情報処理装置、情報処理方法及び印刷システム |
| JP2018207415A (ja) * | 2017-06-09 | 2018-12-27 | キヤノン株式会社 | 視線検出機能を備える撮像装置 |
| JP7030427B2 (ja) | 2017-06-09 | 2022-03-07 | キヤノン株式会社 | 視線検出機能を備える撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030223006A1 (en) | 2003-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4746295B2 (ja) | デジタルカメラおよび撮影方法 | |
| US7701626B2 (en) | Image print system for printing a picture from an additional information affixed image file | |
| US20100302595A1 (en) | Image Reproducing Apparatus And Imaging Apparatus | |
| JP4277309B2 (ja) | デジタルカメラ | |
| CN101263706A (zh) | 摄像装置、记录方法 | |
| KR20070102404A (ko) | 화상 표시 제어 장치, 그 제어 방법 및 그 제어 프로그램 | |
| JP2004007158A (ja) | 撮像装置および主要被写体判定装置ならびに画像処理装置 | |
| JP2009077026A (ja) | 撮影装置および方法並びにプログラム | |
| US20020140827A1 (en) | Image processing apparatus and image reproducing apparatus | |
| JP3973462B2 (ja) | 画像撮影方法 | |
| US20060290788A1 (en) | Image capturing apparatus, control method and program therefor | |
| JP3649468B2 (ja) | 撮影機能付き電子アルバムシステム | |
| JP2004247983A (ja) | 撮影装置及び画像処理装置並びに画像処理プログラム | |
| JP5369776B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| JPH0630373A (ja) | 特殊効果機能を持つ電子スチルカメラおよび再生装置 | |
| JP2010028407A (ja) | 映像記録装置及び映像記録方法、並びにコンピュータ・プログラム | |
| JP2013121097A (ja) | 撮像装置及び方法、並びに画像生成装置及び方法、プログラム | |
| JP2010219607A (ja) | ターゲットフレーム抽出装置、撮像装置およびデジタルカメラ | |
| JP4636024B2 (ja) | 撮像装置 | |
| JP2006345503A (ja) | 撮像装置、撮像方法、画像処理装置、画像処理方法、及びプログラム | |
| JP2009089046A (ja) | 画像データ処理方法及び撮影装置 | |
| JP2006086801A (ja) | デジタルカメラ及び記録プログラム | |
| JP3426997B2 (ja) | 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体 | |
| JP5200959B2 (ja) | デジタルカメラ | |
| JP2008113310A (ja) | 撮像装置、撮像方法、画像管理装置、画像管理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070410 |