JP2011015256A - 撮像装置、および画像処理方法、並びにプログラム - Google Patents
撮像装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011015256A JP2011015256A JP2009158570A JP2009158570A JP2011015256A JP 2011015256 A JP2011015256 A JP 2011015256A JP 2009158570 A JP2009158570 A JP 2009158570A JP 2009158570 A JP2009158570 A JP 2009158570A JP 2011015256 A JP2011015256 A JP 2011015256A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- highlight scene
- subject distance
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
【解決手段】複数視点からの撮影画像を記録する撮像装置において、各視点対応の撮像部において計測した被写体距離情報を撮影画像の属性情報として記録する。またハイライトシーン選択処理に際して、複数の撮像部からの被写体距離情報を適用して被写体が撮影画像の中央部に位置するか否かを判定し、中央部に位置すると判定された場合にハイライトシーンとして選択する。また、被写体が近づいているか否かを判定し、近づいている場合にハイライトシーンとして選択する。本構成によれば立体(3D)画像表示に最適なハイライトシーン選択が実現される。
【選択図】図5
Description
複数視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行う記録制御部と、
前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行う画像選択制御部を有し、
前記画像選択制御部は、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行う構成である撮像装置にある。
撮像装置において実行する画像処理方法であり、
撮像部が、複数視点からの画像を撮影する撮像ステップと、
記録制御部が、前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行う記録制御ステップと、
画像選択制御部が、前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行う画像選択制御ステップを有し、
前記画像選択制御ステップは、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行うステップである画像処理方法にある。
撮像装置において画像処理を実行させるプログラムであり、
撮像部に、複数視点からの画像を撮影させる撮像ステップと、
記録制御部に、前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行わせる記録制御ステップと、
画像選択制御部に、前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行わせる画像選択制御ステップを有し、
前記画像選択制御ステップは、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行わせるステップであるプログラムにある。
1.撮像装置の構成例について
2.被写体距離に基づくハイライトシーン抽出処理について
3.ハイライトシーン選択情報の記録構成例について
3−a.クリップ情報ファイルに対するハイライトシーン選択情報の記録例
3−b.プレイリストファイルに対するハイライトシーン選択情報の記録例
4.ハイライトシーン選択情報として利用するその他の情報例について
5.多眼構成の撮像装置の場合の被写体距離情報の取得とハイライトシーン選択の例について
まず、本発明の一実施例に係る撮像装置の構成例について図1以下を参照して説明する。
前述したように、本発明の撮像装置100は、複数の撮像部151,152の焦点距離として計測される被写体距離情報を、各撮影画像の属性情報として画像に併せて記録する。なお、被写体距離の計測は、予め規定された所定のサンプリング間隔で実行される。図3を参照して被写体距離の計測処理例について説明する。
これらの被写体距離情報を用いて、ハイライトシーンの自動抽出処理を行う。
「被写体距離Lと被写体距離Rの差が小さいこと」
である。この条件を満足する画像は、被写体が画面の中央に位置すると判断してハイライトシーンとして抽出するものである。
(1)NGシーン
(2)ハイライトシーン
(3)NGシーン
これらの3種類の画像フレームを示している。
被写体距離L<被写体距離R
となり、ハイライトシーンの画像として選択しない。
(3)NGシーンは、被写体が画面右端に位置している。この場合、
被写体距離L>被写体距離R
となり、ハイライトシーンの画像として選択しない。
(2)ハイライトシーンは、被写体が画面中央に位置している。この場合、
被写体距離L≒被写体距離R
となり、ハイライトシーンの画像として選択する。
|被写体距離L−被写体距離R|<閾値
上記式を満足する場合に、その画像フレームをハイライトシーンとして選択する処理を行うことが可能である。
(1a)被写体距離L<被写体距離R
(1b)被写体距離L≒被写体距離R
(1c)被写体距離L>被写体距離R
これら3パターンである。
|被写体距離L|>|被写体距離R|−ΔD2:画面中央に被写体がある(=(1b))と判断し、ハイライトシーンとして選択
|被写体距離L|<|被写体距離R|−ΔD2:画面左寄りに被写体がある(=(1a))と判断しNG、ハイライトシーンとして選択しない
|被写体距離R|>|被写体距離L|−ΔD2:画面中央に被写体がある(=(1b))と判断し、ハイライトシーンとして選択
|被写体距離R|<|被写体距離L|−ΔD2:画面右寄りに被写体がある(=(1c))と判断しNG、ハイライトシーンとして選択しない
このような判定処理によってハイライトシーン選択を実行する。
「被写体が画面中央を近づいてくること」
である。この条件を満足する画像は、被写体が次第に撮像装置に向かって近づいていることを示し、撮影者が注目していると判断してハイライトシーンとして抽出するものである。
(1)ハイライトシーン(近づく被写体)
(2)NGシーン(遠ざかる被写体)
これらの動画像フレームの例を示している。
それぞれ上からフレームf01〜f03であり、時間経過に従ったフレームを示している。
選択基準1:被写体距離L/Rの差が小さい場合(規定閾値ΔD2より小さい)、被写体が画面中央であると判断してハイライトシーンとする
選択基準2:被写体が画面中央を近づいてくるシーンをハイライトシーンとする
選択基準3:被写体が中央にある時間が、t秒以上続く場合に、そこから5秒をハイライトシーンとする。
選択基準4:被写体距離が予め規定した閾値ΔD1より小さい場合、そこを中心に前後5秒をハイライトシーンとする。
選択基準5:被写体距離が大きく変化したら、そこから5秒をハイライトシーンとする。
ストリームファイル(STREAM)は、再生対象となる動画像データを格納したファイルである。MPEGデータとして格納されている。
ムービーオブジェクトファイル(MOVIEOBJ.BDM)は、タイトル対応の再生プログラムであり、再生に適用するプレイリストを管理している。
図8に示すフローチャートの各ステップの処理について説明する。
タイムオフセット
被写体距離L、
被写体距離R、
これらの情報が記録されている。
タイムオフセットはクリップ情報ファイルに規定されるクリップのプレゼンテーションタイムスタートタイムからのオフセット時間である。[TIME_OFFSET]フィールドに記録される。この情報については、後段で説明する。
被写体距離Lは、第1撮像部(L)151の焦点距離に対応する被写体距離情報であり、[SUBJECTDISTANCE_L]フィールドに記録される。
被写体距離Rは、第2撮像部(R)152の焦点距離に対応する被写体距離情報であり、[SUBJECTDISTANCE_R]フィールドに記録される。
被写体距離L<ΔD1・・・(式1)
この式(式1)は、図7を参照して説明した選択基準4に対応するハイライトシーン選択基準の適用処理である。
上記式が成立する場合は、ステップS105に進む。上記式が成立しない場合は、ステップS109に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップS102に戻り、次の未処理インデックスの処理に移行する。
被写体距離R<ΔD1・・・(式2)
この式(式2)も、図7を参照して説明した選択基準4に対応するハイライトシーン選択基準の適用処理である。
|被写体距離L−被写体距離R|<ΔD2・・・(式3)
上記式(式3)が成立するか否かを判定する。
次に、図11に示すフローを参照して、図7に示す選択基準1と、選択基準2と選択基準4を適用してハイライトシーンの選択を実行した場合のシーケンスについて説明する。すなわち、図8に示すフローにさらに、図6を参照して説明したように、被写体が近づいている場合に、ハイライトシーンとする処理(選択基準2)を含めたものである。
ステップS203では、図10に示すメーカー用データ領域(MakerPrivateData)のハイライトシーン選択情報301に設定されたインデックス情報を取得する。ハイライトシーン選択情報301には、各画像に対するインデックス情報が設定され、各インデックスに対応して距離情報、すなわち、被写体距離L、被写体距離Rが記録されている。
被写体距離L<ΔD1・・・(式1)
この式(式1)は、図7を参照して説明した選択基準4に対応するハイライトシーン選択基準の適用処理である。
上記式が成立する場合は、ステップS206に進む。上記式が成立しない場合は、ステップS211に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップS212に進み、内部変数の更新処理を行う。すなわち、過去被写体距離(SUBJECTDISTANCE_PAST)=(被写体距離L+被写体距離R)/2として更新する。なお、被写体距離Lまたは被写体距離Rのいずれかが得られていない場合は、過去被写体距離(SUBJECTDISTANCE_PAST)=無限遠とする。さらに、ステップS203に戻り、次の未処理インデックスの処理に移行する。
被写体距離R<ΔD1・・・(式2)
この式(式2)も、図7を参照して説明した選択基準4に対応するハイライトシーン選択基準の適用処理である。
|被写体距離L−被写体距離R|<ΔD2・・・(式3)
上記式(式3)が成立するか否かを判定する。
(被写体距離L+被写体距離R)/2<過去被写体距離 ・・・(式4)
上記式は、被写体が画像フレームの進行(時間経過)に伴い、近づいていることを示す。すなわち図6(1)の近づく被写体シーンが得られていることを示す。
先に説明したように、ハイライトシーンの選択処理に適用する情報は、例えば図10に示すクリップ情報ファイルのメーカー用データ領域(MakerPrivateData)に記録される。しかし、ハイライトシーン選択情報は図10に示すようなクリップ情報ファイルに限らず、その他のファイルに記録する構成としてもよい。以下、
(a)クリップ情報ファイルに対するハイライトシーン選択情報の記録例
(b)プレイリストファイルに対するハイライトシーン選択情報の記録例
これらの記録例について説明する。
再度、図10を参照して、ハイライトシーン選択情報301の詳細について説明する。図10に示すように、ハイライトシーン選択情報301には、
タイムオフセット
被写体距離L、
被写体距離R、
これらの情報が記録される。
これらの情報は、画像に対応するインデックス番号ごとに個々に記録される。
これらの各インデックスは、図10に示すクリップ情報ファイルのメーカー用データ領域(MakerPrivateData)に記録されるハイライトシーン選択情報301中のインデックス番号に対応する。
被写体距離情報(被写体距離L、被写体距離R)等のハイライトシーン選択情報は、クリップ情報ファイルに限らず、その他のファイルに格納する設定としてもよい。図13以下を参照してプレイリストファイルにハイライトシーン選択情報を記録する例について説明する。
タイムオフセット
被写体距離L、
被写体距離R、
これらの情報が記録される。
これらの情報は、画像に対応するインデックス番号ごとに個々に記録される。
被写体距離Rは、第2撮像部(R)152の焦点距離に対応する被写体距離情報である。
ただし、本例において、タイムオフセットは、先のクリップ情報ファイルに対する記録例とは異なり、プレイアイテム(PlayItem)のインタイム(InTime)からのオフセット時間が記録される。
これらの各インデックスは、図14に示すプレイリストファイルのメーカー用データ領域(MakerPrivateData)に記録されるハイライトシーン選択情報302中のインデックス番号に対応する。
前述した実施例では、ハイライトシーン選択情報として、被写体距離情報、すなわち被写体距離Lと被写体距離Rを記録する構成について説明した、以下では、これらの被写体距離情報と異なる情報をハイライトシーン選択情報として記録する処理例について説明する。
a.被写体距離情報(被写体距離L、被写体距離R)
b.顔認識情報
c.GPS計測位置情報
これらの各情報をハイライトシーン選択情報として記録し利用する。
ハイライトシーン選択情報は、インデックス番号に応じて上記a〜cのいずれかまたは複数の情報が記録される。
タイムオフセット(TIME_OFFSET)
インデックスタイプ(INDEX_TYPE)、
インデックスメタ情報(INDEX_META)、
これらの情報を含む構成である。
また、ハイライトシーン選択情報の記録ファイルがプレイリストファイルである場合は、図14、図15を参照して説明したタイムオフセットと同様、プレイアイテム(PlayItem)のInTimeからのオフセット時間である。
インデックスタイプと、インデックスメタとの対応関係は以下の通りとなる。
インデックスタイプ=被写体距離
次のインデックスメタ情報フィールドに、被写体距離情報(被写体距離L、被写体距離R)を記録する。
インデックスタイプ=顔認識情報
次のインデックスメタ情報フィールドに、顔認識情報を記録する。
インデックスタイプ=GPS情報
次のインデックスメタ情報フィールドに、GPSユニットによって計測された撮像装置の位置情報を記録する。
インデックスタイプ=被写体距離
インデックスメタ=被写体距離情報(被写体距離L、被写体距離R)
インデックスタイプ=顔認識情報
インデックスメタ=顔認識情報
インデックスタイプ=GPS情報
インデックスメタ=GPS計測位置情報
このような順で各情報を記録する。
図17は、インデックスタイプ=被写体距離の場合のインデックスメタ情報の詳細と記録態様を説明する図である。インデックスタイプ=被写体距離の場合は、前述した実施例において説明したと同様の情報がインデックスメタ情報として記録される。
すなわち、
被写体距離L、
被写体距離R、
これらの情報が記録される。
被写体距離Lは、第1撮像部(L)151の焦点距離に対応する被写体距離情報であり、[SUBJECTDISTANCE_L]フィールドに記録される。
被写体距離Rは、第2撮像部(R)152の焦点距離に対応する被写体距離情報であり、[SUBJECTDISTANCE_R]フィールドに記録される。
このような設定で、有意義な顔認識情報のみをメタデータとして記録するといった処理を行う。
a.被写体距離情報(被写体距離L、被写体距離R)
b.顔認識情報
c.GPS計測位置情報
これらの各情報を記録する。
ハイライトシーンを選択する場合は、ユーザの指定に応じて、例えば顔が認識された画像をハイライトシーンとして選択する処理や、特定の位置において撮影された画像のみをハイライトシーンとして選択して表示するといった処理が行われる。
システム制御部156が、これらの各情報に応じてハイライトシーン選択処理を実行することになる。
例えば、図7を参照して説明した被写体距離情報を用いたハイライトシーン選択基準1〜5のいずれか、または複数の基準を満足し、かつ、顔が認識された画像のみをハイライトシーンとして選択するといった処理が可能である。
あるいは、図7を参照して説明した被写体距離情報を用いたハイライトシーン選択基準1〜5のいずれか、または複数の基準を満足し、かつ、特定の位置において撮影された画像のみをハイライトシーンとして選択するといった処理が可能である。
これまで、説明した実施例は2眼構成の場合について説明している。すなわち、図1、図2に示すように2つのレンズ101,102を備えた2つの撮像部151,152を有する構成例を中心として説明した。
(a)単眼構成
(b)2眼構成
(c)3眼構成
これらの構成を持つ撮像装置の距離計測ポイントの例を示している。
(a)単眼構成
(b)2眼構成
(c)3眼構成
これらの構成を持つ撮像装置の各距離計測ポイントにおける被写体距離情報Dnの例を示している。なおこの図21における距離Dnは、図に示す太線矢印に示す区間の距離であり、撮像装置511〜533の面からの垂直方向の距離である。
このような3つの被写体距離D1,D2,D3が得られた場合、のハイライトシーン選択基準は、たとえば以下の基準が適用できる。
D2<(D1+D3)/2
上記式を満足する場合、画面中央部の被写体距離が画面周囲の被写体距離より近いことを意味する。すなわち注目被写体が中央の近距離に位置することを意味している。このようなシーンをハイライトシーンとして選択する。
このような6つの被写体距離D1,D2,D3,D4,D5,D6が得られた場合、ハイライトシーン選択基準は、たとえば以下の基準が適用できる。
D2<(D1+D3+D4+D6)/4、かつ
D5<(D1+D3+D4+D6)/4
上記式が成立する場合、ハイライトシーンとして選択する。
この式を満足するのは、画面中央部(D2〜D5近傍)の被写体距離が画面周囲の被写体距離より近いことを意味する。すなわち注目被写体が中央の近距離に位置することを意味している。このようなシーンをハイライトシーンとして選択する。
このような9つの被写体距離D1,D2,D3,D4,D5,D6,D7,D8,D9が得られた場合、ハイライトシーン選択基準は、たとえば以下の基準が適用できる。
D2<(D1+D3+D4+D6+D7+D9)/6、かつ
D5<(D1+D3+D4+D6+D7+D9)/6、かつ
D8<(D1+D3+D4+D6+D7+D9)/6、かつ
上記式が成立する場合、ハイライトシーンとして選択する。
この式を満足するのは、画面中央部(D2〜D8近傍)の被写体距離が画面周囲の被写体距離より近いことを意味する。すなわち注目被写体が中央の近距離に位置することを意味している。このようなシーンをハイライトシーンとして選択する。
101,102 レンズ
103 シャッター
104 表示部
110 付加情報
151 第1撮像部(L)
152 第2撮像部(R)
153 撮像制御部
154 マイク
155 A/D
156 システム制御部
157 ユーザインタフェース
158 D/A
159 スピーカ
160 表示部
161 距離情報記録部
162 GPSユニット
163 動画像処理部
164 静止画像処理部
165 メモリ
166 記録媒体
167 外部記録媒体
301 ハイライトシーン選択情報
302 ハイライトシーン選択情報
511 撮像部
521,522 撮像部
531〜533 撮像部
Claims (10)
- 複数視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行う記録制御部と、
前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行う画像選択制御部を有し、
前記画像選択制御部は、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行う構成である撮像装置。 - 前記画像選択制御部は、
時系列の撮影画像の被写体距離を参照して被写体が時間経過に伴い撮像装置に近づく画像であるか否かを判定し、近づく画像をハイライトシーンとして選択する処理を行う請求項1に記載の撮像装置。 - 前記画像選択制御部は、
被写体が画像フレームの中央領域に位置すると判定した画像を含む連続する撮影画像によって構成される動画像をハイライトシーンとして選択する処理を行う請求項1または2に記載の撮像装置。 - 前記記録制御部は、
撮影された動画像の記録ファイルとして設定されるストリームファイルに対応する管理ファイルであるクリップ情報ファイル、または、再生リストを格納したであるプレイリストファイルのいずれかに前記被写体距離情報を記録する請求項1に記載の撮像装置。 - 前記記録制御部は、
前記被写体距離情報を、前記クリップ情報ファイルに記録する場合は前記被写体距離の計測された画像の位置を示すタイムオフセット情報として、クリップ情報ファイルに規定されるクリップのプレゼンテーションタイムスタートタイムからのオフセット時間を記録し、
前記被写体距離情報を、プレイリストファイルに記録する場合は前記被写体距離の計測された画像の位置を示すタイムオフセット情報として、プレイリストに含まれるプレイアイテムに対応して設定されるインタイム(InTime)からのオフセット時間を記録する請求項4に記載の撮像装置。 - 前記記録制御部は、
前記撮像部において撮影された画像に顔領域が含まれるか否かの顔認識情報を前記属性情報に含めて記録部に記録する処理を行い、
前記画像選択制御部は、
前記属性情報に含まれる顔認識情報を参照して、顔認識がなされた画像を前記ハイライトシーンとして選択する処理を行う構成である請求項1に記載の撮像装置。 - 前記記録制御部は、
前記撮像部において撮影された画像の撮影位置を示すGPS情報を前記属性情報に含めて記録部に記録する処理を行い、
前記属性情報に含まれるGPS情報を参照して、特定位置の撮影画像を前記ハイライトシーンとして選択する処理を行う構成である請求項1に記載の撮像装置。 - 前記複数の撮像部は3以上の撮像部によって構成され、
前記記録制御部は、
前記3以上の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行い、
前記画像選択制御部は、前記属性情報に含まれる前記3以上の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行う請求項1に記載の撮像装置。 - 撮像装置において実行する画像処理方法であり、
撮像部が、複数視点からの画像を撮影する撮像ステップと、
記録制御部が、前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行う記録制御ステップと、
画像選択制御部が、前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行う画像選択制御ステップを有し、
前記画像選択制御ステップは、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行うステップである画像処理方法。 - 撮像装置において画像処理を実行させるプログラムであり、
撮像部に、複数視点からの画像を撮影させる撮像ステップと、
記録制御部に、前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行わせる記録制御ステップと、
画像選択制御部に、前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行わせる画像選択制御ステップを有し、
前記画像選択制御ステップは、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行わせるステップであるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009158570A JP5531467B2 (ja) | 2009-07-03 | 2009-07-03 | 撮像装置、および画像処理方法、並びにプログラム |
US12/802,433 US20110001800A1 (en) | 2009-07-03 | 2010-06-07 | Image capturing apparatus, image processing method and program |
CN201010218371.9A CN101945212B (zh) | 2009-07-03 | 2010-06-28 | 图像捕获设备、图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009158570A JP5531467B2 (ja) | 2009-07-03 | 2009-07-03 | 撮像装置、および画像処理方法、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011015256A true JP2011015256A (ja) | 2011-01-20 |
JP2011015256A5 JP2011015256A5 (ja) | 2012-07-26 |
JP5531467B2 JP5531467B2 (ja) | 2014-06-25 |
Family
ID=43412413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009158570A Expired - Fee Related JP5531467B2 (ja) | 2009-07-03 | 2009-07-03 | 撮像装置、および画像処理方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110001800A1 (ja) |
JP (1) | JP5531467B2 (ja) |
CN (1) | CN101945212B (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259199A (ja) * | 2010-06-09 | 2011-12-22 | Nec Casio Mobile Communications Ltd | 画像表示装置及びプログラム |
WO2012115253A1 (ja) * | 2011-02-24 | 2012-08-30 | 京セラ株式会社 | 電子機器、画像表示方法及び画像表示プログラム |
JP2012175694A (ja) * | 2011-02-24 | 2012-09-10 | Kyocera Corp | 電子機器 |
WO2013186962A1 (ja) * | 2012-06-11 | 2013-12-19 | パナソニック株式会社 | 映像処理装置、撮影装置、およびプログラム |
US8866058B2 (en) | 2009-08-04 | 2014-10-21 | Northrop Grumman Litef Gmbh | Optical transceiver and method of operation thereof |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104508618B (zh) | 2012-05-09 | 2018-01-05 | 苹果公司 | 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面 |
AU2013259614B2 (en) | 2012-05-09 | 2016-08-25 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
US9317173B2 (en) * | 2012-11-02 | 2016-04-19 | Sony Corporation | Method and system for providing content based on location data |
WO2014105274A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for navigating user interface hierarchies |
US20150215530A1 (en) * | 2014-01-27 | 2015-07-30 | Microsoft Corporation | Universal capture |
US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
WO2016208788A1 (ko) * | 2015-06-26 | 2016-12-29 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
CN112839170B (zh) * | 2020-12-31 | 2022-07-05 | 上海米哈游天命科技有限公司 | 拍摄方法、装置、电子设备及存储介质 |
CN118264896A (zh) * | 2021-09-07 | 2024-06-28 | 荣耀终端有限公司 | 一种获取图像的方法及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040420A (ja) * | 1996-07-24 | 1998-02-13 | Sanyo Electric Co Ltd | 奥行き感制御方法 |
JP2005167310A (ja) * | 2003-11-28 | 2005-06-23 | Sharp Corp | 撮影装置 |
JP2007134771A (ja) * | 2005-11-08 | 2007-05-31 | Sony Corp | 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2008205758A (ja) * | 2007-02-20 | 2008-09-04 | Fujifilm Corp | 立体撮影装置および方法並びにプログラム |
JP2008236729A (ja) * | 2007-02-19 | 2008-10-02 | Victor Co Of Japan Ltd | ダイジェスト生成装置及びダイジェスト生成方法 |
JP2008263457A (ja) * | 2007-04-12 | 2008-10-30 | Sony Corp | 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム |
JP2008310187A (ja) * | 2007-06-15 | 2008-12-25 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925299B2 (ja) * | 2002-05-15 | 2007-06-06 | ソニー株式会社 | モニタリングシステムおよび方法 |
US7224831B2 (en) * | 2004-02-17 | 2007-05-29 | Honda Motor Co. | Method, apparatus and program for detecting an object |
US8650599B2 (en) * | 2004-03-29 | 2014-02-11 | Panasonic Corporation | Accumulation display device, interlocked display method and system |
JP4569561B2 (ja) * | 2006-12-01 | 2010-10-27 | 富士フイルム株式会社 | 画像ファイル作成装置 |
CN100591103C (zh) * | 2007-06-08 | 2010-02-17 | 华为技术有限公司 | 镜头分类方法、场景提取方法、摘要生成方法及装置 |
US20110110649A1 (en) * | 2008-06-19 | 2011-05-12 | Thomson Licensing | Adaptive video key frame selection |
-
2009
- 2009-07-03 JP JP2009158570A patent/JP5531467B2/ja not_active Expired - Fee Related
-
2010
- 2010-06-07 US US12/802,433 patent/US20110001800A1/en not_active Abandoned
- 2010-06-28 CN CN201010218371.9A patent/CN101945212B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040420A (ja) * | 1996-07-24 | 1998-02-13 | Sanyo Electric Co Ltd | 奥行き感制御方法 |
JP2005167310A (ja) * | 2003-11-28 | 2005-06-23 | Sharp Corp | 撮影装置 |
JP2007134771A (ja) * | 2005-11-08 | 2007-05-31 | Sony Corp | 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2008236729A (ja) * | 2007-02-19 | 2008-10-02 | Victor Co Of Japan Ltd | ダイジェスト生成装置及びダイジェスト生成方法 |
JP2008205758A (ja) * | 2007-02-20 | 2008-09-04 | Fujifilm Corp | 立体撮影装置および方法並びにプログラム |
JP2008263457A (ja) * | 2007-04-12 | 2008-10-30 | Sony Corp | 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム |
JP2008310187A (ja) * | 2007-06-15 | 2008-12-25 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8866058B2 (en) | 2009-08-04 | 2014-10-21 | Northrop Grumman Litef Gmbh | Optical transceiver and method of operation thereof |
JP2011259199A (ja) * | 2010-06-09 | 2011-12-22 | Nec Casio Mobile Communications Ltd | 画像表示装置及びプログラム |
WO2012115253A1 (ja) * | 2011-02-24 | 2012-08-30 | 京セラ株式会社 | 電子機器、画像表示方法及び画像表示プログラム |
JP2012175694A (ja) * | 2011-02-24 | 2012-09-10 | Kyocera Corp | 電子機器 |
US9432661B2 (en) | 2011-02-24 | 2016-08-30 | Kyocera Corporation | Electronic device, image display method, and image display program |
WO2013186962A1 (ja) * | 2012-06-11 | 2013-12-19 | パナソニック株式会社 | 映像処理装置、撮影装置、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN101945212A (zh) | 2011-01-12 |
US20110001800A1 (en) | 2011-01-06 |
JP5531467B2 (ja) | 2014-06-25 |
CN101945212B (zh) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5531467B2 (ja) | 撮像装置、および画像処理方法、並びにプログラム | |
JP5293463B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5249149B2 (ja) | 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム | |
CN102540689B (zh) | 摄像装置 | |
JP5371845B2 (ja) | 撮影装置及びその表示制御方法並びに3次元情報取得装置 | |
JP2008167065A (ja) | 画像管理方法 | |
JP5231771B2 (ja) | 立体画像撮影装置 | |
JP5614268B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
KR20150015286A (ko) | 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법 | |
US9521395B2 (en) | Imaging apparatus and method for controlling same | |
JP6323022B2 (ja) | 画像処理装置 | |
JP5322817B2 (ja) | 3次元画像撮像装置及び3次元画像表示方法 | |
WO2013111415A1 (ja) | 画像処理装置および画像処理方法 | |
JP2012156747A (ja) | 撮像装置、画像合成方法、及びプログラム | |
JP5864992B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP2013118459A (ja) | 撮像装置およびその制御方法 | |
JP5924943B2 (ja) | 撮像装置および撮像装置の制御方法 | |
WO2013005477A1 (ja) | 撮像装置、立体画像撮像方法及びプログラム | |
JP4833947B2 (ja) | 画像記録装置、画像編集装置及び画像記録方法 | |
JP2012094997A (ja) | 撮影機器 | |
JP2012175495A (ja) | ステレオ3d録画装置 | |
JP5911276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP6366793B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP4809295B2 (ja) | 画像記録装置及び画像記録方法 | |
JP6177305B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140407 |
|
LAPS | Cancellation because of no payment of annual fees |