JP2009004950A

JP2009004950A - 撮像装置および編集装置

Info

Publication number: JP2009004950A
Application number: JP2007162227A
Authority: JP
Inventors: Soichiro Yoshii; 創一郎吉井
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2007-06-20
Filing date: 2007-06-20
Publication date: 2009-01-08

Abstract

【課題】撮像装置で撮影した映像の不要なシーンを消去するための編集作業を容易にする。
【解決手段】合焦検出部８はカメラ映像処理部６より出力される映像信号から被写体に対する焦点ずれが発生しているか否かを検出し、輝度検出部９は映像信号の輝度を検出し、手ぶれ検出センサ１０は撮像装置１に生じる手ぶれ等による振動量を検出する。システム制御部１５は、合焦検出部８、輝度検出部９、手ぶれ検出センサ１０のそれぞれの検出結果を用いて映像信号における不要候補区間を決定し、不要候補区間の映像信号における位置を示す位置情報と、不要候補区間での映像信号の状態を示す関連情報とを生成し、生成した位置情報と関連情報と映像信号とを対応させて記録媒体７に記録する。
【選択図】図１

Description

本発明は、被写体像を撮像する撮像装置およびこの撮像装置で撮像した映像を編集する編集装置に関する。

ビデオカメラ等の撮像装置によって撮影を行う場合、撮影後に映像中の不要なシーンを消去することがある。この際、撮影した映像をくまなくチェックして不要なシーンを見つけ出してこれを消去する作業を行うとすると、作業が煩雑になり、長時間を要する。

そこで、撮影後の編集作業を容易にするため、種々の技術が提案されている。特許文献１には、ピントずれなどの不要な映像信号を検出したら、インデックスコードなどの識別信号を、映像信号とともに記録媒体に書込むことによって、撮影後の編集作業を容易にする技術が開示されている。

また、特許文献２には、ビデオカメラで撮影した映像を解析して撮影中のビデオカメラの移動を検出し、そのビデオカメラ移動の情報を用いて編集ポイントを決めることによって、編集作業を容易にする技術が開示されている。

また、特許文献３には、ビデオカメラのシャッタースイッチの押下をきっかけとして、映像データと、この映像データの代表画面等の関連情報とを記録媒体に記録しておくことにより、撮影後の編集作業を容易にする技術が開示されている。
特開平７−１４３３９４号公報特開２００２−８４４８８号公報特開平８−２９４０８０号公報

しかし、特許文献１に開示された技術では、消去すべき不要なシーンの検出方法が明確でなく、また、不要なシーンの位置を示す識別信号に、そのシーンについての詳細な情報が含まれていないため、本当に消去すべき映像か否かをユーザが判断するのが困難であった。

また、特許文献２，３に開示された技術では、不要なシーンを自動的に検出することができなかった。特に特許文献３では、編集の目安になる情報は得られるが、編集ポイントを的確に指定することができなかった。

本発明は上記に鑑みてなされたもので、撮影後の映像の不要なシーンを消去するための編集作業を容易にすることができる撮像装置および編集装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、被写体の撮影光を光電変換して映像信号を生成する撮像手段と、本装置に生じる振動量を検出する振動量検出手段と、前記撮像手段が有する撮像レンズが被写体に対する焦点ずれをおこしているか否かを検出する合焦検出手段と、前記撮像手段で生成された前記映像信号の輝度を検出する輝度検出手段と、前記振動量検出手段で検出された前記振動量が所定の振動量を超える状態が第１の所定時間以上継続した区間、および前記合焦検出手段で検出された焦点ずれが第２の所定時間以上継続した区間、および前記輝度検出手段で検出された前記輝度が所定の輝度範囲を超える状態が第３の所定時間以上継続した区間のうちの少なくとも１つを前記映像信号における不要候補区間として決定し、前記不要候補区間の先頭の前記映像信号における時刻と前記不要候補区間の継続時間とを含む位置情報を生成するとともに、前記不要候補区間において前記所定の振動量を超える手ぶれが発生したことを示す情報、および焦点ずれが発生したことを示す情報、および光量が過多または不足の状態であることを示す情報のうちの少なくとも１つを含む関連情報を生成する情報生成手段と、前記位置情報と前記関連情報と前記映像信号とを対応させて記録媒体に記録する記録手段とを備えることを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の撮像装置により前記記録媒体に記録された前記位置情報と前記関連情報と前記映像信号とを読み出す読み出し手段と、前記位置情報と前記関連情報と前記映像信号とを用いて、前記不要候補区間および前記不要候補区間以外の正常区間のそれぞれについて、その区間が手ぶれが発生した区間であることを示す情報、および焦点ずれが発生した区間であることを示す情報、および光量が過多または不足している区間であることを示す情報、および前記正常区間であることを示す情報のうちの少なくとも１つの情報と、その区間を代表する画像を縮小したサムネイル画像とを表示する編集用画面を生成する編集用画面生成手段と、外部から前記不要候補区間を選択して消去する指示が入力された場合、前記記録媒体に記録された前記映像信号から、選択された前記不要候補区間を消去する編集手段とを備えることを特徴とする。

本発明によれば、撮像装置に生じる振動量、被写体の焦点ずれ状態、および映像信号の輝度に基づいて映像信号における不要候補区間を決定し、不要候補区間の映像信号における位置を示す位置情報と、不要候補区間での映像信号の状態を示す関連情報とを、映像信号と対応させて記録媒体に記録するので、撮影後の映像の不要なシーンを容易に検索することができ、不要なシーンを消去するための編集作業を容易に行うことができる。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。

図１は本発明の実施の形態に係る撮像装置の構成を示すブロック図である。図１に示すように本実施の形態に係る撮像装置１は、レンズユニット２と、撮像素子５と、カメラ映像処理部６と、記録媒体７と、合焦検出部８と、輝度検出部９と、手ぶれ検出センサ１０と、フォーカス駆動部１１と、アイリス駆動部１２と、マイクロホン１３と、音声処理部１４と、システム制御部１５とを備える。

レンズユニット２は、被写体の撮影光を撮像素子５に結像させる。レンズユニット２は、焦点調整を行うためのフォーカシングレンズ（図示せず）を含む撮像レンズ３と、入射光量を調整するためのアイリス４とを備える。

撮像素子５は、ＣＣＤ（Charge Coupled Devices）等からなり、レンズユニット２を通して入射した撮影光を光電変換して電気信号を出力する。

カメラ映像処理部６は、撮像素子５からの電気信号を処理して映像信号を生成し、この映像信号をハードディスク、ＤＶＤ等からなる記録媒体７に記録する。

合焦検出部８は、カメラ映像処理部６より出力される映像信号中から、例えば高域成分を抽出することによって被写体の合焦状態を検出し、検出結果をシステム制御部１５に出力する。

輝度検出部９は、カメラ映像処理部６より出力される映像信号の輝度を検出し、検出結果をシステム制御部１５に出力する。

手ぶれ検出センサ１０は、ジャイロセンサ等により構成され、撮像装置１に生じる手ぶれ等による振動量を検出し、検出結果をシステム制御部１５に出力する。

フォーカス駆動部１１は、システム制御部１５からのフォーカス制御指示により、フォーカシングレンズを駆動する。アイリス駆動部１２は、システム制御部１５からのアイリス制御指示により、アイリス４を駆動する。

マイクロホン１３は、音声を収音して音声信号を出力する。音声処理部１４は、マイクロホン１３からの音声信号に必要な処理を施して記録媒体７に記録する。

システム制御部１５は、装置に設けられた各部を統括的に制御する。システム制御部１５は、合焦検出部８の検出結果に基づいて、フォーカス駆動部１１を駆動するためのフォーカス制御指示を出力する。また、システム制御部１５は、輝度検出部９の検出結果に基づいて、アイリス４を駆動するためのアイリス制御指示を出力する。

また、システム制御部１５は、撮像装置１に生じる手ぶれを補正するため、手ぶれ検出センサ１０の検出結果に基づいて、撮像素子５に結像した像を振動量だけずらして出力するように撮像素子５を制御する。

また、システム制御部１５は、合焦検出部８、輝度検出部９、手ぶれ検出センサ１０のそれぞれの検出結果に基づいて、映像信号における消去する区間の候補となる不要候補区間を決定し、一連の映像信号における不要候補区間の位置を示す位置情報と、不要候補区間での映像信号の状態を示す関連情報とを生成し、生成した位置情報と関連情報とを、映像信号と対応させて記録媒体７に記録する。

次に、本実施の形態に係る撮像装置１の動作ならびに不要候補区間の検出手順について説明する。

ビデオカメラ等の撮像装置によって撮影を行う場合、撮影後に映像中の不要なシーンを消去することがあるが、本実施の形態では、消去対象となる不要なシーンは以下（１）〜（３）の場合が多いことに着目した。

（１）手ぶれ状態が、所定時間以上連続したとき
（２）焦点がずれている状態が、所定時間以上連続したとき
（３）被写体が明るすぎ、または暗すぎて、アイリスの調整範囲を超えた状態が所定時間以上連続したとき
そこで、本実施の形態では、撮影時に上記（１）〜（３）の状態になったときに、その区間を不要候補区間として検出する。

撮影時において、撮像素子５は、レンズユニット２を通して入射した撮影光を電気信号に変換する。そして、カメラ映像処理部６は、撮像素子５からの電気信号を処理して映像信号を生成し、この映像信号を記録媒体７に記録するとともに、合焦検出部８および輝度検出部９に出力する。システム制御部１５は、合焦検出部８の検出結果に基づいてフォーカス駆動部１１を制御して焦点の調整を行い、輝度検出部９の検出結果に基づいてアイリス駆動部１２を制御して輝度の調整を行う。

手ぶれ検出センサ１０は、撮影時において撮像装置１に生じる手ぶれ等による振動量を検出し、検出結果をシステム制御部１５に出力する。システム制御部１５は、手ぶれ検出センサ１０の検出結果に基づいて、手ぶれを補正するように撮像素子５を制御する。

図２は図１に示す撮像装置１において不要候補区間を検出する手順を示すフローチャートである。

ステップＳ１０において、システム制御部１５は、手ぶれ検出センサ１０の検出結果に基づいて、撮像素子５で手ぶれ補正可能な所定の振動量を超える手ぶれ状態が所定の時間Ｔ_１（例えば２秒間）以上連続したか否かを判断する。所定の振動量を超える手ぶれ状態が時間Ｔ_１以上連続した場合（ステップＳ１０：ＹＥＳ）、ステップＳ２０に進み、所定の振動量を超える手ぶれ状態が時間Ｔ_１以上は連続しなかった場合（ステップＳ１０：ＮＯ）、ステップＳ３０に進む。

ステップＳ２０において、システム制御部１５は、手ぶれ検出センサ１０で検出された振動量が手ぶれ補正可能な所定の振動量を超える状態が時間Ｔ_１以上連続した区間を映像信号における不要候補区間として決定する。そして、システム制御部１５は、映像信号における不要候補区間の先頭の時刻と不要候補区間の継続時間とを含む位置情報と、不要候補区間において手ぶれ補正可能な所定の振動量を超える手ぶれが発生したことを示す関連情報とを生成し、生成した位置情報と関連情報とを、映像信号と対応させて記録媒体７に記録する。

ステップＳ３０において、システム制御部１５は、合焦検出部８の検出結果に基づいて、焦点ずれ状態が所定の時間Ｔ_２（例えば２秒間）以上連続したか否かを判断する。焦点ずれ状態が時間Ｔ_２以上連続した場合（ステップＳ３０：ＹＥＳ）、ステップＳ２０に進み、システム制御部１５は、焦点ずれ状態が時間Ｔ_２以上連続した区間を映像信号における不要候補区間として決定する。そして、システム制御部１５は、その不要候補区間の位置情報と、不要候補区間において焦点ずれが発生したことを示す関連情報とを生成し、生成した位置情報と関連情報とを、映像信号と対応させて記録媒体７に記録する。

焦点ずれ状態が時間Ｔ_２以上は連続しなかった場合（ステップＳ３０：ＮＯ）、ステップＳ４０に進む。ステップＳ４０において、システム制御部１５は、輝度検出部９の検出結果に基づいて、アイリス４で調整可能な所定の輝度範囲を超える光量過多または光量不足の状態が所定の時間Ｔ_３（例えば３秒間）以上連続したか否かを判断する。

調整可能な所定の輝度範囲を超える状態が時間Ｔ_３以上連続した場合（ステップＳ４０：ＹＥＳ）、ステップＳ２０に進み、システム制御部１５は、所定の輝度範囲を超える状態が時間Ｔ_３以上連続した区間を映像信号における不要候補区間として決定する。そして、システム制御部１５は、その不要候補区間の位置情報と、不要候補区間において光量が過多または不足の状態であることを示す関連情報とを生成し、生成した位置情報と関連情報とを、映像信号と対応させて記録媒体７に記録する。

調整可能な所定の輝度範囲を超える状態が時間Ｔ_３以上は連続しなかった場合（ステップＳ４０：ＮＯ）、ステップＳ１０に戻り、以降の処理を繰り返す。

図３（ａ）は位置情報および関連情報の一例を示す図、図３（ｂ）は位置情報および関連情報を記録する形態の一例を示す図である。

図３（ａ）に示すように、位置情報は、不要候補区間として検出された区間Ａ，Ｂ，…の先頭時刻と継続時間とを含む。また、関連情報は、区間Ａ，Ｂ，…において検出された状態を示し、図３（ａ）の例では、区間Ａでは補正可能な振動量を超える手ぶれが５回発生したことを示し、区間Ｂでは光量が不足したことを示し、区間Ｃでは焦点ずれが発生したことを示している。

そして、図３（ａ）に示した位置情報および関連情報は、例えば、図３（ｂ）に示すような、一連の映像データ２１ａ，２１ｂ，…、音声データ２２ａ，２２ｂ，…からなるストリームの先頭に付加した付帯データ２３の中に記録する。

次に、撮像装置１で撮影された映像の不要なシーンを消去するための編集を行う手順について説明する。

図４は撮像装置１で撮影された映像の編集を行う編集装置の構成を示すブロック図である。図４に示すように編集装置３０は、撮像装置１で生成された映像信号と音声信号と不要候補区間の位置情報と関連情報とが記録された記録媒体３１と、記録媒体３１に記録された不要候補区間の位置情報と関連情報とを取り出す情報分離部３２と、不要候補区間に関する情報を表示するための編集用画面を生成してこれを表示装置３６に供給する映像音声処理部３３と、装置に設けられた各部を統括的に制御するシステム制御部３４と、キー入力やリモコン入力などによるユーザの操作を受け取り、結果を出力するユーザインタフェース３５とを備える。

編集時には、まず、撮像装置１で記録媒体７に記録した映像信号と音声信号と不要候補区間の位置情報と関連情報とを、ＵＳＢ等の外部インタフェース（図示せず）を使って撮像装置１の記録媒体７から編集装置３０の記録媒体３１にコピーする。あるいは、撮像装置１の記録媒体７が光ディスクや交換式のＨＤＤ等であれば、撮像装置１から記録媒体７を取り外して編集装置３０に取り付けるようにしてもよい。

そして、情報分離部３２は、記録媒体３１から映像信号と音声信号と不要候補区間の位置情報と関連情報とを読み出し、映像信号と音声信号とを映像音声処理部３３に出力し、不要候補区間の位置情報と関連情報とをシステム制御部３４に出力する。

システム制御部３４は、不要候補区間の位置情報と関連情報とを用いて、不要候補区間の情報を表示するための編集用画面を生成し、この編集用画面を表示装置３６に表示するように映像音声処理部３３を制御する。

図５に編集用画面の一例を示す。図５に示す編集用画面は、不要候補区間と、不要候補ではない正常な区間とをリスト表示するものであり、各区間の代表画像を縮小したサムネイル画像を表示するサムネイル画像表示欄４１ａ〜４５ａと、各区間の位置情報や各区間の映像の状態を示す関連情報等を表示する情報欄４１ｂ〜４５ｂとが表示されている。サムネイル表示する代表画像としては、例えば各区間の先頭部分の画像が用いられる。

図５に示したような編集用画面により、ユーザは編集作業を行うことができる。ユーザ操作によりある区間を選択する指示がユーザインタフェース３５を介して入力されると、システム制御部３４は、選択された区間の映像をサムネイル画像表示欄において音声とともに繰り返し再生するように映像音声処理部３３を制御する。これにより、ユーザは選択した区間の映像の状態を確認することができる。

そして、ユーザが選択した不要候補区間を消去する指示がユーザインタフェース３５を介して入力されると、システム制御部３４は、記録媒体３１に記録された映像信号および音声信号から、選択された不要候補区間を消去する。

このように本実施の形態に係る撮像装置１によれば、合焦検出部８、輝度検出部９、手ぶれ検出センサ１０のそれぞれの検出結果を用いて映像信号における不要候補区間を決定し、不要候補区間の映像信号における位置を示す位置情報と、不要候補区間での映像信号の状態を示す関連情報とを生成し、生成した位置情報と関連情報と映像信号とを対応させて記録媒体７に記録する。これにより、編集装置３０において位置情報と関連情報とを用いることで、撮影後の映像の不要なシーンを容易に検索することができ、不要なシーンを消去するための編集作業を容易に行うことができる。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。図１に示す撮像装置において不要候補区間を検出する手順を示すフローチャートである。（ａ）は位置情報および関連情報の一例を示す図、（ｂ）は位置情報および関連情報を記録する形態の一例を示す図である。図１に示す撮像装置で撮影された映像の編集を行う編集装置の構成を示すブロック図である。編集用画面の一例を示す図である。

符号の説明

１撮像装置
２レンズユニット
３撮像レンズ
４アイリス
５撮像素子
６カメラ映像処理部
７記録媒体
８合焦検出部
９輝度検出部
１０手ぶれ検出センサ
１１フォーカス駆動部
１２アイリス駆動部
１３マイクロホン
１４音声処理部
１５システム制御部
３０編集装置
３１記録媒体
３２情報分離部
３３映像音声処理部
３４システム制御部
３５ユーザインタフェース
３６表示装置

Claims

被写体の撮影光を光電変換して映像信号を生成する撮像手段と、
本装置に生じる振動量を検出する振動量検出手段と、
前記撮像手段が有する撮像レンズが被写体に対する焦点ずれをおこしているか否かを検出する合焦検出手段と、
前記撮像手段で生成された前記映像信号の輝度を検出する輝度検出手段と、
前記振動量検出手段で検出された前記振動量が所定の振動量を超える状態が第１の所定時間以上継続した区間、および前記合焦検出手段で検出された焦点ずれが第２の所定時間以上継続した区間、および前記輝度検出手段で検出された前記輝度が所定の輝度範囲を超える状態が第３の所定時間以上継続した区間のうちの少なくとも１つを前記映像信号における不要候補区間として決定し、前記不要候補区間の先頭の前記映像信号における時刻と前記不要候補区間の継続時間とを含む位置情報を生成するとともに、前記不要候補区間において前記所定の振動量を超える手ぶれが発生したことを示す情報、および焦点ずれが発生したことを示す情報、および光量が過多または不足の状態であることを示す情報のうちの少なくとも１つを含む関連情報を生成する情報生成手段と、
前記位置情報と前記関連情報と前記映像信号とを対応させて記録媒体に記録する記録手段と
を備えることを特徴とする撮像装置。
請求項１に記載の撮像装置により前記記録媒体に記録された前記位置情報と前記関連情報と前記映像信号とを読み出す読み出し手段と、
前記位置情報と前記関連情報と前記映像信号とを用いて、前記不要候補区間および前記不要候補区間以外の正常区間のそれぞれについて、その区間が手ぶれが発生した区間であることを示す情報、および焦点ずれが発生した区間であることを示す情報、および光量が過多または不足している区間であることを示す情報、および前記正常区間であることを示す情報のうちの少なくとも１つの情報と、その区間を代表する画像を縮小したサムネイル画像とを表示する編集用画面を生成する編集用画面生成手段と、
外部から前記不要候補区間を選択して消去する指示が入力された場合、前記記録媒体に記録された前記映像信号から、選択された前記不要候補区間を消去する編集手段と
を備えることを特徴とする編集装置。