JP2017046175A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】装置を動かして撮影を行う場合に、映像の記録範囲の外側の視認性を改善し、データ転送や消費電力を改善する。【解決手段】撮像装置は、被写体を撮像する撮像手段と、前記撮像手段により撮像された映像を表示する表示手段と、前記映像のうち、前記表示手段による表示範囲内で、かつ当該表示範囲よりも狭い領域を切り出す切り出し手段と、装置の位置又は姿勢が変化していることを検出する検出手段と、前記表示手段による表示範囲内であって前記切り出し手段により切り出されない映像の領域が、前記装置の位置又は姿勢が変化している方向側により広くなるように制御する表示制御手段と、を有する。【選択図】図４

Description

本発明は、表示された映像の一部を切り出して記録する映像記録技術に関する。

従来から、撮像された映像の一部を切り出して（クロップして）記録する技術が知られている。この技術では、撮像された映像全体をＥＶＦ（電子ビューファインダ）等によりディスプレイに表示する。すなわち、表示されている映像の一部が記録される範囲となる。これにより、映像の記録範囲の外側にどのような被写体が存在するかも映像から把握できるようになる。

このようにすることで、例えば、写したくない被写体が記録範囲の外側となるようにフレーミングを行っている場合に、写したくない被写体が記録範囲に入りそうか否かを表示されている映像から確認できる。

表示されている映像のうち、記録範囲の外側に写したくない被写体が存在する場合は、それ以上、写したくない被写体が存在する方向にカメラを動かしてはいけないことがわかる。そして、このようなカメラを動かして撮影を行う場合には、カメラを動かしている方向の被写体の様子を早く視認して、カメラの移動を停止すべきタイミングを確実に把握できることが望ましい。

特許文献１では、映像を表示しない残余の領域に撮影設定内容を表示させることで、映像上に撮影設定内容が重畳表示されることによる視認性低下を回避している。また、特許文献２では、映像の記録範囲よりも広い範囲を表示することによって、ズーム操作を容易にしている。

特開２００５−１２４００４号公報 特開２０１１−２２９１７２号公報

ところで、表示される映像の大きさは、イメージセンサの読み出し動作やＶＲＡＭ（ビデオメモリ）のサイズに影響するため、むやみに大きくしない方がデータ転送や消費電力の観点で望ましい。

特許文献１では、映像の記録範囲の外側をＥＶＦで視認できない。特許文献２では、映像の記録範囲の外側がある程度ＥＶＦで視認できるが、カメラの移動やパン、ティルトの場合、カメラを動かしている方向とは反対の範囲まで広く表示されるため、データ転送や消費電力の観点で改善の余地がある。

本発明は、上記課題に鑑みてなされ、その目的は、装置を動かして撮影を行う場合に、映像の記録範囲の外側の視認性を改善し、データ転送や消費電力を改善することができる技術を実現することである。

上記目的を達成するために、本発明の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段により撮像された映像を表示する表示手段と、前記映像のうち、前記表示手段による表示範囲内で、かつ当該表示範囲よりも狭い領域を切り出す切り出し手段と、装置の位置又は姿勢が変化していることを検出する検出手段と、前記表示手段による表示範囲内であって前記切り出し手段により切り出されない映像の領域が、前記装置の位置又は姿勢が変化している方向側により広くなるように制御する表示制御手段と、を有する。

本発明によれば、装置を動かして撮影を行う場合に、映像の記録範囲の外側の視認性を改善し、データ転送や消費電力を改善することができる。

本発明に係る実施形態の装置構成を示すブロック図。 表示制御処理１により表示される映像を説明する図。 表示制御処理２により表示される映像を説明する図。 本実施形態による映像の表示制御処理を示すフローチャート。 撮像された映像全体と映像の表示範囲との関係を説明する図。

以下に、本発明の撮像装置を、動画や静止画（以下、映像）を撮影可能なデジタルビデオカメラ（以下、カメラ）に適用した実施の形態について、添付図面を参照して詳細に説明する。

＜撮像装置の構成＞図１を参照して、本実施形態のカメラ１００の構成について概説する。

図１において、撮像部１０１は、フォーカスレンズやズームレンズ、振れ補正レンズ等を含む光学レンズ、絞り、結像された光学像を電気信号に変換するＣＣＤもしくはＣＭＯＳ等のイメージセンサ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。なお、イメージセンサは、防振制御用に物理的に上下方向、左右方向にシフトする機構を備えていてもよい。

映像処理部１０２は、撮像部１０１からのデータ、又は、メモリ制御部１０９からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行い、ＶＲＡＭデータを生成しメモリ制御部１０９を介してメモリ１１０に書き込む。また、映像処理部１０２では、映像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１１１が露光制御、測距制御、防振制御を行う。所定の演算処理には、被写体の顔等を検出する顔検出処理も含まれる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、防振処理が行われる。映像処理部１０２では更に、撮像した映像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。さらに、映像処理部１０２は、エンコード済み映像データをコーデック１０３によりデコードし、リサイズ処理や色変換処理を行って新たなＶＲＡＭデータを生成する処理を行う。

コーデック１０３は、映像処理部１０２で生成されたＶＲＡＭデータをＭＰＥＧ２やＨ．２６４等の動画圧縮方式でエンコードする。また、コーデック１０３は、メモリ制御部１０９から読み出されたエンコード済み映像データをデコードしたＶＲＡＭデータを、メモリ制御部１０９へ送出する。

映像出力部１０４は、メモリ１１０に保持された複数のＶＲＡＭデータをメモリ制御部１０９を介して読み出し、これらを重畳して表示用の映像信号を生成する。映像出力部１０４は、第１の映像出力端子１０５に対しては、後述するＧＰＵ１０８により映像の一部が切り出された記録用のＶＲＡＭデータを出力する。また、映像出力部１０４は、第２の映像出力端子１０６及び表示部１０７に対しては、映像処理部１０２による表示用のＶＲＡＭデータとＧＰＵ１０８によるＯＳＤ（オンスクリーンディスプレイ）のＶＲＡＭデータを重畳した映像を出力する。

第１の映像出力端子１０５は、例えば、ＨＤＭＩ（登録商標）端子やＳＤＩ端子やコンポジットビデオ出力端子である。第１の映像出力端子１０５は、カメラ１００を不図示のレコーダ等の外部機器に接続することを主な目的としているため、表示用のＶＲＡＭデータにＯＳＤのＶＲＡＭデータは重畳されない。

第２の映像出力端子１０６は、第１の映像出力端子１０５と同様に、例えば、ＨＤＭＩ（登録商標）端子やＳＤＩ端子やコンポジットビデオ出力端子である。第２の映像出力端子１０６は、カメラ１００を外部機器としてのデジタルテレビや外部モニタに接続することを主な目的としており、ＯＳＤのＶＲＡＭデータが重畳された表示用のＶＲＡＭデータが出力される。

表示部１０７は、映像出力部１０４から出力される、第２の映像出力端子１０６と同等の映像信号が出力される。表示部１０７は、液晶パネルや有機ＥＬパネル等の表示デバイスから構成され、カメラ１００と一体化した構成であっても、別体として接続される外部機器であってもよい。また、表示部１０７は複数であってもよく、表示部１０７に接眼レンズが組み付けられた、覗き込み型のＥＶＦ（電子ビューファインダ）を備えている場合もある。

ＧＰＵ（グラフィックスプロセッシングユニット）１０８は、カメラ１００の状態や設定を表す文字やアイコン、及び各種の枠やマーカーをメモリ１１０上のＶＲＡＭにレンダリングする。文字やアイコン等の情報は不揮発性メモリ１１７に圧縮ビットマップ形式やベクター形式で格納されている。システム制御部１１１は、これらの情報を不揮発性メモリ１１７から読み出してメモリ１１０へ書き込み、ＧＰＵ１０８が読み出してメモリ上のＶＲＡＭにレンダリングする。また、ＧＰＵ１０８は、ＶＲＡＭデータを切り出したり、複数のＶＲＡＭデータを合成したり、異なる解像度のＶＲＡＭデータへリサイズするミキサー機能も備えている。ミキサー機能には、レンダリングされたＶＲＡＭデータの色空間を映像出力部１０４が求める色空間へ変換する色変換機能も含まれる。

メモリ制御部１０９は、各ブロックからメモリ１１０へのアクセス要求を調停する機能を備える。

メモリ１１０は、映像処理部１０２、コーデック１０３、映像出力部１０４、ＧＰＵ１０８がそれぞれが処理するＶＲＡＭデータを格納する。また、メモリ１１０は、コーデック１０３から出力されたエンコード済み映像データや、記録媒体１２１から読み出されたエンコード済み映像データを一時的に記憶する機能も有している。メモリ１１０は、所定時間の動画や音声を格納するのに十分な記録容量を備えている。また、メモリ１１０はＯＳＤ描画用のビットマップメモリ及び映像表示用のビデオメモリを兼ねている。

システム制御部１１１は、カメラ１００全体を統括して制御するＣＰＵやＭＰＵを含む。システム制御部１１１は、不揮発性メモリ１１７に格納されたプログラムを読み出して実行することで、後述するフローチャートの各処理を実現する。システム制御部１１１は複数のＣＰＵコアを備えていても構わない。その場合は、プログラムに記述されたタスクを複数のＣＰＵコアで分担して処理することができる。

姿勢検出部１１２は、例えば、移動（スライド）、パン、又はティルトなどのカメラ１００の位置や姿勢が変化する動き（低周波）や、手振れ等により発生する高周波振動を電気信号に変換してシステム制御部１１１へ送出する。システム制御部１１１は、姿勢検出部１１２による検出値を用いてカメラ１００が移動、パン、又はティルトしている方向及び速度を検出する。また、システム制御部１１１は、姿勢検出部１１２による検出値を用いてカメラ１００の手振れを検出し、手振れ量に応じて振れ補正レンズや撮像部１０１をシフトさせる防振処理や映像処理部１０２によって映像を切り出す電子防振処理を行う。姿勢検出部１１２としては、例えば加速度センサやジャイロ等を用いることができる。なお、姿勢検出部１１２は必須の構成ではなく、例えば、映像処理部１０２における映像の変化から被写体の動きベクトルを検出することによって、姿勢検出部１１２で得られるカメラ１００の姿勢変化や振動の情報を推定してもよい。

タッチパネル１１３は、表示部１０７に対するタッチ操作を検出可能なタッチセンサである。タッチパネル１１３と表示部１０７とは一体的に構成することができる。例えば、タッチパネル１１３を光の透過率が表示部１０７の表示を妨げないように、表示部１０７の表示面の上層に取り付ける。そして、タッチパネル１１３における入力座標と、表示部１０７上の表示座標とを対応付ける。これにより、ユーザが表示部１０７に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

電源スイッチ１１４は、カメラ１００の電源のオン、オフを切り替えるための操作信号をシステム制御部１１１へ送出する。

電源制御部１１５は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１１５は、その検出結果及びシステム制御部１１１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２１を含む各部へ供給する。

電源部１１６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

不揮発性メモリ１１７は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１７には、システム制御部１１１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システムメモリ１１８はＲＡＭ等であり、システム制御部１１１の動作用の定数、変数、不揮発性メモリ１１７から読み出したプログラム等を展開するワークメモリとしても使用される。また、システム制御部１１１は、映像出力部１０４、ＧＰＵ１０８、メモリ制御部１０９を制御することにより表示制御も行う。システムメモリ１１８を、メモリ１１０と共用してもよく、その場合はメモリ制御部１０９によってアクセスが調停されるので、高速にアクセス可能な小容量のメモリを別途システム制御部１１１に直結して搭載されることもある。

システムタイマー１１９は、各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。

インターフェース（Ｉ／Ｆ）１２０は、メモリカードやハードディスク等の記録媒体１２１とのインターフェースである。インターフェース１２０は、メモリ１１０に保持されたエンコード済み映像データを記録媒体１２１に記録したり、記録媒体１２１に記録されているエンコード済み映像データや付加情報を読み出してメモリ１１０に転送する。

記録媒体１２１は、カメラ１００に装着されるメモリカードやハードディスクドライブ等であってもよいし、カメラ１００に内蔵されたフラッシュメモリやハードディスクドライブであってもよい。

＜表示制御処理１＞次に、図２を参照して、表示制御処理１によるカメラ１００の表示部１０７や第２の映像出力端子１０６に出力される映像を例示している。

図２（Ａ）は、カメラ１００の位置又は姿勢（移動、パン、又はティルト）が変化していない静止状態における表示映像を例示している。

表示範囲２０１は、第２の映像出力端子１０６から出力される映像全体、もしくは表示部１０７に表示される映像全体を示している。

枠２０２は、表示範囲２０１のうち、記録される映像の範囲（記録範囲）、もしくは第１の映像出力端子１０５から出力される映像の範囲を示している。枠２０２の外側は、映像をやや暗く表示されており、表示された映像のうちの記録範囲２０２と記録範囲２０２の外側の記録されない範囲がより明確に識別できるようになっている。枠２０２の外側を暗く表示する以外にも、明るく表示したり、網掛けにしたり、ぼかして表示したりして区別できるようにしてもよい。このように、記録範囲の外側も表示するサラウンドビュー表示を行うことで、撮影の際に、記録範囲の周辺の状況を表示部１０７で確認することができ、カメラ１００のフレーミングの参考とすることができる。

機能ボタン２０３は、メニュー画面を表示する指示を行うための操作部である。表示部１０７に表示された機能ボタン２０３に対するタップ操作をタッチパネル１１３により検知し、システム制御部１１１においてメニューボタンとの対応付けを行うことによって、メニュー画面を表示する制御との紐づけを行う。

電池残量２０４は、電源部１１６が一次電池や二次電池等の場合の残量表示であり、アイコン及び数値文字列の双方で表示されている。

時間表示２０５は、記録媒体１２１に映像データとともに記録されるタイムコードを示している。

顔枠２０６は、被写体として検出された顔領域の位置を示しており、映像内に顔が複数検出された場合は、複数の顔枠が表示される。

アスペクトマーカー２０７は、特に記録される映像に対する画面アスペクトの範囲を示している。アスペクトマーカー２０７は、メニュー画面の設定によって、４：３、１６：９、２．３５：１等複数の画面アスペクトから選択できる。また、アスペクトマーカーの他に、画面中央部の面積を示すセーフティマーカーや、水平垂直を示す撮影ガイドであるグリッドマーカー等を同時に表示することができる。

第１の被写体２０８及び第２の被写体２０９はそれぞれ映像中に存在する被写体である。第１の被写体２０８は記録範囲２０２内にある一方、第２の被写体２０９は記録範囲２０２の外側であって、第２の映像出力端子１０６及び表示部１０７にその一部が表示されている。

図２（Ａ）の静止状態の場合は、記録範囲２０２は表示範囲２０１の中心に配置されるよう、システム制御部１１１は撮像部１０１及び映像処理部１０２を制御する。これによって、ユーザは記録範囲２０２の周囲（上方、下方、左側、右側）の映像を第２の映像出力端子１０６及び表示部１０７で確実に視認することができる。

図２（Ｂ）は、カメラ１００が左方向へパンされている状態における表示映像を例示している。

第３の被写体２１０は、図２（Ａ）では表示されていなかった新たな被写体である。

図２（Ｂ）のように、カメラ１００が動いている途中は、記録されない範囲の映像がカメラが動く方向側により多く表示されるように制御される。これにより、図２（Ａ）の静止状態では視認できなかった第３の被写体２１０が、表示部１０７や外部モニタにおいて視認可能となり、カメラ１００のパンを止めるタイミングをユーザが容易に判断できるようになる。

なお、図２（Ｂ）の例では、枠２０２及び顔枠２０６及びアスペクトマーカー２０７は、表示範囲２０１全体に対する記録範囲２０２の変化に伴い、表示位置が変更されている。このような表示制御処理によって、これらの表示部はカメラ１００の位置や姿勢の変化に影響を受けずに、本来の役割を果たすことができる。

一方で、機能ボタン２０３の表示位置は変更されないため、例えば、ユーザがカメラ１００のパンと同時にボタンを操作しようとしたときも、タッチすべき位置がずれることがなく、通常通りにタッチ操作を行うことができる。同様に、電池残量２０４及びタイムコード２０５も表示位置を変更していないため、ユーザは表示位置を探すことなく視認することができる。

図２（Ｃ）は、カメラ１００が上方向へティルトされている状態における表示映像を例示している。図２（Ｂ）とは構図が変更される方向が異なるが、得られる効果は同様である。

上述した表示制御処理によれば、カメラ１００の姿勢（移動、パン、又はティルト）を変化させながら撮影を行っている場合に、カメラ１００が動いている方向側の記録されない範囲の映像が、ＥＶＦで広く視認できるようになる。これにより、所望の被写体や障害物を基準とした移動、パン、又はティルト等のカメラ１００の位置や姿勢を変化させながらの撮影が容易に行える。また、このように視認性や操作性を改善しつつ、イメージセンサの読み出し動作やＶＲＡＭのサイズを必要最小限にできるため、データ転送や消費電力を改善することができる。また、カメラ１００が動いている方向とは反対側の記録されない表示範囲２０１を最小限にできるため、表示範囲内における記録範囲２０２の映像を表示部１０７や外部モニタに可能な限り大きく表示することができる。

＜表示制御処理２＞次に、図３を参照して、表示制御処理２によるカメラ１００の表示部１０７や第２の映像出力端子１０６に出力される映像を例示している。

図３（Ａ）は、カメラ１００の姿勢（移動、パン、又はティルト）が変化していない静止状態における表示映像を例示している。なお、図３において、図２と同一の構成要素には同一の符号を付して示している。

矩形３０１は、表示部１０７又は外部モニタの表示可能領域全体を示している。

図３（Ｂ）は、カメラ１００が左方向へパンされている状態における表示映像を例示している。

図３（Ｂ）に示すように、本処理では、映像の記録範囲２０２が常に表示可能領域３０１の中央に配置されるように制御する。移動やティルト等、図３（Ｂ）とは構図が変更される方向が異なる場合も同様である。

本実施形態によれば、上記表示制御処理１による視認性や操作性、データ転送や消費電力を改善するという効果に加えて、映像の記録範囲２０２を常に表示可能領域３０１の中央に配置することができるため、ユーザの視線が安定すると共に、カメラ１００を移動、パン、又はティルトさせる際にユーザが揺り戻しを感じる可能性を低減することができる。

＜表示制御処理＞次に、図４を参照して、本実施形態のカメラ１００による映像の表示制御処理について説明する。

また、本フローチャートの処理は、不揮発性メモリ１１７に格納されたプログラムをシステムメモリ１１８に展開してシステム制御部１１１が実行することにより実現される。 システム制御部１１１では、不揮発性メモリ１１７に格納内されたプログラムに含まれるＯＳの機能によって、図４（Ａ）、（Ｂ）、（Ｃ）のフローチャートに示す３つのタスクを並列に行う。

まず、図４（Ａ）の撮像処理を実行するタスクを説明する。

Ｓ４０１では、システム制御部１１１は、撮像部１０１のイメージセンサの有効画素範囲から得られる映像データのうち、表示範囲及び記録範囲の初期位置を設定する。表示範囲及び記録範囲の初期位置は、すなわち初期目標位置である。

Ｓ４０２では、システム制御部１１１は、姿勢検出部１１２による検出結果に基づいて、カメラ１００が動いているか否かを判定する。具体的には、ユーザがカメラ１００を所定の方向及び速度で移動、パン、又はティルトさせることによってカメラ１００に垂直方向もくしは水平方向の加速度が発生したか否かを判定する。判定の結果、カメラ１００が動いていることが検出された場合はＳ４０３へ進み、検出されない場合はＳ４０４に進む。

Ｓ４０３では、システム制御部１１１は、姿勢検出部１１２による検出値から得られたカメラ１００の移動、パン、又はティルトの方向もしくは速度に基づいて、映像の表示範囲及び記録範囲の目標位置を決定する。具体的には、カメラ１００が移動、パン、又はティルトしている場合は、表示範囲内であって記録範囲に含まれない映像の領域が、姿勢検出部１１２で検出した姿勢が変化している方向側により広くなるように制御を行う。カメラ１００が移動、パン、又はティルトしていない場合は、記録範囲を表示範囲の中央となるように制御を行う。例えば、姿勢検出部１１２が左方向へのパンを検出した場合、映像の記録範囲の目標位置は表示範囲に対して右側に変位される。姿勢検出部１１２の検出値からカメラ１００の位置や姿勢の変化速度が得られる場合は、速度が大きいほど、映像の表示範囲と記録範囲の中央の座標は大きく変位する。目標位置は、カメラ１００の移動、パン、ティルトが続いている限り、中央から変位したままとする。すなわち、カメラ１００が動き始めて映像の表示範囲と記録範囲の中央の座標とを変位させたのち、カメラ１００が止まるまでは変位を保持する（ただし、変位の度合いはカメラの移動、パン、ティルトの速度によって異なる）。これは、姿勢が変化している方向側により広くとった、表示範囲内であって記録範囲に含まれない映像の領域を見て、ユーザがカメラの移動、パン、ティルトを止めるタイミングを判断するためである。カメラ１００が移動、パン、又はティルトしていた状態から静止した状態に変化したことに応じて、段階的に記録範囲を表示範囲の中央に近づけていき、表示範囲と記録範囲の中央の座標の変位を解消する。なお、変位の度合いは、カメラの移動、パン、ティルトの速度によって異ならせずに、所定量としても良い。

Ｓ４０４では、システム制御部１１１は、現在の映像の表示範囲と記録範囲が目標位置と一致しているか否かを判定し、一致している場合はＳ４０５へ進み、一致していない場合はＳ４０２へ戻る。

Ｓ４０５では、システム制御部１１１は、映像の表示範囲及び記録範囲の現在位置を決定する。映像の表示範囲及び記録範囲は、Ｓ４０３で決定した目標位置へ、所定の時間をかけて段階的に変位させる。このように制御することで、表示部１０７及び外部モニタに表示される映像について、図２（Ａ）と図２（Ｂ）の間でユーザが違和感を感じないようにスムーズに遷移させることができる。所望の表示範囲及び記録範囲の映像を得るために、この処理に伴って撮像部１０１の制御を変更する場合があるが、詳細は後述する。

Ｓ４０６では、システム制御部１１１は、撮像部１０１で得られる映像データを映像処理部１０２へ入力する。

Ｓ４０７では、システム制御部１１１は、映像処理部１０２により映像の歪曲収差を適切に補正する処理を行う。特に、広角レンズを用いた撮影の場合、映像の周辺部へ向かうほど大きな歪曲収差が発生する。特に、光軸と記録する映像の中心がずれている場合、記録する映像は左右や上下で歪曲の大きさが異なってしまい、より歪みを感じやすくなる。そのため、本処理において、光軸のずれに応じた歪曲収差の補正を行う。歪曲収差の補正方法については、例えば、特許第４７８１２２９号公報に記載されているが、本発明はこれに限定されるものではなく、いかなる方法を用いても実現可能である。

Ｓ４０８では、システム制御部１１１は、映像処理部１０２によってメモリ１１０に表示用のＶＲＡＭデータと記録用のＶＲＡＭデータを生成する。表示用のＶＲＡＭデータは、記録用のＶＲＡＭデータの映像の領域を内包している。

Ｓ４０９では、システム制御部１１１は、光軸中心を原点としたときの表示範囲の座標と記録範囲の座標を、それぞれ図４（Ｂ）のタスク及び図４（Ｃ）のタスクへ送信する。

次に、図４（Ｂ）の表示処理を行うタスクを説明する。

Ｓ４１１では、システム制御部１１１は、メモリ１１０に、２枚のＯＳＤ描画用のＶＲＡＭデータと、１枚以上のＯＳＤ出力用のＶＲＡＭデータを生成する。

Ｓ４１２では、システム制御部１１１は、Ｓ４１１で生成した２枚のＯＳＤ描画用のＶＲＡＭデータのうち１枚に機能ボタン２０３、電池残量２０４、タイムコード２０５を描画する。本フローチャートには示していないが、これらの処理はそれぞれタッチパネル１１３を管理するタスク、電源制御部１１５を制御するタスク、コーデック１０３を制御するタスクから状態更新要求を受信したときに、随時描画が行われる。

Ｓ４１３では、システム制御部１１１は、Ｓ４０９で送信された表示範囲の座標と記録範囲の座標を受信する。

Ｓ４１４では、システム制御部１１１は、ＧＰＵ１０８により、Ｓ４１３で得られた表示範囲の座標に基づいて、枠２０２及びアスペクトマーカー２０７及び顔枠２０６を、メモリ１１０に生成したもう１枚のＯＳＤ描画用のＶＲＡＭデータに描画する。枠２０２の外側は、映像と重畳表示したときに映像が暗く見えるように、半透過の黒色で塗りつぶされる。これによって、映像の表示範囲のうちの記録範囲と記録されない範囲がよりはっきり識別できるようになる。また、アスペクトマーカー２０７は、映像の記録範囲に合わせて描画される。

Ｓ４１５では、システム制御部１１１は、ＧＰＵ１０８により、Ｓ４１４で描画された２枚のＯＳＤ描画用のＶＲＡＭデータを合成し、ＯＳＤ出力用のＶＲＡＭデータを生成する。

次に、図４（Ｃ）の記録処理及び映像出力処理を行うタスクを説明する。

Ｓ４２１では、システム制御部１１１は、Ｓ４０８で生成された表示用のＶＲＡＭデータと記録用のＶＲＡＭデータ、及びＳ４１５で合成されたＯＳＤ出力用のＶＲＡＭデータを取得する。

Ｓ４２２では、システム制御部１１１は、Ｓ４２１で取得した表示用のＶＲＡＭデータと記録用のＶＲＡＭデータを、映像出力部１０４により重畳する。

Ｓ４２３では、システム制御部１１１は、Ｓ４２２で重畳されたＶＲＡＭデータを表示部１０７又は第２の映像出力端子１０６へ出力する。

Ｓ４２４では、システム制御部１１１は、記録用のＶＲＡＭデータをコーデック１０３によりエンコードする。

Ｓ４２５では、システム制御部１１１は、記録用のＶＲＡＭデータを映像出力部１０４により第１の映像出力端子１０５へ出力する。

ここで、Ｓ４０５における現在位置を決定する処理について、図５を用いて説明する。

図５は、イメージセンサの有効画素範囲から得られる映像全体と、表示範囲及び記録範囲を示している。

図５（Ａ）〜図５（Ｃ）は、第１のパターンとしてイメージセンサの有効画素全体を表示範囲に割り当てる場合を示している。

図５（Ａ）は、図２（Ａ）又は図３（Ａ）の静止状態を示している。

５０１は、イメージサークルの中心を示す指標であり、現実には存在しないものである。

５０２は、イメージセンサの有効画素範囲全体を示す矩形（以下、センサ矩形）である。

５０３は、表示される映像を切り出す画素範囲を示す矩形（以下、表示矩形）である。図５（Ａ）においては、センサ矩形５０２と表示矩形５０３は同等である。

５０４は、映像の記録範囲、もしくは第１の映像出力端子１０５から出力される映像の範囲を示す矩形（以下、記録矩形）である。

図５（Ｂ）は、図２（Ｂ）又は図３（Ｂ）の表示状態に対応している。

記録矩形５０４が図５（Ａ）に比べて右側に変位しており、パンの方向である左側に、記録されないが表示される映像の領域が広く確保されている。イメージサークルの中心に対して記録矩形５０４のずれが大きいので、映像処理部１０２で歪曲補正を行うことが望ましい。

この第１のパターンでは、記録範囲に対応するイメージセンサの画素範囲をできる限り多く確保しつつ、本発明の効果を得ることができるため、後述する他のパターンに対して記録される映像の感度やボケ量の点で有利である。

図５（Ｃ）は、図５（Ｂ）と同様に、図２（Ｂ）又は図３（Ｂ）の表示状態に対応している。

イメージサークルの中心が記録矩形５０４に合わせてセンサ矩形５０２に対して右側へ変位している。この場合、カメラ１００のパンに対して記録矩形５０４が等しく変化するため、ユーザが揺り戻しのような違和感を感じにくくなる。また、映像処理部１０２において通常の歪曲補正のみを行えばよく、記録される映像に歪みが現れにくい。

この構成を実現するためには、撮像部１０１に含まれる振れ補正レンズによってイメージサークルをシフトさせるか、イメージセンサを物理的にシフトさせて、イメージサークルの中心から変位させる必要がある。

図５（Ｄ）及び図５（Ｅ）は、イメージセンサの有効画素範囲全体よりもやや狭い範囲を表示範囲に割り当てる第２のパターンを示している。表示範囲の外側は電子防振による映像の切り出しのための余剰画素領域として利用されるため、カメラ１００の手振れ量に応じて表示範囲は上下方向、左右方向にシフトする。

図５（Ｄ）は、図２（Ａ）又は図３（Ａ）の表示状態に対応している。

表示矩形５０３はセンサ矩形５０２よりもやや小さく、記録矩形５０４はさらに小さい。

図５（Ｅ）は、図２（Ｂ）又は図３（Ｂ）の表示状態に対応している。

表示矩形５０３が図５（Ｄ）と比べて左側に変位していると共に、記録矩形５０４が図５（Ｄ）と比べて右側に変位しており、パンの方向である左側に、記録されないが表示される映像の領域が広く確保される。

この第２のパターンでは、カメラ１００の移動、パン、又はティルトを行っていない場合は、電子防振による手振れ補正効果が得られる。また、カメラ１００の移動、パン、又はティルトを行っている場合は、電子防振用の画素領域も利用して表示矩形５０３と記録矩形５０４の相対位置を変化させている。これにより、センサ矩形５０２に対する記録矩形５０４の位置が図５（Ｂ）ほど大きくずれないため、ユーザが揺り戻しのような違和感を比較的感じにくいという利点がある。また、映像処理部１０２により大きな歪曲補正を行う必要がないため、記録される映像に歪みが現れにくい。

図５（Ｆ）及び図５（Ｇ）は、図５（Ｄ）及び図５（Ｅ）よりもさらに狭い範囲を表示範囲に割り当てる第３のパターンを示している。表示範囲の外側は電子防振のための余剰画素領域として利用されるため、カメラ１００の手振れ量に応じて表示範囲は上下方向、左右方向にシフトする。

図５（Ｆ）は、図２（Ａ）又は図３（Ａ）の表示状態に対応している。

表示矩形５０３は、センサ矩形５０２よりもかなり小さく、記録矩形５０４はさらに小さい。

図５（Ｇ）は、図２（Ｂ）又は図３（Ｂ）の表示状態に対応している。

表示矩形５０３が図５（Ｆ）と比べて左側に変位するが、記録矩形５０４は図５（Ｆ）と同じ位置で変わらない。これにより、パンの方向である左側に、記録されないが表示される映像の領域が広く確保される。

この第３のパターンでは、カメラ１００の移動、パン、又はティルトを行っているか否かに関わらず電子防振による手振れ補正効果を得ることができる。また、記録矩形５０４の位置が不動のため、カメラ１００のパンに対して記録矩形５０４が同様に変化する。したがって、ユーザが揺り戻しのような違和感を感じにくくなる。また、映像処理部１０２において通常の歪曲補正のみを行えばよく、記録される映像に歪みが現れにくい。

なお、システム制御部１１１の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行っても良い。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラ等の撮像装置に適用した場合を例に説明したが、本発明はこの例に限定されず、撮像された映像の一部を切り出して（クロップして）記録する機能を備える装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやその一種であるタブレット、携帯電話やその一種であるスマートフォン、ＰＤＡ、携帯型の画像ビューワ、音楽プレーヤ、ゲーム機、電子書籍リーダ等に適用可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…撮像部、１０７…表示部、１１１…システム制御部

Claims (16)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像された映像を表示する表示手段と、
   前記映像のうち、前記表示手段による表示範囲内で、かつ当該表示範囲よりも狭い領域を切り出す切り出し手段と、
   装置の位置又は姿勢が変化していることを検出する検出手段と、
   前記表示手段による表示範囲内であって前記切り出し手段により切り出されない映像の領域が、前記装置の位置又は姿勢が変化している方向側により広くなるように制御を行う表示制御手段と、を有することを特徴とする撮像装置。
2. 前記切り出し手段によって切り出された映像の領域を記録する記録手段をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記切り出し手段によって切り出された映像の領域を出力する出力手段をさらに有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記検出手段は、前記装置の移動、パン、又はティルトの方向及び速度を検出し、
   前記表示制御手段は、前記表示手段により表示されるが切り出されない映像の領域の面積を、前記移動、パン、又はティルトの方向及び速度に基づいて制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記表示制御手段は、前記撮像手段により撮像された映像における表示範囲の位置を変更するように制御を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記表示制御手段は、前記撮像手段により撮像された映像のうち、前記切り出し手段により切り出された映像の領域の位置を変更するように制御を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記表示制御手段は、所定の時間をかけて段階的に前記位置を変更するように制御を行うことを特徴とする請求項５又は６に記載の撮像装置。
8. 前記表示制御手段は、前記表示範囲の位置を変更すると共に、当該表示範囲に表示される操作部の位置は変更しないように制御を行うことを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 前記表示制御手段の制御により発生する、前記切り出し手段により切り出された映像の領域の歪曲収差を補正する補正手段をさらに有することを特徴とする請求項６に記載の撮像装置。
10. 前記表示制御手段は、前記撮像手段に含まれるイメージセンサの物理的な位置を変更する制御を行うことを特徴とする請求項５乃至９のいずれか１項に記載の撮像装置。
11. 前記表示制御手段は、前記撮像手段に含まれる光学レンズの一部をシフトさせて前記イメージセンサにより撮像された映像の領域を変更する制御を行うことを特徴とする請求項１０に記載の撮像装置。
12. 前記表示手段は、映像の表示範囲の外側に余剰な表示可能領域が設けられ、
    前記表示制御手段は、前記表示手段における、前記余剰な表示可能領域の前記記録範囲に対する相対位置を変更し、前記装置が動いている方向とは反対側により広くなるように制御を行うことを特徴とする請求項１ないし１１のいずれか１項に記載の撮像装置。
13. 手振れによる装置の振れを補正する防振手段をさらに有し、
    前記防振手段は、前記余剰な表示可能領域を用いて防振制御を行うことを特徴とする請求項１１に記載の撮像装置。
14. 被写体を撮像するステップと、
    前記撮像された映像を表示するステップと、
    前記映像のうち、前記表示するステップによる表示範囲内で、かつ当該表示範囲よりも狭い領域を切り出すステップと、
    装置の位置又は姿勢が変化していることを検出するステップと、
    前記表示するステップによる表示範囲内であって前記切り出されない映像の領域が、前記装置の位置又は姿勢が変化している方向側により広くなるように制御を行うステップと、を有することを特徴とする撮像装置の制御方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。