JP2011010010A - 画像再生装置及び撮像装置 - Google Patents

Abstract

【課題】再生対象画像の一部を拡大表示させる操作を、直感的な操作にする。
【解決手段】画像の再生時において、デジタルカメラは、再生対象画像の一部を切り出し画像としてデジタルカメラ内のカメラモニタ又は外部表示装置のモニタに出力する。デジタルカメラの主筐体のヨー方向又はピッチ方向における姿勢変化、或いは、光軸の直交方向における主筐体の平行移動に応じて切り出し位置を平行移動させ（ａ）、光軸方向における主筐体の平行移動に応じて切り出しサイズを変化させ（ｂ）、主筐体の光軸回りの姿勢変化に応じて切り出し枠の回転角を変化させる（ｃ）。
【選択図】図９

Description

本発明は、画像の再生を行う画像再生装置、及び、撮影によって画像を取得する撮像装置に関する。

従来の画像再生装置において、再生対象画像の一部を拡大して鑑賞しようとする場合、ユーザは、鑑賞対象となる画像の、再生対象画像上の位置及び大きさを指示する。この指示を受け、画像再生装置は、指示された位置及び大きさを有する画像を再生対象画像から切り出し、切り出し画像を拡大してモニタに出力する。このように、従来の画像再生装置において、再生対象画像の一部を切り出したものを拡大して鑑賞しようとする場合、ユーザは操作キー等を操作することによって切り出し位置の設定と切り出しサイズの設定を別個に行う必要があるため、素早く且つ直感的に所望の画像を表示させることが難しい。

尚、画像再生時において、ズームスイッチ操作に応じた電子ズーム制御を行う方法が開示されているが（例えば、下記特許文献１及び２参照）、この方法においても、素早く且つ直感的に所望の画像を表示させることができる、とは言い難い。

特開平５−２４４５６６号公報 特開平１１−３０８４９０号公報

そこで本発明は、所望の画像を容易に表示させることができる画像再生装置及び撮像装置を提供することを目的とする。

本発明に係る画像再生装置は、筐体と、前記筐体の姿勢又は移動を検出する検出部と、前記検出部の検出結果に基づいて入力画像の一部を切り出すことにより出力画像を生成し、前記出力画像を表示部上で表示させる表示制御部と、を備えたことを特徴とする。

筐体の姿勢を変化させる或いは筐体を移動させるという操作によって、入力画像から出力画像を切り出すときの条件を指示できるため、操作者は直感的な操作が可能となって所望の画像を素早く表示させることが可能となる。

具体的には例えば、前記表示制御部は、前記入力画像から前記出力画像を切り出す際における切り出し位置、前記出力画像の大きさとしての切り出しサイズ、及び、前記入力画像に対する前記出力画像の回転角の内、少なくとも１つを前記検出部の検出結果に基づいて設定することにより、前記入力画像から前記出力画像を生成する。

より具体的には例えば、前記筐体は、撮像装置の筐体であり、前記検出部は、ヨー方向若しくはピッチ方向における前記筐体の姿勢変化、又は、前記撮像装置の光軸に直交する方向への前記筐体の平行移動を、第１運動として検出し、前記表示制御部は、前記第１運動に応じて前記切り出し位置を変化させる。

また具体的には例えば、前記筐体は、撮像装置の筐体であり、前記検出部は、前記撮像装置の光軸方向への前記筐体の平行移動を、第２運動として検出し、前記表示制御部は、前記第２運動に応じて前記切り出しサイズを変化させる。

また具体的には例えば、 前記筐体は、撮像装置の筐体であり、前記検出部は、前記撮像装置の光軸周りに前記筐体を回転させる前記筐体の姿勢変化を、第３運動として検出し、前記表示制御部は、前期第３運動に応じて前記回転角を変化させる。

本発明に係る撮像装置は、前記画像再生装置を備え、前記画像再生装置に対する入力画像を撮影によって取得する。

本発明によれば、所望の画像を容易に表示させることができる画像再生装置及び撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係るデジタルカメラの外観図である。 空間上で固定されたα軸、β軸及びγ軸を示す図である。 本発明の実施形態に係るデジタルカメラの機能ブロック図である。 図３の操作部の内部ブロック図である。 二次元画像が配置されるＸＹ座標面を示す図である。 デジタルカメラの前に広がる風景と、デジタルカメラの撮影範囲との関係を示す図である。 デジタルカメラ及び外部表示装置の概略外観図である。 再生対象画像と、該再生対象画像から抽出した切り出し画像と、を示す図である。 本発明の実施形態に係る平行移動処理、サイズ増減処理及び画像回転処理の概念図である。 図３の表示制御部の内部ブロック図である。 再生対象画像と再生対象画像に設定される切り出し枠との間における回転角（θ）を説明するための図である。 本発明の第１実施例に係り、操作期間の意義を説明するための図である。 本発明の第１実施例に係り、操作期間に内包される第１及び第２要素期間の関係を示す図である。 本発明の第２実施例に係り、カメラモニタに表示可能な画像例を示す図である。 本発明の第２実施例に係り、ＴＶモニタに表示可能な画像例を示す図である。 本発明の第４実施例に係る再生動作を説明するための図である。 本発明の第５実施例に係る再生動作を説明するための図である。 本発明の第６実施例に係る再生動作を説明するための図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１に、本発明の実施形態に係る撮像装置としてのデジタルカメラ１の外観図を示す。デジタルカメラ１は、静止画像のみを撮影可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。符号５は、デジタルカメラ１の撮影範囲内に位置している被写体を表している。

デジタルカメラ１は、丸みを帯びた直方体状の主筐体２と板状のモニタ筐体３とを連結部を介して接合して形成される。モニタ筐体３には、表示装置としてのカメラモニタ１７が備え付けられている。主筐体２に対してモニタ筐体３は自在に開閉可能なように取り付けらており、主筐体２に対するモニタ筐体３の相対位置は可変となっている。図１は、モニタ筐体３が開いている状態を示している。カメラモニタ１７の表示画面は、モニタ筐体３が開いている状態においてのみ、ユーザに視認可能となる。以下、常にモニタ筐体３は開いているものとする。図１において、軸３００は、デジタルカメラ１の光軸を表している。光軸３００と主筐体２との位置関係は固定されている。軸３０１は、主筐体２の長手方向に平行な軸であり、軸３０２は、主筐体２の短手方向に平行な軸である。軸３０１及び／又は３０２は光軸３００に対して直交していない場合もあるが、本実施形態では、軸３０１及び３０２の夫々が光軸３００に対して直交していると仮定する。また、軸３０１と軸３０２は互いに直交している。光軸３００と軸３０１と軸３０２は、主筐体２の内部の一点Ｏ’にて交差する。

図２に、実空間上で固定されたα軸、β軸及びγ軸を示す。α軸、β軸及びγ軸は互いに直交しており、α軸、β軸及びγ軸は原点Ｏで交差する。γ軸は、鉛直線に平行な軸である（即ち、重力の働く方向に平行な軸である）。α軸及びβ軸は、水平線に平行な軸である（即ち、重力の働く方向と直交する軸である）。

また、説明の明確化上、以下に示すような基準状態を定義する。基準状態では、光軸３００はβ軸と一致し、且つ、軸３０１はγ軸と一致し、軸３０２はα軸と一致する。従って、基準状態では、図１の点Ｏ’の位置と図２の原点Ｏの位置が一致する。また、被写体５の中心は、基準状態において光軸３００上に位置しているものとする。以下の説明におけるカメラ運動は、特に記述なき限り、基準状態を起点としたカメラ運動である。

デジタルカメラ１を用いた撮影者は、カメラモニタ１７の表示画面と正対していると共にデジタルカメラ１の被写体５と正対している。撮影者から見た左右方向はα軸と平行であり、撮影者から見た右方向がα軸の正の方向であるとする。従って、撮影者から見た左方向はα軸の負の方向である。また、原点Ｏから被写体５に向かう方向がβ軸の正の方向であるとする。従って、被写体５から原点Ｏに向かう方向はβ軸の負の方向である。また、原点Ｏから鉛直上方に向かう方向がγ軸の正の方向であるとする。従って、原点Ｏから地面に向かう方向はγ軸の負の方向である。

カメラ運動は、ヨー方向、ピッチ方向及びロール方向に主筐体２を回転させるカメラ運動と、主筐体２をα軸方向、β軸方向及びγ軸方向に平行移動させるカメラ運動と、に大別される。カメラ運動とは、主筐体２の姿勢を変化させる或いは主筐体２を移動させる運動を指す。

ヨー方向に主筐体２を回転させるカメラ運動とは、γ軸及び軸３０１を回転軸として光軸３００を回転させる運動を指し、ピッチ方向に主筐体２を回転させるカメラ運動とは、α軸及び軸３０２を回転軸として光軸３００を回転させる運動を指し、ロール方向に主筐体２を回転させるカメラ運動とは、β軸及び光軸３００を回転軸として軸３０１及び３０２を回転させる運動を指す。以下では、ヨー方向、ピッチ方向及びロール方向に主筐体２を回転させるカメラ運動を、夫々、ヨー運動、ピッチ運動及びロール運動と呼ぶ。ヨー運動、ピッチ運動及びロール運動によって、主筐体２の姿勢が変化する。また、主筐体２をα軸方向、β軸方向及びγ軸方向に平行移動させるカメラ運動を、夫々、α軸運動、β軸運動及びγ軸運動と呼ぶ。

更に、ヨー運動の内、鉛直上方から見て光軸３００を時計周りに回転させるカメラ運動を右ヨー運動と呼び、鉛直上方から見て光軸３００を反時計周りに回転させるカメラ運動を左ヨー運動と呼ぶ。ピッチ運動の内、α軸の負側から見て光軸３００を時計周りに回転させるカメラ運動を上ピッチ運動と呼び、α軸の負側から見て光軸３００を反時計周りに回転させるカメラ運動を下ピッチ運動と呼ぶ。ロール運動の内、β軸の負側から見て軸３０１を時計周りに回転させるカメラ運動を右ロール運動と呼び、β軸の負側から見て軸３０１を反時計周りに回転させるカメラ運動を左ロール運動と呼ぶ。

図３は、デジタルカメラ１の機能ブロック図である。デジタルカメラ１は、符合１１〜２１によって参照される各部位を備える。

撮像部１１は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。具体的には、撮像部１１は、図示されない光学系、絞り、及び、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子を有する。この撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないＡＦＥ（Analog Front End）は、撮像素子から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記録される。撮影制御部１３は、その画像データ又はユーザの指示等に基づき、撮像部１１の画角（焦点距離）及び焦点位置並びに撮像素子への入射光量を調節する。

画像処理部１４は、画像メモリ１２に記録された被写体の画像の画像データに対して必要な画像処理（ノイズ低減処理、エッジ強調処理など）を施す。記録媒体１５は、磁気ディスクや半導体メモリ等から成る不揮発性メモリである。画像処理部１４による画像処理後の画像データ又は画像処理前の画像データ（所謂ＲＡＷデータ）を、記録媒体１５に記録することができる。画像データは、映像信号の一種である。

撮像部１１にて、所定のフレーム周期にて周期的に被写体の撮影を行うことができ、撮像部１１にて取得される１フレーム周期分の画像データによって１枚分の画像（以下、フレーム画像という）が表される。また、本明細書において、時系列上に並ぶ複数の画像の集まりを画像列と呼ぶ。

記録制御部１６は、記録媒体１５に各種のデータを記録させるために必要な記録制御を行う。カメラモニタ１７は、液晶ディスプレイ等から成り、撮像部１１の撮影によって得られた画像や、記録媒体１５に記録されている画像などを表示する。操作部１８は、ユーザがデジタルカメラ１に対して各種操作を行うための部位である。図４に示す如く、操作部１８には、静止画像の撮影指示を行うためのシャッタボタン３１、動画像の撮影開始及び終了を指示するための録画ボタン３２、十字キー等を含む操作キー３３、及び、撮像部１１の画角の増大又は減少を指示するためのズームレバー３４が含まれる。撮像部１１の画角（以下、撮影画角という）が変化すれば、それに伴って撮像部１１の光学ズーム倍率が変化する。主制御部１９は、操作部１８に対して成された操作内容に従いつつ、デジタルカメラ１内の各部位の動作を統括的に制御する。

表示制御部２０は、カメラモニタ１７又は外部表示装置のモニタ（後述のＴＶモニタ７：図７参照）の表示内容を制御する。画像メモリ１２又は記録媒体１５に記録された画像を、カメラモニタ１７又は外部表示装置のモニタに表示させることができる。表示制御部２０は、特に、カメラ運動検出部２１の検出結果を用いて特徴的な表示制御を行うが、その表示制御の詳細については後述する。

カメラ運動検出部２１は、カメラ運動の内容を検出することによって主筐体２の姿勢又は移動を検出する。即ち、カメラ運動検出部２１は、ヨー運動、ピッチ運動、ロール運動、α軸運動、β軸運動及びγ軸運動の夫々、並びに、それらの組み合わせの運動の内容を検出し、これによって主筐体２の姿勢又は移動を検出する。

カメラ運動検出部２１における検出を、センサを用いて実現することができる。具体的には例えば、α軸方向、β軸方向及びγ軸方向における主筐体２の加速度を検出する加速度センサ（不図示）をカメラ運動検出部２１に設けることで、主筐体２の移動を検出することができる。加速度センサを用いれば、主筐体２の初期位置に依存することなく、主筐体２の平行移動を高精度に検出することができる。或いは例えば、ヨー方向及びピッチ方向における主筐体２の角速度（即ち、γ軸及びα軸を回転軸として光軸３００が回転する時の角速度）並びにロール方向における主筐体２の角速度（即ち、β軸を回転軸として軸３０１及び３０２が回転する時の角速度）を検出する角速度センサ（不図示）をカメラ運動検出部２１に設けることで、主筐体２の姿勢を検出することができる。角速度センサを用いれば、主筐体２の初期姿勢に依存することなく、主筐体２の回転運動を高精度に検出することができる。

カメラ運動検出部２１における検出を、センサを用いることなく、画像処理又は音声処理にて実現することもできる。センサを用いずに検出を行うことでコスト削減が図られる。画像処理を用いた検出方式として、例えば、オプティカルフロー方式又はビジュアルマーカ方式を採用することができる。
オプティカルフロー方式では、フレーム画像列の画像データから導出された当該フレーム画像列に対するオプティカルフローに基づいて、主筐体２の姿勢又は移動を検出する。オプティカルフローは動きベクトルの束であり、フレーム画像列に対する動きベクトルは、フレーム画像列を形成する複数のフレーム画像間における、画像上の被写体の位置のずれを表す二次元量である。オプティカルフローの導出方法として、代表点マッチング法、ブロックマッチング法、勾配法などを利用可能である。
ビジュアルマーカ方式では、デジタルカメラ１の撮影範囲内にマーカを配置し、該マーカの撮影結果に基づいて、主筐体２の姿勢又は移動を検出する。ビジュアルマーカ方式によれば、高速且つ高精度に主筐体２の姿勢又は移動を検出することができる。
音声処理を用いた検出方式として、例えば、アクティブソナー方式又はパッシブソナー方式を採用することができる。

図５に、任意の二次元画像が配置されるべき二次元座標面としてのＸＹ座標面を示す。図５において、符号３２０が付された矩形枠は、二次元画像の外形枠を表している。ＸＹ座標面は、二次元画像３２０の水平方向に伸びるＸ軸と、二次元画像３２０の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。ＸＹ座標面上及び二次元画像３２０上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像３２０上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像３２０上における該注目点の垂直位置を表す。

ＸＹ座標面及び二次元画像３２０において、注目点のＸ軸座標値であるｘの値が増加するにつれて該注目点の位置はＸ軸の正側である右側に移動し、注目点のＹ軸座標値であるｙの値が増加するにつれて該注目点の位置はＹ軸の正側である下側に移動するものとする。従って、ＸＹ座標面及び二次元画像３２０において、注目点のＸ軸座標値であるｘの値が減少するにつれて該注目点の位置はＸ軸の負側である左側に移動し、注目点のＹ軸座標値であるｙの値が減少するにつれて該注目点の位置はＹ軸の負側である上側に移動する。

図６を参照して、カメラ運動とデジタルカメラ１の撮影範囲との関係について説明する。図６において、実線四角枠３４０内にデジタルカメラ１の前方に広がる風景を示す。図６は、撮影者から見た風景３４０の様子を表している。図６において、符号３５０が付された破線四角枠内の領域は、デジタルカメラ１の撮影範囲（撮影領域）を表す。撮影範囲３５０内に収まる被写体の画像がフレーム画像として取得される。

一般的なデジタルカメラと同様、
撮影範囲３５０内の中心３５１における被写体はフレーム画像の中心に現れ、
中心３５１よりもα軸の正側に位置する被写体（例えば、図６の点３５２における被写体）は、フレーム画像において中心よりも右側（Ｘ軸の正側；図５参照）に現れ、
中心３５１よりもα軸の負側に位置する被写体（例えば、図６の点３５３における被写体）は、フレーム画像において中心よりも左側（Ｘ軸の負側；図５参照）に現れ、
中心３５１よりもγ軸の正側に位置する被写体（例えば、図６の点３５４における被写体）は、フレーム画像において中心よりも上側（Ｙ軸の負側；図５参照）に現れ、
中心３５１よりもγ軸の負側に位置する被写体（例えば、図６の点３５５における被写体）は、フレーム画像において中心よりも下側（Ｙ軸の正側；図５参照）に現れる。

一般的なデジタルカメラと同様、
主筐体２を右ヨー運動させれば或いは主筐体２をα軸の正方向に平行移動させれば、撮影範囲３５０は、撮影者の右側及び図６における右側に移動し、
主筐体２を左ヨー運動させれば或いは主筐体２をα軸の負方向に平行移動させれば、撮影範囲３５０は、撮影者の左側及び図６における左側に移動し、
主筐体２を上ピッチ運動させれば或いは主筐体２をγ軸の正方向に平行移動させれば、撮影範囲３５０は、撮影者の上側及び図６における上側に移動し、
主筐体２を下ピッチ運動させれば或いは主筐体２をγ軸の負方向に平行移動させれば、撮影範囲３５０は、撮影者の下側及び図６における下側に移動し、
主筐体２を右ロール運動させれば、撮影範囲３５０は図６の風景３４０上で右回転し、
主筐体２を左ロール運動させれば、撮影範囲３５０は図６の風景３４０上で左回転する。また、一般的なデジタルカメラと同様、撮影画角を固定した状態で、
主筐体２をβ軸の正方向に平行移動させれば、デジタルカメラ１と被写体５を含む各被写体との距離が短くなって風景３４０全体を占める撮影範囲３５０の割合は小さくなり、
主筐体２をβ軸の負方向に平行移動させれば、デジタルカメラ１と被写体５を含む各被写体との距離が長くなって風景３４０全体を占める撮影範囲３５０の割合は大きくなる。

デジタルカメラ１は、画像の再生時においてカメラ運動検出部２１の検出結果に応じた特徴的な動作を行う。画像の再生時において、デジタルカメラ１は画像再生装置として機能する。デジタルカメラ１は、記録媒体１５に記録されている画像（静止画像又は動画像）を、テレビ受信機等の外部表示装置におけるモニタに表示させることができる。図７に、本実施形態において想定される外部表示装置としてのテレビ受信機６を示す。テレビ受信機６には液晶ディスプレイ等から成るＴＶモニタ７が設けられている。有線又は無線にて、記録媒体１５の記録データに基づく映像信号をデジタルカメラ１からテレビ受信機６に送ることにより、記録媒体１５の記録データに基づく画像をＴＶモニタ７に表示させることができる。

以下では、画像の再生時におけるデジタルカメラ１の動作並びにカメラモニタ１７及びＴＶモニタ７の表示内容を説明する。画像の再生時において、デジタルカメラ１を操作する人物を操作者と呼び、ＴＶモニタ７を鑑賞する人物を鑑賞者と呼ぶ。操作者は、鑑賞者の一人でもあり得る。記録媒体１５に記録されている画像であって、再生の対象となる画像を再生対象画像と呼ぶ。再生対象画像をデジタルカメラ１の撮影によって得ることができる。再生対象画像は、静止画像又は動画像である。

図８（ａ）に、再生対象画像を示す。符号４００が付された実線枠が再生対象画像の外枠である。図８（ａ）において、符号４０１が付された破線枠は、図３の表示制御部２０にて設定される切り出し枠である。切り出し枠の外形形状は長方形以外でも構わないが、以下の説明では、切り出し枠の外形形状が長方形であるとする。切り出し枠の画像領域は、再生対象画像の全画像領域の一部である。表示制御部２０は、再生対象画像から切り出し枠内の画像を切り出す。切り出された画像を切り出し画像と呼ぶ。図８（ｂ）に、再生対象画像４００から切り出し枠４０１内の画像を切り出すことで得られた切り出し画像４１０を示す。表示制御部２０は、再生対象画像又は切り出し画像をＴＶモニタ７及びカメラモニタ１７に表示させることができる。以下では、デジタルカメラ１の特徴的動作として、切り出し画像をＴＶモニタ７に表示させるときの動作を説明する。

ＴＶモニタ７又はカメラモニタ１７上で切り出し画像を表示する際、切り出し画像の解像度は、ＴＶモニタ７又はカメラモニタ１７の解像度に適した解像度に変換される。例えば、再生対象画像上の切り出し枠内の画像における水平及び垂直方向の画素数が夫々６４０及び３６０であって且つＴＶモニタ７の表示画面における水平及び垂直方向の画素数が夫々１９２０及び１０８０である場合、公知の画素補間等を用いた解像度変換によって、切り出し枠内の画像の画素数を水平及び垂直方向の夫々において３倍にしてからＴＶモニタ７に与える。

表示制御部２０は、カメラ運動検出部２１の検出結果に基づき、再生対象画像上における切り出し枠の位置等を変更することができる。切り出し枠の位置等を変更する処理は、平行移動処理、サイズ増減処理及び画像回転処理に大別される。図９（ａ）〜（ｃ）に、夫々、平行移動処理、サイズ増減処理及び画像回転処理の概念図を示す。

平行移動処理は、図９（ａ）に示す如く、操作者が、主筐体２をヨー運動、ピッチ運動、α軸運動又はγ軸運動させた時に実行される。平行移動処理は、再生対象画像上において、切り出し枠の大きさを変更することなく且つ切り出し枠を回転させることなく切り出し枠を平行移動させる処理であり、平行移動処理によって再生対象画像上における切り出し枠の中心位置が変化する。切り出し枠の中心位置を座標（ｘ_O，ｙ_O）にて表す。
主筐体２を右ヨー運動させれば或いは主筐体２をα軸の正方向に平行移動させれば、再生対象画像上において切り出し枠の中心位置は右側に移動し（ｘ_Oは増大し）、主筐体２を左ヨー運動させれば或いは主筐体２をα軸の負方向に平行移動させれば、再生対象画像上において切り出し枠の中心位置は左側に移動する（ｘ_Oは減少する）。即ち、主筐体２に対してパン操作を施した時の撮影画像変化のような切り出し画像変化が生じる。
主筐体２を上ピッチ運動させれば或いは主筐体２をγ軸の正方向に平行移動させれば、再生対象画像上において切り出し枠の中心位置は上側に移動し（ｙ_Oは減少し）、主筐体２を下ピッチ運動させれば或いは主筐体２をγ軸の負方向に平行移動させれば、再生対象画像上において切り出し枠の中心位置は下側に移動する（ｙ_Oは増大する）。即ち、主筐体２に対してチルト操作を施した時の撮影画像変化のような切り出し画像変化が生じる。
右ヨー運動における回転角又はα軸の正方向に向かう主筐体２の平行移動量が増大するにつれて、切り出し枠の中心位置の右側への平行移動量（ｘ_Oの増大量）は増大する。切り出し枠の中心位置の左側、上側及び下側への平行移動量についても同様である。

サイズ増減処理は、図９（ｂ）に示す如く、操作者が、主筐体２をβ軸運動させた時に実行される。サイズ増減処理は、再生対象画像上において、切り出し枠の中心位置を変更することなく且つ切り出し枠を回転させることなく切り出し枠の大きさ（以下、切り出しサイズという）を変更する処理である。
主筐体２をβ軸の正方向に平行移動させれば、再生対象画像上における切り出しサイズは減少する。即ち、被写体に対して主筐体２を寄せた時の撮影画像変化のような切り出し画像変化が生じる。逆に、主筐体２をβ軸の負方向に平行移動させれば、再生対象画像上における切り出しサイズは増大する。即ち、主筐体２を被写体から遠ざけた時の撮影画像変化のような切り出し画像変化が生じる。切り出しサイズの変化量は、β軸に沿った主筐体２の平行移動量が増大するにつれて増大する。

画像回転処理は、図９（ｃ）に示す如く、操作者が、主筐体２をロール運動させた時に実行される。画像回転処理は、再生対象画像上において、切り出し枠の中心位置及び大きさを変更することなく切り出し枠を回転させる処理である。
主筐体２を右ロール運動させれば、再生対象画像上において切り出し枠は時計周りで回転し、逆に、主筐体２を左ロール運動させれば、再生対象画像上において切り出し枠は反時計周りで回転する。即ち、主筐体２をロール運動させた時の撮影画像変化のような切り出し画像変化が生じる。時計周りにおける切り出し枠の回転量は、主筐体２に対する右ロール運動の回転量が増大するにつれて増大する。反時計周りにおける切り出し枠の回転量も同様である。

上述のような切り出し画像の生成及び表示動作を実現する表示制御部２０の内部ブロック図を、図１０に示す。図１０の表示制御部２０は、切り出し設定部４１及び切り出し処理部４２を有する。

切り出し設定部４１は、カメラ運動検出部２１からの検出結果情報に基づき、再生対象画像から切り出し画像を切り出す際の条件を規定する切り出し情報を生成する。検出結果情報は、カメラ運動検出部２１が検出した内容を表す情報である。切り出し処理部４２は、切り出し情報に基づいて、実際に再生対象画像から切り出し枠内の画像を切り出すことで切り出し画像を生成する。生成された切り出し画像そのもの、又は、生成された切り出し画像に所定の加工を施した画像を出力画像としてＴＶモニタ７に表示することができる。該出力画像をカメラモニタ１７にて表示することも可能である。尚、表示制御部２０は、ＴＶモニタ７及びカメラモニタ１７上における映像再生のタイミング制御をも行う（詳細は後述）。

再生対象画像から切り出し画像及び出力画像を生成することができる限り、再生対象画像から切り出し画像及び出力画像を生成する方法は任意であると共に切り出し情報の形態は任意である。例えば、再生対象画像上における切り出し枠の中心位置及び左上隅の座標値（Ｘ軸座標値及びＹ軸座標値）を切り出し情報に含めておけば、それらの座標値から平行移動処理を実現して該平行移動処理が成された切り出し画像及び出力画像を生成することが可能である。また例えば、再生対象画像上における切り出し枠の幅と高さ（水平方向と垂直方向の大きさ）を切り出し情報に含めておけば、その幅と高さからサイズ増減処理を実現して該サイズ増減処理が成された切り出し画像及び出力画像を生成することが可能である。また例えば、前回の切り出しサイズを基準とした今回の切り出しサイズの拡大率又は縮小率を切り出し情報に含めておけば、その拡大率又は縮小率からサイズ増減処理を実現して該サイズ増減処理が成された切り出し画像及び出力画像を生成することが可能である。

また例えば、再生対象画像を基準とする切り出し枠の回転角θを切り出し情報に含めておけば、その回転角θから画像回転処理を実現して該画像回転処理が成された切り出し画像及び出力画像を生成することが可能である。回転角θとは、図１１に示す如く、再生対象画像の水平方向（再生対象画像にとってのＸ軸）と切り出し枠内の画像の水平方向（切り出し枠内の画像にとってのＸ軸）との成す角である。主筐体２を右ロール運動させた時に生じる回転角θが正の回転角であり、主筐体２を左ロール運動させた時に生じる回転角θが負の回転角であるとする。

また例えば、再生対象画像上における切り出し枠の中心位置並びに左上隅及び右下隅の座標値を切り出し情報に含めておけば、それらの座標値から、平行移動処理、サイズ増減処理若しくは画像回転処理又はそれらの組み合わせを実現することが可能である。

画像回転処理を行う場合においては、切り出し枠の水平及び垂直方向がＸ軸及びＹ軸に対して傾く（図５参照）。図１０の切り出し処理部４２は、回転角θに基づき切り出し枠内の画像に幾何学的変換（アフィン変換又は射影変換）を施すことで、切り出し画像の水平及び垂直方向をＸ軸及びＹ軸と平行にすることができる。切り出し処理部４２から実際に出力画像として出力される切り出し画像の水平及び垂直方向は、Ｘ軸及びＹ軸に対して平行とされる。従って、幾何学的変換を用いて画像回転処理を行う場合においては、回転角θに応じた幾何学的変換の変換パラメータを切り出し情報に含めておくようにしても良い。

また更に、回転角θがゼロであっても、再生対象画像の座標系から出力画像の座標系への変換は幾何学的変換を用いて実現することができる。従って、再生対象画像から出力画像を生成するための幾何学的変換の変換パラメータを検出結果情報から生成して、その変換パラメータを切り出し情報に含めておくようにしても良い。この場合、その変換パラメータに従った幾何学的変換を介して再生対象画像から出力画像が生成されることにより、平行移動処理、サイズ増減処理若しくは画像回転処理又はそれらの組み合わせが実現される。

以下に、切り出し画像の表示制御に関する実施例として、第１〜第６実施例を説明する。矛盾無き限り、或る実施例に記載した事項を、他の実施例に適用することができる。

＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、表示映像に影響を与えるカメラ運動のタイミングについて説明する。所望の画像をＴＶモニタ７又はカメラモニタ１７に表示させるために操作者がデジタルカメラ１に対して行う操作は、主筐体２をカメラ運動させるカメラ運動操作と、それ以外の設定操作から成る。カメラ運動操作及び設定操作が成される、１つの連続した区間を、図１２に示す如く、操作期間と呼ぶ。操作期間は、カメラ運動操作の受付期間である第１要素期間と設定操作の受付期間である第２要素期間を内包する。

図１３（ａ）に示す如く、第１要素期間と第２要素期間を完全に一致させることも可能あるし、図１３（ｂ）に示す如く第１要素期間の一部と第２要素期間の一部が重なるように、或いは、図１３（ｃ）に示す如く第１要素期間と第２要素期間が完全に分離するように、第１及び第２要素期間を定めることも可能である。尚、図１３（ｂ）及び（ｃ）では、第１要素期間よりも先に第２要素期間が開始されているが、それらの先後関係を逆にすることも可能である。

第１要素期間中に成されたカメラ運動のみに基づいて平行移動処理、サイズ増減処理及び画像回転処理は成される。即ち、第１要素期間外に成されたカメラ運動は、切り出し枠の中心位置、大きさ及び回転角θに影響を与えない。操作者は、第２要素期間において、再生に関わる各種の設定をデジタルカメラ１に対して成すことができる。

表示映像に影響を与えるカメラ運動のタイミングを規定する方法として、第１〜第４方法を例示する。デジタルカメラ１において、第１〜第４方法の何れかを実施することが可能である。

第１方法では、常に検出結果情報に応じて、即時、平行移動処理、サイズ増減処理及び画像回転処理を行う。即ち、第１方法では、画像の再生を行おうとする全ての期間が操作期間であると共に第１要素期間であり、カメラ運動の内容は、即時、ＴＶモニタ７及びカメラモニタ１７に反映される。第１方法を採用すれば、カメラ運動操作に応じた表示内容変更のレスポンスが良くなる反面、操作者が主筐体２の姿勢等に常に気をはらっておく必要がある（例えば、常に操作者が主筐体２を保持しておく必要がある）。

第２〜第４方法では、図４の操作キー３３に含まれる特定ボタンを押下する操作に応じて、操作期間及び第１要素期間が定まる。操作者が特定ボタンを押し下げる圧力を特定ボタンに付与することを、特定ボタンの押下と言う。

第２方法では、特定ボタンを押下した時点が第１要素期間の開始時点とされる。操作期間の開始及び終了時点の決定方法並びに第１要素期間の終了時点の決定方法は任意である。特定ボタンを奇数回目に押下した時点を操作期間及び第１要素期間の開始時点とし、特定ボタンを偶数回目に押下した時点を操作期間及び第１要素期間の終了時点としても良い。第１方法と異なり、第２方法を採用すれば、常に主筐体２の姿勢等に気をはらっておく必要がなくなる（第３及び第４方法についても同様）。また、第２方法を採用すれば、カメラ運動操作に応じた表示内容変更のレスポンスが良い。

第３方法では、特定ボタンを押下した時点が第２要素期間の開始時点となり、特定ボタンに付与する圧力を解除した時点が第２要素期間の終了時点及び第１要素期間の開始時点となる。第１要素期間の終了時点の決定方法は任意である。例えば、特定ボタンを再度押下した時点を第１要素期間の終了時点とすることができる。第３方法が採用された場合、操作者は特定ボタンの押下中に必要な設定操作を行い、その設定内容の確認後に特定ボタンを離してカメラ運動操作を主筐体２に成す。

第４方法では、特定ボタンの押下中（即ち、特定ボタンに圧力を付与している期間）が第１要素期間とされる。操作期間の開始及び終了時点並びに第２要素期間の開始及び終了時点の決定方法は任意である。第４方法によれば、特定ボタンに対する１回の押下操作によって、第１要素期間の開始時点と終了時点を定めることができる。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例では、カメラ運動操作の受付期間としての第１要素期間中における、カメラモニタ１７又はＴＶモニタ７の表示内容制御について説明する。表示内容制御の方法として、以下に、第１〜第６表示制御方法を列記する。デジタルカメラ１において、第１〜第６表示制御方法の何れかを実施することが可能であり、矛盾なき限り、或る表示制御方法を他の表示制御方法と組み合わせて実施することも可能である。尚、矛盾なき限り、第２実施例の説明中における第１要素期間という用語を操作期間と読み替えることも可能である。

第１表示制御方法を説明する。第１及び第２表示制御方法では、第１要素期間中においてカメラモニタ１７に切り出し画像を表示することを前提としている。第１表示制御方法では、第１要素期間中に成されたカメラ運動操作の内容を、即時、カメラモニタ１７に反映させる。即ち、第１要素期間中にカメラ運動操作が成された時、そのカメラ運動操作に応じた切り出し情報に従った切り出し画像を、即時、再生対象画像から生成してカメラモニタ１７に表示させる。第１表示制御方法では、カメラ運動操作に応じた表示内容変更のレスポンスが良好となる。

第２表示制御方法を説明する。第２表示制御方法では、第１要素期間中に成されたカメラ運動操作の内容を、段階的に、カメラモニタ１７に反映させる。例えば、カメラモニタ１７に切り出し画像が表示されており且つ再生対象画像上における該切り出し画像の中心位置が（ｘ₁，ｙ₁）である状態を起点として、第１要素期間中に主筐体２がα軸の正方向にΔ分だけ平行移動せしめられた場合を考える（Δ＞０）。また、α軸の正方向におけるΔ分の平行移動に対応する、平行移動処理の平行移動量がΔｘであるとする。

この場合、例えば、図１０の切り出し処理部４２は、主筐体２がα軸の正方向にΔ分だけ平行移動せしめられた直後において、中心位置が（ｘ₁＋Δｘ／３，ｙ₁）の切り出し画像を再生対象画像から切り出してカメラモニタ１７に表示し、その後所定時間の経過後において、中心位置が（ｘ₁＋２Δｘ／３，ｙ₁）の切り出し画像を再生対象画像から切り出してカメラモニタ１７に表示する。その後更に所定時間が経過した後において、中心位置が（ｘ₁＋Δｘ，ｙ₁）の切り出し画像を再生対象画像から切り出してカメラモニタ１７に表示し、この時点で上記Δ分の平行移動に応じた平行移動処理を完了する。第２表示制御方法によれば、カメラ運動操作の内容が緩やかに映像に反映されるため、操作者が表示映像を所望のものに設定しやすくなる。

第３表示制御方法を説明する。第３表示制御方法では、第１要素期間中においてカメラモニタ１７に再生対象画像の全体画像を表示することを前提としている。第３表示制御方法では、第１要素期間中において、カメラモニタ１７に切り出し枠を実際に表示する。即ち例えば、切り出し処理部４２に入力される再生対象画像が図８（ａ）の再生対象画像４００である場合、切り出し処理部４２は、第１要素期間中において、切り出し枠４０１が重畳された再生対象画像４００をカメラモニタ１７に表示する。第１要素期間中においてカメラ運動操作があった際、そのカメラ運動操作に応じて切り出し枠４０１の位置等も変更されるが、その変更内容はカメラモニタ１７の表示内容に反映される。即ち例えば、第１要素期間中において、主筐体２が右ヨー運動した場合、カメラモニタ１７に表示される切り出し枠４０１がカメラモニタ１７に表示されている再生対象画像４００上で即時又は段階的に右側にシフトする。第３表示制御方法の如く、切り出し枠をカメラモニタ１７に表示することで、操作者が表示映像を所望のものに設定しやすくなる。

第４表示制御方法を説明する。第４表示制御方法においては、切り出し設定情報をカメラモニタ１７においてのみ表示させる。切り出し設定情報とは、操作者による、切り出し枠の位置等の決定を支援するための情報を指す。

第４表示制御方法において、例えば、第１要素期間中に、図１４に示すような画像４３０をカメラモニタ１７に表示させることができる。画像４３０は、図８（ｂ）の切り出し画像４１０の端部に図８（ａ）の再生対象画像４００の縮小画像である画像４３１を重畳したものであり、画像４３１が切り出し設定情報に相当する。カメラモニタ１７において、画像４３１上に切り出し枠を更に表示するようにしても良い。カメラモニタ１７に画像４３０が表示されている時点において、ＴＶモニタ７には、画像４３０ではなく、図８（ｂ）の切り出し画像４１０が表示される。即ち、ＴＶモニタ７には切り出し設定情報が表示されない。このため、切り出し設定情報がＴＶモニタ７に表示されることによる、ＴＶモニタ７の鑑賞者の違和感又は不快感が生じなくなる。

切り出し設定情報は上記のものに限定されない。第３表示制御方法にて述べたカメラモニタ１７に表示される切り出し枠も、切り出し設定情報の一種である。また、切り出し枠の位置や切り出しサイズを表す数値等を切り出し設定情報に含めることも可能である。

尚、第３又は第４表示制御方法による表示を、第１要素期間以外又は操作期間以外において実施することも可能である。例えば、現時点が第１要素期間又は操作期間に属するか否かに関わらず、カメラモニタ１７に、切り出し枠が重畳された再生対象画像の全体画像や、図１４の画像４３０のような画像を表示させるようにしても良い。

第５表示制御方法を説明する。第５表示制御方法では、再生対象画像が動画像であることが前提とされる。再生対象画像が動画像である場合、再生対象画像を形成する各フレーム画像から切り出し画像が順次生成され、切り出し画像列から成る動画像がＴＶモニタ７に表示されると共に、切り出し画像列から成る動画像又はフレーム画像列から成る動画像（即ち再生対象画像）がカメラモニタ１７に表示される。第５表示制御方法では、第１要素期間中において、カメラモニタ１７に表示される動画像の再生を一時停止する。即ち例えば、第１要素期間の開始時点においてカメラモニタ１７に表示される画像（静止画像としての切り出し画像又はフレーム画像）を、第１要素期間中、固定的にカメラモニタ１７に表示させる。動画像の再生を一時停止することで操作者が各種の操作を行いやすくなる。第１要素期間が終了すれば、カメラモニタ１７に表示される動画像の再生は再開される。

第６表示制御方法を説明する。第６表示制御方法では、カメラ運動検出部２１における主筐体２の姿勢又は移動の検出を上述のビジュアルマーカ方式にて実現することが前提となっている。ビジュアルマーカ方式による所望の検出を実現するべく、表示制御部２０は、第１要素期間中において、ＴＶモニタ７にマーカを表示させる。例えば、図８（ｂ）の切り出し画像４１０をＴＶモニタ７に表示させるべきタイミングが第１要素期間に属していたとき、表示制御部２０は、切り出し画像４１０に基づく、図１５の画像４５０をＴＶモニタ７に表示させる。

画像４５０は、切り出し画像４１０の左上隅及び右下隅に夫々マーカ４５１及び４５２を重畳したものである。第１要素期間中において、操作者はマーカ４５１及び４５２がデジタルカメラ１の撮影範囲内に収まるように主筐体２を保持した上で必要なカメラ運動操作を成す。第１要素期間中において、ＴＶモニタ７上におけるマーカ４５１及び４５２の表示位置、大きさ及び形状等は全て一定である。撮像部１１は、第１要素期間中において所定のフレーム周期で撮影を行ってフレーム画像の画像データを順次生成する。

カメラ運動検出部２１は、第１要素期間中の撮影によって得られる画像データから、第１要素期間における主筐体２の姿勢又は移動を検出する。より具体的には、第１要素期間中の撮影によって得られる画像データに基づき、第１要素期間中に撮影されたフレーム画像列上におけるマーカ４５１及び４５２の位置、大きさ及び形状等の変化を検出し、その検出結果から、ヨー運動、ピッチ運動、ロール運動、α軸運動、β軸運動及びγ軸運動の夫々、並びに、それらの組み合わせの運動の内容を検出する。尚、図１５の例では、マーカの数が２となっているが、デジタルカメラ１の撮影範囲内に収められるべきマーカの個数は２以外であっても良い。また、第１要素期間中においてＴＶモニタ７上におけるマーカ４５１及び４５２の表示位置、大きさ及び形状等は全て一定である、と述べたが、ＴＶモニタ７上におけるマーカ４５１及び４５２の表示位置、大きさ及び形状等をカメラ運動検出部２１が把握しているのならば、第１要素期間中においてＴＶモニタ７上におけるマーカ４５１及び４５２の表示位置、大きさ及び形状等を任意に変更することができる。但し、それらの変更がなければ（即ち、それらが一定であれば）、変更に伴う補正処理等が不要である。

上述の各表示制御方法ではカメラモニタ１７の表示内容に特に注目したが、矛盾なき限り、上述の各表示制御方法にて述べたカメラモニタ１７の表示内容の全部又は一部を、ＴＶモニタ７に表示することも可能である。

＜＜第３実施例＞＞
第３実施例を説明する。第３実施例では、第１要素期間の終了後におけるＴＶモニタ７の表示内容制御について説明する。第３実施例に係る表示内容制御の方法として、以下に、第７及び第８表示制御方法を説明する。デジタルカメラ１において、第７又は第８表示制御方法を実施することが可能である。

第７表示制御方法を説明する。第７及び第８表示制御方法では、第１要素期間中に成されたカメラ運動操作の内容が、第１要素期間又は操作期間においては、ＴＶモニタ７に反映されないことを前提としている。第７表示制御方法では、第１要素期間中に成されたカメラ運動操作の内容を、第１要素期間又は操作期間の終了直後において、即時、ＴＶモニタ７に反映させる。即ち、第１要素期間中においてはカメラ運動操作に応じた切り出し画像の表示をＴＶモニタ７にて行わないが、第１要素期間又は操作期間が終了すれば、その直後において、カメラ運動操作に応じた切り出し情報に基づく切り出し画像を、即時、再生対象画像から生成してＴＶモニタ７に表示させる。第７表示制御方法では、カメラ運動操作に応じた表示内容変更のレスポンスが良好となる。

第８表示制御方法を説明する。第８表示制御方法では、第１要素期間中に成されたカメラ運動操作の内容を、第１要素期間又は操作期間の終了直後において、段階的に、ＴＶモニタ７に反映させる。例えば、ＴＶモニタ７に切り出し画像が表示されており且つ再生対象画像上における該切り出し画像の中心位置が（ｘ₁，ｙ₁）である状態を起点として、第１要素期間中に主筐体２がα軸の正方向にΔ分だけ平行移動せしめられた場合を考える（Δ＞０）。また、α軸の正方向におけるΔ分の平行移動に対応する、平行移動処理の平行移動量はΔｘであるとする。

この場合、例えば、図１０の切り出し処理部４２は、第１要素期間又は操作期間の終了直後において、中心位置が（ｘ₁＋Δｘ／３，ｙ₁）の切り出し画像を再生対象画像から切り出してＴＶモニタ７に表示し、その後所定時間の経過後において、中心位置が（ｘ₁＋２Δｘ／３，ｙ₁）の切り出し画像を再生対象画像から切り出してＴＶモニタ７に表示する。その後更に所定時間が経過した後において、中心位置が（ｘ₁＋Δｘ，ｙ₁）の切り出し画像を再生対象画像から切り出してＴＶモニタ７に表示し、この時点で上記Δ分の平行移動に応じた平行移動処理を完了する。これにより、平行移動処理の前後における表示映像の位置関係が鑑賞者にとって理解しやすくなる。サイズ増減処理又は画像回転処理を実行する場合においても同様である。

＜＜第４実施例＞＞
第４実施例を説明する。第４実施例は、平行移動処理の具体的な実施例である。第４実施例並びに後述の第５及び第６実施例では、説明の便宜上、操作期間の開始及び終了時点が第１要素期間のそれらと一致している場合を想定する。また、第４実施例並びに後述の第５及び第６実施例では、再生対象画像が動画像であることを想定すると共に、切り出し枠内の画像の画素数よりもＴＶモニタ７の表示画面の画素数の方が多いことを想定する（従って、切り出し枠内の画像を切り出してＴＶモニタ７にて表示する際、切り出し枠内の画像のサイズが拡大される）。

更に、第４実施例では、カメラ運動検出部２１における主筐体２の姿勢又は移動の検出を、上述のオプティカルフロー方式にて実現することを想定する。主筐体２の姿勢又は移動を検出するために、操作期間において撮像部１１は所定のフレーム周期にて被写体の撮影を行う。操作期間中の撮影によって得られるフレーム画像を特に検出用フレーム画像と呼ぶ。これと区別すべく、再生対象画像を形成する各フレーム画像を再生フレーム画像と呼ぶ。

第４実施例の具体的動作内容を、図１６を参照して説明する。第４実施例では、説明の簡略化上、切り出しサイズが常に一定であって且つ回転角θが常に０°であるとする。或る時刻ｔ₁において、再生フレーム画像上における切り出し画像の中心位置（即ち、切り出し枠の中心位置）が（ｘ₁，ｙ₁）であるものとし、時刻ｔ₂及びｔ₃間の期間が操作期間であるものとする。時刻ｔ_i+1は、時刻ｔ_iよりも後に訪れる時刻である（ｉは自然数）。

そうすると、図１６に示す如く、表示制御部２０は、時刻ｔ₁から時刻ｔ₂に至るまでの期間において、記録媒体１５より順次読み出される再生フレーム画像から中心位置が（ｘ₁，ｙ₁）であって且つ切り出しサイズが一定の切り出し画像を順次抽出し、この順次抽出した切り出し画像の拡大画像列を切り出し画像の動画像としてＴＶモニタ７に表示する。

その後、時刻ｔ２に至ると、図１０の切り出し設定部４１は、カメラ運動検出部２１からの検出結果情報に基づき、必要に応じて切り出し情報を再設定する。カメラ運動検出部２１は、時間的に隣接する２枚の検出用フレーム画像の画像データに基づき、該２枚の検出用フレーム画像間におけるオプティカルフローを算出し、該オプティカルフローから、該２枚の検出用フレーム画像間における全体的な被写体の動きを検出する。ここで検出される動きを表す二次元ベクトルを、全体動きベクトルという。

カメラ運動検出部２１又は切り出し設定部４１（図３又は図１０参照）は、操作期間中に得られた各全体動きベクトルの向き及び大きさから、操作期間中における主筐体２のカメラ運動の内容を解析する。

今、操作期間中に主筐体２がα軸の正方向にΔ分だけ平行移動せしめられた場合を考える。この場合、各全体動きベクトルの向きはＸＹ座標面上において左向きとなり（図５及び図１６参照）、操作期間中に得られた全ての全体動きベクトルの合成ベクトルの大きさは、Δに応じた大きさとなる。切り出し設定部４１は、各全体動きベクトルの向きと該合成ベクトルの大きさから、操作期間中に主筐体２がα軸の正方向にΔ分だけ平行移動せしめられた或いは操作期間中にΔに相当する分だけ主筐体２が右ヨー運動したと判断し、その判断結果に応じた切り出し情報を切り出し処理部４２に送る。

この切り出し情報に基づき、時刻ｔ３以降において、切り出し処理部４２は、記録媒体１５より順次読み出される再生フレーム画像から中心位置が（ｘ₁＋Δｘ，ｙ₁）であって且つ切り出しサイズが一定の切り出し画像を順次抽出し、この順次抽出した切り出し画像の拡大画像列を切り出し画像の動画像としてＴＶモニタ７に表示する。尚、α軸の正方向におけるΔ分の平行移動に対応する、平行移動処理の平行移動量はΔｘであるとする。

第４実施例において、第１実施例にて述べた任意の方法、第２実施例にて述べた任意の方法及び第３実施例にて述べた任意の方法を採用することが可能である。例えば、第１実施例で述べた第１方法と、第２実施例にて述べた第３〜第５表示制御方法と、第３実施例で述べた第７表示制御方法を、第４実施例において実施することができる。

＜＜第５実施例＞＞
第５実施例を説明する。第５実施例は、サイズ増減処理の具体的な実施例である。第５実施例では、カメラ運動検出部２１における主筐体２の姿勢又は移動の検出を、上述のビジュアルマーカ方式にて実現することを想定する。

第５実施例の具体的動作内容を、図１７を参照して説明する。第５実施例では、説明の簡略化上、再生フレーム画像上における切り出し画像の中心位置（即ち、切り出し枠の中心位置）が常に一定であると共に回転角θが常に０°であるとする。また、或る時刻ｔ₁において、切り出しサイズが（Ｗ₁×Ｈ₁）であるとする。即ち、或る時刻ｔ₁において、切り出し枠の幅及び高さが夫々Ｗ₁及びＨ₁であるとする。また、第４実施例と同様、時刻ｔ₂及びｔ₃間の期間が操作期間であるものとする。

そうすると、図１７に示す如く、表示制御部２０は、時刻ｔ₁から時刻ｔ₂に至るまでの期間において、記録媒体１５より順次読み出される再生フレーム画像から中心位置が一定であって且つ切り出しサイズが（Ｗ₁×Ｈ₁）である切り出し画像を順次抽出し、この順次抽出した切り出し画像の拡大画像列を切り出し画像の動画像としてＴＶモニタ７に表示する。

その後、時刻ｔ２に至ると、図１０の切り出し設定部４１は、カメラ運動検出部２１からの検出結果情報に基づき、必要に応じて切り出し情報を再設定する。第２実施例で述べたように、操作期間中において、表示制御部２０は図１５のマーカ４５１及び４５２のようなマーカをＴＶモニタ７に継続的に表示させる一方で、操作者はＴＶモニタ７上のマーカがデジタルカメラ１の撮影範囲内に収まるようにしつつ必要なカメラ運動操作を主筐体２に対して施す。操作期間中、所定のフレーム周期にて検出用フレーム画像の撮影が行われ、カメラ運動検出部２１又は切り出し設定部４１（図３又は図１０参照）は、検出用フレーム画像列上におけるマーカの位置、大きさ及び形状等の変化から、操作期間中における主筐体２のカメラ運動の内容を解析する。

今、操作期間中に主筐体２がβ軸の正方向にΔ分だけ平行移動せしめられた場合を考える。この場合、操作期間の開始直後に得られた検出用フレーム画像上におけるマーカの大きさＳＩＺＥ₁は、操作期間の終了直前に得られた検出用フレーム画像上におけるマーカの大きさＳＩＺＥ₂よりも小さく、大きさＳＩＺＥ₁と大きさＳＩＺＥ₂の比又は差はΔに応じた値を持つ。また、図１５のマーカ４５１及び４５２のように、複数のマーカがＴＶモニタ７に表示されていたならば、操作期間の開始直後に得られた検出用フレーム画像上における複数のマーカ間の距離Ｄ₁は、操作期間の終了直前に得られた検出用フレーム画像上における複数のマーカ間の距離Ｄ₂よりも短く、距離Ｄ₁と距離Ｄ₂の比又は差はΔに応じた値を持つ。

切り出し設定部４１は、大きさＳＩＺＥ₁と大きさＳＩＺＥ₂の比若しくは差、又は、距離Ｄ₁と距離Ｄ₂の比又は差から、操作期間中に主筐体２がβ軸の正方向にΔ分だけ平行移動せしめられたと判断し、その判断結果に応じた切り出し情報を切り出し処理部４２に送る。

この切り出し情報に基づき、時刻ｔ３以降において、切り出し処理部４２は、記録媒体１５より順次読み出される再生フレーム画像から中心位置が一定であって且つ切り出しサイズが（Ｗ₂×Ｈ₂）である切り出し画像を順次抽出し、この順次抽出した切り出し画像の拡大画像列を切り出し画像の動画像としてＴＶモニタ７に表示する。ここで、Ｗ₁＞Ｗ₂且つＨ₁＞Ｈ₂であり、Ｗ₁／Ｗ₂及びＨ₁／Ｈ₂は、Δに応じた値を持つ。

第５実施例において、第１実施例にて述べた任意の方法、第２実施例にて述べた任意の方法及び第３実施例にて述べた任意の方法を採用することが可能である。例えば、第１実施例で述べた第４方法と、第２実施例にて述べた第３及び第６表示制御方法と、第３実施例で述べた第７表示制御方法を、第５実施例において実施することができる。

＜＜第６実施例＞＞
第６実施例を説明する。第６実施例は、画像回転処理の具体的な実施例である。第６実施例では、カメラ運動検出部２１における主筐体２の姿勢又は移動の検出を、ロール方向における主筐体２の角速度を検出する角速度センサ（不図示）にて実現することを想定する。

第６実施例の具体的動作内容を、図１８を参照して説明する。第６実施例では、説明の簡略化上、再生フレーム画像上における切り出し画像の中心位置（即ち、切り出し枠の中心位置）及び切り出しサイズが常に一定であるものとする。或る時刻ｔ₁において、上述の回転角θが０°であるとする。また、第４実施例と同様、時刻ｔ₂及びｔ₃間の期間が操作期間であるものとする。

そうすると、図１８に示す如く、表示制御部２０は、時刻ｔ₁から時刻ｔ₂に至るまでの期間において、記録媒体１５より順次読み出される再生フレーム画像から中心位置及び大きさが一定であって且つ回転角θが０°の切り出し画像を順次抽出し、この順次抽出した切り出し画像の拡大画像列を切り出し画像の動画像としてＴＶモニタ７に表示する。

その後、時刻ｔ２に至ると、図１０の切り出し設定部４１は、カメラ運動検出部２１からの検出結果情報に基づき、必要に応じて切り出し情報を再設定する。具体的には、操作期間中に角速度センサにて検出される、ロール方向における主筐体２の角速度から、操作期間中における主筐体２のカメラ運動の内容を解析する。

今、操作期間中に主筐体２が回転角θ_Oに相当する回転量だけ右ロール運動した場合を想定する（θ_O＞０°）。この場合、その右ロール運動に応じた信号が角速度センサより出力され、切り出し設定部４１は、その信号に応じた切り出し情報を切り出し処理部４２に送る。この切り出し情報に基づき、時刻ｔ３以降において、切り出し処理部４２は、記録媒体１５より順次読み出される再生フレーム画像から中心位置及び大きさが一定であって且つ回転角θがθ_Oの切り出し画像を順次抽出し、この順次抽出した切り出し画像を拡大しつつ（−θ_O）だけ回転して得た画像列を切り出し画像の動画像としてＴＶモニタ７に表示する。

第６実施例において、第１実施例にて述べた任意の方法、第２実施例にて述べた任意の方法及び第３実施例にて述べた任意の方法を採用することが可能である。例えば、第１実施例で述べた第３方法と、第２実施例にて述べた第３〜第５表示制御方法と、第３実施例で述べた第８表示制御方法を、第６実施例において実施することができる。

第１実施例で述べた第３方法を適用する際、以下のように処理しても良い。図４の操作キー３３に含まれる特定ボタン（不図示）を（２×ｎ−１）回目に押下げた時点を操作期間及び第２要素期間の開始時点とし、（２×ｎ−１）回目の特定ボタンの押下げを解除した時点を第１要素期間の開始時点とする。そして、（２×ｎ）回目に特定ボタンを押下げた時点を操作期間の終了時点（第１及び第２要素期間の終了時点）とし、（２×ｎ）回目の特定ボタンの押下げを解除した時点以降において、最新の切り出し情報に従う切り出し画像（即ち、（２×ｎ−１）回目の特定ボタンの押下後のカメラ運動操作に応じた切り出し画像）を、ＴＶモニタ７に表示する。ｎは自然数である。

本実施形態では、上述の如く、切り出し枠の中心位置である切り出し位置、切り出し枠の大きさである切り出しサイズ及び切り出し枠の回転角θを、主筐体２の姿勢又は移動の検出結果から決定する。これにより、操作者は素早く且つ直感的に再生映像の画角等を所望のものに設定することが可能となる。尚、幾何学的変換によって再生対象画像から出力画像を生成する場合においては、主筐体２の姿勢又は移動の検出結果から幾何学的変換の変換パラメータを決定することになる。但し、該変換パラメータは切り出し位置、切り出しサイズ及び回転角θに応じたパラメータであるため、幾何学的変換によって再生対象画像から出力画像を生成する場合においても、結局、主筐体２の姿勢又は移動の検出結果から切り出し位置、切り出しサイズ及び回転角θを決定していることに変わりはない。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、切り出し位置、切り出しサイズ及び切り出し枠の回転角θを設定するための操作を全てカメラ運動操作によって実現しているが、図４の操作部１８に対する操作を併用して、切り出し位置、切り出しサイズ及び切り出し枠の回転角θの設定を行うようにしても良い。例えば、カメラ運動操作によって切り出し位置の設定を行いつつズームレバー３４に対する操作によって切り出しサイズの設定を行うようにしても良いし、カメラ運動操作によって切り出しサイズの設定を行いつつ操作キー３３内の十字キー（不図示）に対する操作によって切り出し位置の設定を行うようにしても良い。

［注釈２］
上述の実施形態では、基準状態において光軸３００とβ軸が一致していることを想定しているが、光軸３００とβ軸との一致性は必ずしも必要ではない（例えば、光軸３００がβ軸に対して傾いていても良い）。光軸３００がβ軸と一致していない場合においても、主筐体２の運動がα軸運動又はγ軸運動である時には平行移動処理を成すことができるし、主筐体２の運動がβ軸運動である時にはサイズ増減処理を成すことができる。

［注釈３］
上述の実施形態では、主筐体２の運動に応じて切り出し情報を設定しているが、主筐体２から分離した他の筐体（不図示）の運動に応じて切り出し情報の設定を行うようにしても良い（この場合、上述の各説明文中の「主筐体２」を「他の筐体」に読み替えれば良い）。但し、この場合、他の筐体の運動状態がデジタルカメラ１の撮影結果に反映されないため、デジタルカメラ１の撮影結果に基づく上述のオプティカルフロー方式又はビジュアルマーカ方式にて他の筐体の運動を検出することはできなくなる。しかしながら、勿論、上記撮像部１１と同様の撮像部を他の筐体に設けおくようにしたならば、他の筐体内の撮像部の出力に基づきオプティカルフロー方式又はビジュアルマーカ方式にて他の筐体の運動を検出することも可能である。また、アクティブソナー方式又はパッシブソナー方式を用いて他の筐体の運動を検出することも可能である。他の筐体は、デジタルカメラ１の筐体の一部であっても良いし、デジタルカメラ１の筐体とは別の筐体であっても良い。

［注釈４］
主筐体２の運動がヨー運動、ピッチ運動、α軸運動又はγ軸運動である時、平行移動処理の代わりに、せん断処理を実行するようにしても良い。せん断処理は、画像回転処理を行う場合などと同様、再生対象画像に幾何学的変換（アフィン変換又は射影変換）を施すことで実現される。

例えば、主筐体２の運動がヨー運動又はα軸運動である場合、再生対象画像上の切り出し枠内の長方形画像に対してＸ軸方向へのせん断を施し、これによって得られた平行四辺形型の画像を切り出し画像（後述の切り出し処理部４２が生成すべき切り出し画像）として生成するようにしても良い。Ｘ軸方向へのせん断が成される場合、上記長方形画像に対する上記平行四辺形型の画像の傾き角度は、ヨー運動における回転角又はα軸方向への主筐体２の平行移動量が増大するにつれて増大し、該傾き角度の極性は、主筐体２の運動が右ヨー運動である場合又はα軸の正方向への平行移動である場合と、主筐体２の運動が左ヨー運動である場合又はα軸の負方向への平行移動である場合とで逆である。

また例えば、主筐体２の運動がピッチ運動又はγ軸運動である場合、再生対象画像上の切り出し枠内の長方形画像に対してＹ軸方向へのせん断を施し、これによって得られた平行四辺形型の画像を切り出し画像（後述の切り出し処理部４２が生成すべき切り出し画像）として生成するようにしても良い。Ｙ軸方向へのせん断が成される場合、上記長方形画像に対する上記平行四辺形型の画像の傾き角度は、ピッチ運動における回転角又はγ軸方向への主筐体２の平行移動量が増大するにつれて増大し、該傾き角度の極性は、主筐体２の運動が上ピッチ運動である場合又はγ軸の正方向への平行移動である場合と、主筐体２の運動が下ピッチ運動である場合又はγ軸の負方向への平行移動である場合とで逆である。

［注釈５］
本実施形態に係るデジタルカメラ１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いてデジタルカメラ１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい

１ デジタルカメラ
２ 主筐体
３ モニタ筐体
５ 被写体
６ テレビ受信機
７ ＴＶモニタ
１１ 撮像部
１７ カメラモニタ
２０ 表示制御部
２１ カメラ運動検出部
４１ 切り出し設定部
４２ 切り出し処理部
３００ 光軸

Claims (6)

1. 筐体と、
   前記筐体の姿勢又は移動を検出する検出部と、
   前記検出部の検出結果に基づいて入力画像の一部を切り出すことにより出力画像を生成し、前記出力画像を表示部上で表示させる表示制御部と、を備えた
   ことを特徴とする画像再生装置。
2. 前記表示制御部は、
   前記入力画像から前記出力画像を切り出す際における切り出し位置、
   前記出力画像の大きさとしての切り出しサイズ、及び、
   前記入力画像に対する前記出力画像の回転角の内、
   少なくとも１つを前記検出部の検出結果に基づいて設定することにより、前記入力画像から前記出力画像を生成する
   ことを特徴とする請求項１に記載の画像再生装置。
3. 前記筐体は、撮像装置の筐体であり、
   前記検出部は、ヨー方向若しくはピッチ方向における前記筐体の姿勢変化、又は、前記撮像装置の光軸に直交する方向への前記筐体の平行移動を、第１運動として検出し、
   前記表示制御部は、前記第１運動に応じて前記切り出し位置を変化させる
   ことを特徴とする請求項２に記載の画像再生装置。
4. 前記筐体は、撮像装置の筐体であり、
   前記検出部は、前記撮像装置の光軸方向への前記筐体の平行移動を、第２運動として検出し、
   前記表示制御部は、前記第２運動に応じて前記切り出しサイズを変化させる
   ことを特徴とする請求項２に記載の画像再生装置。
5. 前記筐体は、撮像装置の筐体であり、
   前記検出部は、前記撮像装置の光軸周りに前記筐体を回転させる前記筐体の姿勢変化を、第３運動として検出し、
   前記表示制御部は、前期第３運動に応じて前記回転角を変化させる
   ことを特徴とする請求項２に記載の画像再生装置。
6. 請求項１〜請求項５の何れかに記載された画像再生装置を備え、
   前記画像再生装置に対する入力画像を撮影によって取得する
   ことを特徴とする撮像装置。