以下、図面を参照して、この発明の実施の形態について詳細に説明する。
図1(a)および図1(b)は、本発明が適用可能な動画および静止画ならびに音声等が記録可能なカメラ装置の概略を示す。
図1(a)は、カメラ装置(撮影装置)1を撮影レンズ側から見た状態を示す。
カメラ装置1は、撮像レンズ11、フラッシュ12、(静止画撮影用)シャッターボタン13およびリモコン受信部14等を有する。カメラ装置1はまた、パーソナルコンピュータや外部電源装置(充電器)等との接続に利用されるアダプタ接続部(接続端子)15を有する。
図1(b)は、カメラ装置1を、撮像レンズ11と逆の側から見た状態を示す。
カメラ装置1はまた、主電源スイッチを兼ねるフレーム21に一体に組み込まれた液晶モニタ(LCDパネル)22およびスピーカ23を有する。電子カメラ装置1はさらに、フレーム21が閉じられる(電子カメラ装置本体の所定の位置に収容される)位置でオフされる所定の位置に、主電源スイッチ24を有する。
また、カメラ装置1の所定の位置には、動画の記録(録画)の開始および停止(終了)の指示(制御コマンド)を入力可能な録画ボタン25、動作モードやさまざまな条件の入力および決定の指示を選択する指示(制御コマンド)を入力可能なジョグ(JOG)ダイアル26、ジョグダイアル26により選択(ガイド)される指示を確定(実行)するための指示(制御コマンド)を入力可能な決定(OK)ボタン27、撮像レンズ11により取り込まれる画像の画角(撮影対象を撮像する角度)を変更するズーム動作のための制御信号を入力可能なズームバー28、メニュー画面を表示させるための制御コマンドの入力に利用されるメニューボタン29等が設けられている。
図2は、図1に概要を示したカメラ装置の制御系の一例を示す。
撮像レンズ11から取り込まれた被写体像は、例えばCCDセンサである撮像素子31の結像面に結像され、アナログ信号(撮像画像データ)に変換される。被写体像は、撮像素子(CCDセンサ)31により、光の明暗に基づいて電気信号に変換され、アナログ−デジタル(A/D)変換部101によりデジタル信号に変換され、(カメラ)信号処理部102に入力される。
信号処理部102では、A/D変換部101によりデジタル信号に変換された撮像画像データに、例えばガンマ補正、色信号分離、あるいはホワイトバランス調整等の処理が施される。
カメラ信号処理部102から出力された撮像画像データは、メモリコントローラ103を経由して画像表示処理部104に供給される。画像表示処理部104は、ビデオインタフェース(Video I/F)/OSD(On Screen Display)処理部105およびビデオデコーダ(Video Decoder)106等を含み、表示出力のための画像信号すなわちビデオ信号を生成する。ビデオインタフェースおよびOSD処理部105は、図3(a)および図3(c)を用いて後段に説明するが、LCD22に表示されている画像の任意の部分を拡大した画像を、例えば表示枠もしくは子画面により表示させる場合に、表示枠もしくは子画面を表示させるために用いられる。なお、OSD処理部105を介して重ね合わせられる画像は、以下に説明する画像圧縮・伸長処理部108およびメモリコントローラ103と以下に説明するバッファメモリ110またはメインメモリ109との間のデータの転送により拡大あるいは縮小される。
ビデオデコーダ106の出力は、液晶パネル駆動回路(LCD Driver)107に入力され、液晶パネル駆動回路107により、フレーム21にマウントされているLCDパネル(以下単にLCDと呼称する)22(図1(b)参照)に、表示される。
カメラ信号処理部102から出力された撮像画像データは、記録時においては、圧縮/伸長部108で圧縮され、主制御装置(CPU)111の制御の下で、記録メディアコントローラ121を経由して、主記録媒体、例えばハードディスク装置(以下HDDと略称する)122、あるいは付随する取り出し可能な記録媒体、例えば不揮発性メモリであるメモリカード123に記録される。なお、圧縮/伸長部108においては、静止画は、例えばJPEG規格等の、動画(非静止画)は、MPEG規格等の、周知の圧縮方式により圧縮される。また、メモリカード123は、例えばSDカード(登録商標)や、mini−SD(登録商標)と呼ばれる半導体メモリが利用可能である。もちろん、HDD122に換えて、例えば光ディスクが用いられてもよいことはいうまでもない。
HDD122またはメモリカード123に既に記録されている画像を再生する際には、HDD122あるいはメモリカード123から読み出された画像が圧縮/伸長部108において伸長され、メモリコントローラ103を通じて、上述の画像表示処理部104に供給され、LCD22に表示される。
画像表示処理部104においては、図4により後段に詳述するが、メモリコントローラ103に接続されたメインメモリ(メモリ回路例えばSDRAM)109およびバッファ(ワーク)メモリ110とを用い、LCD22に表示させるさまざまな画像、例えば拡大表示モードにおいて拡大表示すべき画像およびその対象となる領域の縮小画像等が、生成される。また、生成された縮小画像等は、LCD22による表示に先立って、OSD処理部105により生成される「アイコン」や、動作の表示に利用されるさまざまな「マーク」と重ね合わせられる。なお、バッファ(ワーク)メモリ110には、メインメモリ109の記録領域の一部が割り当てられてもよい。
メインメモリ109およびバッファメモリ110は、例えば、画像データの縮小(サムネイル画像の作成)や詳述しないが編集モードにおける編集、画像ファイルの順番の入れ替え等に利用される。
また、バッファメモリ110は、1画面分の画像データあるいは複数画面分の画像データを保存することができる。なお、バッファメモリ110に保存されている画像データはメモリコントローラ103を介して画像表示処理部104に入力されるので、LCD22において、逐次再生(モニタ)可能である(画像編集時の状態を確認できる)。
カメラ装置1においてはまた、編集時あるいは撮影時には、音声入出力処理部131に接続されたマイク132あるいはオーディオ入力端(Audio In)により、音声/オーディオデータを取り込むことができる。音声データは、撮影された画像データと関連付けられて、HDD122またはメモリカード123の所定の領域に記録される。
記録された音声データは、映像(画像)の再生時において、撮像した画像データと同時にHDD122またはメモリカード123から読み出され、音声出力として、スピーカ133またはオーディオ出力端(Audio Out)に出力される。もちろん、再生時において、スピーカ133から出力される音声は、消音(出力レベルを「0」と)することも可能である。
ところで、記録媒体であるHDD122においては、その容量から、静止画を記録可能な画像数および動画を記録する際の記録時間(タイトル数)は、数100〜数1000にも及ぶ。このため、記録画像やタイトルの送りや戻しには、高速性が要求される。
従って、ジョグダイアル26とOKボタン27により、多くの画像やタイトルの選択やさまざまなモードの設定が、ストレスなく処理可能である(多くの画像やタイトルを連続してサーチして特定する際に、ジョグダイアル26のような操作性の高いスイッチが有益である)。また、ジョグダイアル26により入力される内容(ユーザによる操作)、あるいはカメラ装置1の動作状態、もしくはメニューボタン29によるメニュー画面の表示等は、上述したCPU111、メモリ回路109、画像表示処理部104、ビデオインタフェースおよびOSD処理部105等を介して合成され、LCD22に表示される。
なお、OK(決定)ボタン27は、CPU111に、ボタン27が押された(オン/オフ信号が入力された)情報を与える。CPU111は、その情報(ボタン27)から入力されるオン/オフ信号に基づいて、ジョグダイアル26により選択されている画像やタイトルあるいはモードを確定し、再生あるいはモードの設定等の処理を実行する。
ジョグダイアル26は、CPU(主制御装置)111に、その回転角と回転スピードの情報を与える。CPU111は、それらの情報から(次の)画像の表示スピード等を制御することが可能である。
また、OK(決定)ボタン27は、ジョグダイアル26の回転中心に同軸(同心)状に位置される。なお、OK(決定)ボタン27は、概ね中心(軸方向)に向けて力がかけられた(押された)場合は、上述のオン信号を入力可能で、円周上の円周を概ね4等分した4方向(一般に、「上下左右」と呼称される)のいずれかに力が加えられることで、例えばLCD22に表示されている画像を、力が加えられている方向にスクロールさせる制御コマンド(指示)を入力させることができる。
次に本発明のカメラ装置における特徴的な構成及び画像データ処理方法を説明する。
例えば、図3(a)に示すように、画像再生中に、LCD22に再生対象画像(動画)の全体22−300が表示されている状態で(図3(b)に抜き出して説明する)カメラ装置1の任意のスイッチまたはボタンに代表されるユーザ指示入力部、例えばズームバー28による拡大表示の開始が指示されると、LCD22に表示される画像は、図3(c)に示すような、拡大表示画面22−301に切り替えられる。
なお、拡大表示画面22−301には、縮小ガイド画面(等倍サムネイルと呼称される場合もある)22−302と、現在拡大表示画面22−301として拡大表示されている領域を示す拡大位置マークもしくは枠表示22−303が、同時に表示される。また、拡大表示画面22−301の任意の位置には、OSD処理部105により、ズームバー28の位置に基づいて規定され、主制御部111の制御により圧縮・伸長処理部108により設定された現在表示している拡大画像の拡大倍率が表示される。
また、拡大画像が表示されている間にOKボタン27がユーザにより操作され、ユーザから「上下左右」のいずれかの方向への拡大対象領域の移動が指示(入力)された場合には、拡大位置マーク22−303が、縮小表示されている画像全体表示22−302内を移動される。これにより、拡大表示される領域が変化される。
一方、ズームバー28が[T(拡大)]側もしくは[W(縮小)]側のいずれかの方向に移動されることで、対応する倍率が指示され、拡大画像の拡大倍率が変化される。
なお、縮小ガイド画像(全体)22−302と拡大位置マーク22−303は、例えばズームバー28あるいはOKボタン27の操作が中止されてから一定時間が経過した場合(図示しないカウンタまたはタイマにより、例えば3〜5秒が計数されることで)、消去される。また、サムネイル画像(縮小ガイド画面)が完全に消去されるまでの間は、図5により、以下に説明するように、所定時間が経過する毎に、縮小ガイド画面として表示されている画像の濃度が、次第に低下される(縮小ガイド画像の透過率が、次第に増大される)。もちろん、例えばOKボタン27がオンされること等を検知して、縮小ガイド画面を消去するように、設定することも可能である。
図4に、図3(a)および図3(c)を用いて説明した拡大画像再生中の画像の任意の領域を拡大表示可能とする構成と信号の流れを示す。なお、図2により既に説明した構成には同じ符号を付して、詳細な説明を省略する。また、ここでは、所定の時間内に任意の個数(枚数)の画像が連続して存在する「連写画像」についても『動画(動画像)』として表現する。もちろん、非動画すなわち静止画(スチル画像)についても同様に実施可能であることはいうまでもない。
既に説明したように、例えばズームバー28により拡大表示モードの開始が指示されると、図4の[A]において、HDD105(あるいはメモリカード106)から出力されたMPEG圧縮された再生ストリーミング信号は、SDRAM(メモリ回路)104のマップ401上に転送される。すなわち、拡大表示すべき画像の画像ファイルから拡大する領域の画像データが取得される。
続いて、[B]および[C]において、圧縮・伸長部(MPEGコーデック)108により画像データがデコードされ、ビデオ表示用のYUV信号に変換されて、メインメモリ(SDRAM)109のマップ402上にYUV信号として転送される。すなわち、拡大すべき画像データが伸張され、拡大画像に対応するビデオ表示データが生成される。
YUV信号は、そのまま表示される場合は、ビデオインタフェースおよびOSD処理部105において、OSD(ここでは図3(c)の表示22−301の縮小ガイド画面22−302の枠および拡大位置マーク22−303の枠に対応するデータ)を付加され、ビデオデコーダ106により、ビデオ信号に変換され、液晶パネル駆動回路107を介してLCD22に表示される。なお、外部に接続された表示装置に表示される場合、ビデオ出力端に出力される信号が利用可能である。
また、縮小ガイド画面の表示に用いるYUVデータを生成するため、YUV信号が画像131に入力される[D]。すなわち、画像全体のデータから縮小ガイド画像のための、縮小データを取得する。
なお、画像表示制御部131は、画像の拡大や縮小(縮小ガイド画面への全体画面表示用)および画像濃度(透過率)を変更するために用いるエンジンであり、高速処理が可能である。また、画質を高めるために、既存技術であるバイリニア(Bi-liner)やバイキュービック(Bi-cubic)等の補間処理やフィルタリング処理が可能である。これは、もともと静止画の拡大、縮小に用いられているものがほとんどである。
画像表示制御部131において、拡大あるいは縮小され、もしくは透過率(画像濃度)が変更された画像[E],[F]は、それぞれ、SDRAM109のマップ403と404に、格納される。なお、透過率が変更された複数の縮小表示用画像は、例えば前に説明した完全に縮小ガイド画面が消去されるまでの間の所定時間が経過する毎の、縮小ガイド画面として表示されている画像の濃度を次第に低下させるために、所定のステップの濃度(透過率)が与えられる。
すなわち、本発明における再生画像の拡大あるいは縮小表示もしくは透過率(濃度)の異なる画像は、要求のある毎に、画像データから拡大、または縮小により、予め用意し、転送要求に従って順に転送(出力)するもので、シンプルかつ低コストである。なお、近年のハード構成(SDRAM)の高速さ(処理速度の低減)によれば、標準的な大きさの画像サイズであれば、リアルタイムで処理できる。また、ビデオインタフェース/OSD処理部105を介してLCD22に表示されている画像すなわち、図3(c)の表示22−301の子画面(縮小ガイド画面)22−302の枠および拡大位置マーク22−303の枠に対応するデータは、OKボタン27により「上下左右」への移動が指示(入力)されることにより、逐次移動されるとともに、拡大位置マーク22−303の枠が移動される範囲に応じて拡大される元画像の領域が変化され、対応する拡大あるいは縮小された画像[E],[F]が、順次SDRAM109のマップ403と404に格納されることで、用意される。
以下、上述の工程によりSDRAM109のマップ403と404に、用意された拡大あるいは縮小された画像[E],[F]は、ビデオインタフェースおよびOSD処理部105を経由して、拡大表示画面および縮小ガイド画面(全体縮小画面)とがCPU111にて計算された矩形領域のOSD22−303と重ね合わせられて、ビデオデコーダ106に出力される[G]。このとき、OSD処理部105により生成された倍率表示22−304も、合わせてビデオデコーダ106に入力される。
従って、LCD22には、図3(c)に示したような、すでに拡大表示されている画像22−301に、縮小ガイド画面22−302と、縮小ガイド画面22−302内に重ね合わせられて表示されるOSD画像(枠)22−302、ならびに倍率表示22−304が、同時に表示される。すなわち、縮小ガイド画像22−302を表示する際には、該当データを所定の表示位置のバッファ(マップ)に、予め用意した所定の画像を、順にビデオデコーダ106に転送することで、画像拡大表示領域22−301内に縮小ガイド画像22−302が表示される。なお、上述した拡大および縮小画像は、SDRAM(メインメモリ)109とビデオデコーダ106との間の画像データ転送が高速であることを利用したもので、上記のように簡単な方法で、縮小ガイド画面の表示や透過率の変更のために特別な構成を必要とすることなく、容易に実現できる。
また、OKボタン27を介して、表示部に表示された動画像に表示される倍率変更部分と表示部に表示された動画像の相対位置の変更が指示された場合に、倍率変更部分に対応する拡大画像が、変更が指示された相対位置に合わせて変更される。すなわち、ユーザにより、任意の指示(入力信号)が入力された(ズームバーやボタンの操作があった)場合には、その入力(指示)に対応するCPU(主制御部)111の制御により、画像の拡大倍率が変更され、あるいは全体画像中の拡大表示される領域が変更される。
なお、縮小ガイド画面22−302は、既に説明したように、例えばズームバー28やOKボタン27による制御信号の入力が所定時間入力されない場合に、拡大表示モードが解除されるとともに、縮小ガイド画面22−302、表示枠22−303および倍率表示22−304が消去される。
このとき、完全に縮小ガイド画面が消去されるまでの間に、所定時間が経過する毎の、縮小ガイド画面として表示されている画像の濃度を次第に低下させるために所定のステップの濃度(透過率)が与えられた画像が、順にビデオデコーダ106に、所定時間毎に転送されることにより、透過率が高められる(濃度が薄くなる)ような、拡大画像の視認性を抑制することなく、しかも操作性も確保した画像表示(画像出力)が実現される。
また、上述した拡大表示モードの終了時の、透過率を次第に増大させる(濃度を次第に減少させる)画像表示は、例えば画像表示制御部131により予め生成された複数の縮小表示用画像がビデオデコーダ106へ出力される際に、例えば輝度信号が変化されることによっても達成できる(黒信号を所定割合ずつ間引く、等によっても表示できる)。
なお、縮小ガイド画面を消去する場合には、上述したような、縮小ガイド画面の透過率(濃度)を変化させる方法に限らず、例えば所定数の画素をブロック状に一まとめとして複数のマトリクスを定義し、マトリクスを単位として、所定の順に、あるいはランダムに消去することも可能である。また、マトリクスを帯状(1ライン(任意方向)×幅あるいは長さ)とし、長さ(幅)方向と直交する方向に、(消去する際に)時間差を与えることで、縮小ガイド画面を一方向から消去することも可能である。
図5は、拡大表示モードにおいて、縮小ガイド画像を任意のタイミングで消去するためのフローの一例を示す。なお、図5において、ステップS51,S151およびS152は、縮小ガイド画面が表示されている拡大表示モードにおいて、例えば一定時間(例えば3〜5秒)の間、ユーザによる制御信号の入力がない場合、すなわち拡大表示モード中のユーザの操作の有無に基づいて、選択的に縮小ガイド画面(等倍サムネイル画像)の表示を解除する方法に関する。また、ユーザによる制御信号の入力がない場合、すなわちユーザの操作が終了した場合には、縮小ガイド画面を表示しないことで、拡大された画像そのものの確認が容易となる(視認性が向上する)。
主制御部(CPU)111により、ユーザによる操作すなわち何らかのスイッチあるいはボタン等による制御信号の入力が監視され(S51)、何らかの入力(指示)があることが検知されると(S51−Y)、等倍サムネイル画像(縮小ガイド画面)が表示されているか否か、すなわち拡大表示モードであるか否かが判断される(S52)。
既に拡大表示モードが実行されている場合(S52−Y)、ユーザによる操作(入力)が拡大率の変更であるか、拡大領域(対象位置)の変更であるかがチェックされる(S53)。
ステップS53において、入力(ユーザによる指示)が拡大領域の変更である場合(S53−N)、図4により既に説明した画像処理部において画像ファイルから読み出される画像の位置が変更される(S57)。
続いて、等倍サムネイルに対応して拡大表示されるべき拡大領域枠22−303(図3(c)参照)の位置、すなわち画像全体に対する拡大表示部分の表示の位置が変更される(S58)。
次に、拡大表示される画像の範囲(拡大画像として表示される範囲)が変更される(S59)。
一方、ステップS52において、ユーザの操作により等倍サムネイル画像の表示が要求された場合(S52−N)、用意された縮小表示用のYUV画像データのうちの透過率が低い(濃度が高い)画像データがビデオデコーダに転送され(S54)、等倍サムネイル画像が表示される(S55)。
また、ステップS52−YあるいはステップS55により拡大表示モードが実行されている状態で、上述のステップS53において入力されたユーザによる操作(指示)が拡大率の変更である場合(S53−Y)、画像ファイルから読み出された画像データの拡大率(倍率)が圧縮・伸長部108により変化される(S56)。
これに対して、拡大表示モードが実行され、拡大画像、等倍サムネイル画像、拡大位置表示および倍率が表示されている状態でユーザによる操作(入力指示)が所定時間の間、中断された場合(S51−N)、図4を用いて説明した透過率の異なる複数の縮小表示用画像が、順に表示されることにより、等倍サムネイル(縮小ガイド画面)22−302の透過率が増大される(S151)。
以下、所定時間経過後に、等倍サムネイル画像が消去される(S152)。
このように、本発明においては、拡大表示の切り替えが可能であり、拡大率変更や拡大表示領域の変更といった操作が行われた場合、縮小ガイド画像が表示される。
この場合、拡大表示画像に対する縮小ガイド画像の透過率を徐々に下げて表示していく(つまりだんだん表示されてくる)というような、操作性と視認性とを両立可能なサムネイル(縮小ガイド画面)が表示可能である。
縮小ガイド画面(サムネイル)内には、現在拡大されている領域を示す拡大表示枠22−303が含まれており、拡大率の変更や拡大表示領域の変更に伴って、縮小ガイド画面内の拡大表示枠の大きさと位置が変化される。
また、拡大率変更や拡大表示領域の変更という、操作が完了した(最後の入力指示から所定時間が経過した)場合、縮小ガイド画像を非表示にする(拡大表示モード終了)。
この際、拡大表示画像に対する縮小ガイド画像の透過率が徐々に増加され(つまりだんだん消えていく)という、表示が実行される。
なお、この発明は、上述した実施の形態に限定されるものではなく、その実施の段階ではその要旨を逸脱しない範囲で種々な変形もしくは変更が可能である。また、個々の実施の形態は、可能な限り適宜組み合わせて実施されてもよく、その場合、組み合わせによる効果が得られる。例えば、記録媒体としてテープ状の媒体を用いるビデオカメラであっても、そのまま摘要可能である。また、主記録媒体が容量の大きなメモリカードであって、付随する記録媒体が任意の外部記録媒体である、主として静止画の撮影(記録)のためのスチルカメラであってもよい。
1…電子カメラ装置(カメラ装置)、11…撮像レンズ、22…LCD(液晶モニタ、画像表示部)、24…主電源スイッチ、25…録画ボタン、26…ジョグダイアル(設定選択部)、27…決定ボタン(選択決定部)、28…ズームバー(拡大指示部)、29…メニューボタン、31…CCDセンサ(画像信号生成部)、101…アナログ−デジタル変換部(デジタル信号出力部)、102…カメラ信号処理回路(画像処理部)、103…メモリコントローラ、104…画像表示処理部(縮小画像保持部)、105…ビデオインタフェースおよびOSD処理部(信号処理部、画像表示制御部)、106…ビデオデコーダ(画像表示制御部)、107…液晶パネル駆動回路(画像表示制御部)、108…圧縮/伸長部(圧縮画像処理部、画像処理部)、109…メモリ回路(縮小画像保持部、画像表示制御部)、110…バッファ(ワーク)メモリ、111…CPU(主制御部、信号処理部、画像表示制御部)、121…記録メディアコントローラ、122…HDD(ハードディスク装置、記録媒体)、123…メモリカード(半導体メモリ、記録媒体)、122…HDD(ハードディスク装置、記録媒体)、123…メモリカード(半導体メモリ、記録媒体)、131…画像表示制御部。