JP2007259156A - カメラ、カメラの画像処理方法、プログラム、記録媒体 - Google Patents

Abstract

【課題】高いフレームレートの動画像と高画質な静止画像の両方を同時に得ることのできるカメラ及びカメラの画像処理方法を提供する。
【解決手段】撮像素子より、画像データとして動画用データと複数の静止画用データが交互に出力される（Ａ）。動画撮影中には、画像データから動画用データのみ抜き出し動画処理して、動画像として記録する（Ｂ）。動画撮影中に静止画撮影指示があると、画像データから動画用データと所定枚数の静止画データを抜き出す。そして動画データは動画処理に送り、複数の静止画データは静止画処理を行う。さらに静止画については、複数の静止画データを合成して１枚の静止画を生成して記録する（Ｃ）。
【選択図】図２

Description

本発明は、デジタルカメラに関し、より詳しくは高いフレームレートにて画像信号を得ることが出来る撮像センサを利用して、動画撮影時に高画質の静止画を得るカメラを提供するための発明である。

最近のデジタルカメラでは、メモリ容量の増加や動画圧縮技術の進歩さらには撮像素子の高速化によって、静止画撮影だけでなく動画撮影にも対応ができるようになってきている。そこで、動画静止画を同時に記録に関する提案が色々なされている。

例えば、動画撮影中にストロボ発光して静止画撮影しても、滑らかな動画を得ることができるカメラが記載されている（特許文献１）。このカメラでは、動画撮影するためのフレームレートの２倍のフレームレートで撮像素子を駆動し、動画記録用フレームの間に静止画記録用フレームを読み出して、静止画記録用フレームの受光期間中にストロボを発光する。

また、高画質の静止画像を撮影できると共に、高フレームレートで動画像を撮影できる撮像装置が記載されている（特許文献２）。この撮像装置では、全画素読出モードで駆動され、撮像素子から出力される画像データから画素数が間引かれた画像データが動画像として記録され、画素数が間引かれないた画像データが静止画像として記録される。

一方、高画素、たとえば５００万画素以上の撮像素子では、従来読み出しスピードが数十ミリ秒かかっていたが、最近は６０ｆｐｓで読出しのできるものも、提案されている。
特開２００４−６４４６７号公報 特開２００５−５７３７８号公報

上記特許文献１，２のカメラでは、１つの撮像素子から動画用と静止画用の信号を交互に読出して、それぞれ動画データと静止画データとして利用している。これにより、一連の動画取得シーケンスを邪魔することなく、静止画が得られる。

しかし、静止画では高画質が求められるので、特許文献１のように動画データと同じ画像データを使ったのでは、静止画としての画質は十分とはいえない。特に大きなプリントに耐えられない可能性が高い。撮像素子の能力が高くなり、高フレームレートでの動画像の読出しが可能になってきている。

一方、上記したように、高フレームレートの撮像素子が開発されているが、動画像としては、後段の再生処理の制限および表示用のモニタ装置側の限界から、２００万画素程度で３０〜６０ｆｐｓが限界である。つまり、高フレームレートで動画が読み出されても、データを使えきれないのが現状である。

本発明は上記課題に鑑み、高いフレームレートの動画像データを有効利用して、動画と高画質な静止画像の両方を同時に得ることのできるカメラ、カメラの画像処理方法を提供することを目的とする。

上記目的を達成するために、第１の発明によるカメラは、時間変化に従って、逐次、撮像センサから出力される画像信号列を、動画を形成するための第一の信号列と静止画を形成するための第二の信号列に分離する画像分離部と、上記画像分離部によって分離された第二の信号列から得られた複数画像を用いて、一枚の静止画像を形成する静止画生成部と、備えるものである。

また、第２の発明によるカメラは、動画のみの撮影においては、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、動画静止画同時撮影において、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、上記画像データの内動画データ以外を画像データであって複数の画像データを静止画データとして静止画処理する画像処理部を備えるものである。

さらに、第３の発明によるカメラの画像処理方法は、カメラの画像処理方法において、動画のみの撮影においては、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、動画静止画撮影において、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、上記画像データの内動画データ以外の複数の画像データを静止画データとして静止画処理するものである。

本発明によれば、高いフレームレートの動画像と高画質な静止画像の両方を同時に得ることのできるカメラ及びカメラの画像処理方法を提供することができる。

以下本発明を実施するための最良の形態を図面を参照して説明する。
（第１実施形態）
図１から図６を用いて、第１実施形態を説明する。図１は、本発明が適用されるデジタルカメラ１の全体ブロック図である。

カメラ１には、撮影レンズ１０１、レンズ系駆動回路１１２、撮像素子１０２、撮像素子駆動回路１１１、ＣＤＳ／ＡＧＣ部１０３、Ａ／Ｄ部１０４が設けられる。撮影レンズ１０１は、入射した被写体像を撮像素子１０２に結像する。レンズ系駆動回路１１２は、撮影レンズ１０１に含まれるズームレンズやフォーカスレンズを駆動する。撮像素子１０２は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。撮像素子駆動回路１１１は、撮像素子１０２の露光や読出しを駆動する。ＣＤＳ／ＡＧＣ部１０３は、撮像素子１０２からの読み出された画像信号にＡＧＣ処理（オートゲインコントロール）やＣＤＳ処理（相関2重サンプリング）を行う。Ａ／Ｄ部１０４は、さらに画像信号をＡＤ変換等して画像データとして出力する。

また、カメラ１には、画像処理回路１０５、動画圧縮伸張部１０６、静止画圧縮伸張部１０７、バッファメモリ１１３、メディアコントローラ１１５、メデイアが設けられる。画像処理回路１０５は、オプティカルブラック補正、ホワイトバランス調整、デモザイク処理、輝度色差変換、エッジ強調等処理及びサブサンプリングなどの処理を行う。詳細は後述する。画像処理回路１０５には、更に静止画生成部１０５ａ、画像分離部１０５ｂが設けられる。画像分離部１０５ｂは、Ａ／Ｄ部１０４から出力される画像データを、静止画データと動画データに分別する。静止画生成部１０５ａは、複数の静止画データから、1枚の高精細な静止画データを画像合成して生成する。

動画圧縮伸張部１０６は、分離された動画データをＭＰＥＧ（Moving Picture Experts Group）２、ＭＰＥＧ４あるいはＨ.２６４等の動画圧縮方式を用いて圧縮または伸張処理を行う。静止画圧縮伸張部１０７は、分離された画像データあるいは静止画生成部１０５ａで合成された静止画データをＪＰＥＧ（Joint Photographic Coding Experts Group）圧縮または伸張処理を行う。バッファメモリ１１３は、画像処理や圧縮する際に画像データをワークエリアとして一時的に保管する。メディアコントローラ１１５は、動画圧縮伸張部１０６や静止画圧縮伸張部１０７で圧縮処理された画像データをメディア１１６に記録する。メディア１１６は、画像データの保存用メモリで、例えば、フラッシュメモリやハードディスクで構成される。各画像データが動画ファイルや静止画ファイルとして、メディア１１６に記録される。

また、カメラ１には、ビデオエンコーダ１０８、表示用ドライバ１０９、表示部１１０、外部Ｉ／Ｆ１１４が設けられる。ビデオエンコーダ１０８は、画像データを表示部１１０用のビデオ信号に変換するものである。表示用ドライバー１０９は、入力されるビデオ信号に応じて表示部１１０を駆動する。表示部１１０は、画像や各種情報をＬＣＤを用いて表示する。撮影時にはモニタ画像が表示され、再生時にはメディア１１６に記録された画像が表示される。外部Ｉ／Ｆ１１４は、外部ＰＣ（Personal Computer）やプリンタと通信を行って、カメラ1内部と画像データや各種制御データの送受信を行う。外部Ｉ／Ｆ１１４は、例えばＵＳＢ（Universal Serial Bus）からなる。

またカメラ１には、システム制御部１００が設けられる。システム制御部１００は、所定のアルゴリズムに基づいて、各ユニットを制御して撮影シーケンスを実行する。上記画像処理回路１０５等もシステム制御部１００とバスラインで接続され、システム制御部１００により制御される。また、システム制御部１００には、不図示のＲＯＭ、操作部が接続される。ＲＯＭは、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ処理を行う制御用のプログラムが格納される。また、操作部は、撮影者の指示をシステム制御部１００に通知する。

システム制御部１００は、撮像素子１０２からの像信号のコントラストが良好になるように、レンズ系駆動回路１１２を介して、撮影レンズ１０１のピント合わせを行う。そして、撮像素子駆動回路１１１を介して、撮像素子１０２をイネーブル状態にして、ここから信号を取り出す。さらに、前述の各ユニットに画像処理や圧縮、記録までの一連の動作を行わせる。

図２は、動画データと静止画データの生成されるタイミングを示すタイミングチャートである。
図２（Ａ）は、撮像素子１０２で露光と読出される画像データを示すタイミングチャートである。横軸が時間方向で、左から右に進むとする。撮像素子１０２の露光と読み出しのサイクルを示し、線図のハイの部分が露光期間を示し、ロウのタイミングが読み出し期間を示す。撮像素子から一定のタイミングで、画像データが出力される。ここで、この画像データは、動画用データまたは静止画データに分けているが、これは画素数等に差があるのではなく、後段での利用目的の違いによって分けられる。

図２（Ｂ）は、動画撮影時の具体的な処理を説明するタイミングチャートである。上の段がＡ/Ｄ１０４から出力される画像データである。これが撮像センサから出力される画像信号列である。ここで、斜線のデータが動画用データで、斜線なしデータが静止画用データである。ここでは、１データのタイミングを１／３００ｓｅｃとしている。また、１つの動画データの後に静止画用データが９ケ出力されるよう設定されている。つまり、動画データに限ると３０ｆｐｓ（frequency per second）のタイミングとなる。これは、一般的な動画データにおけるフレームレートとして用いられている。そして動画撮影時には、下段に示されるように、上記画像データから動画用データのみが選択され、静止画用データは捨てられる。これが動画を形成するための第一の信号列である。選択は、画像分離部１０５ｂにて行われる。その後、各動画像処理及び動画圧縮処理がなされる。詳細は後述する。

図２（Ｃ）は、動画撮影中に同時に静止画撮影を行うときの処理を説明するタイミングチャートである。上の段は同じくＡ/Ｄ１０４から出力される画像データである。動画と静止画の区別も同じである。次の段が撮影者による撮影指示のタイミングを示す。静止画撮影開始指示があると、画像データから静止画用データを所定枚数抜き出す。ここでは、最下段に示すように、４枚の静止画データを抜き出す。この列が静止画を形成するための第二の信号列である。抜き出す枚数は、別途設定される条件によるものである。そして、この４枚の静止画データについて静止画処理を行う。そしてこの４枚を合成して１つの静止画を作成する。一方、動画データについては、静止画撮影の有無にかかわらず、画像データから一定間隔で抜き出していく。上記（B)と同様である。そして、抜き出された動画データは動画像処理が施される。ここで、合成される複数の静止画として、同一画素の画像データでも、異なる画素の画像データのいづれでも可能である。出力される画像が高フレームレートで、静止画同士の撮影間隔が短時間なので、手振れや被写体の動きによる影響が十分に少なく、相関性の高い画像が出力される。そして、同一画素の画像データ同士であれば、被写体が暗いときなどに、単純にデータを加算することで高画質な静止画を得る事ができる。加算の際には、暗い部分のみを集中的に加算してもよい。

図３、４，５，６は、このカメラ１の撮影処理を説明するためのフローチャートである。図２で説明した動画、静止画の撮影モードの差における処理手順の違いを主に説明する。図３はメインのフローチャートである。図４、５，６は関連するサブルーチンのフローチャートである。

図３のフローチャートから説明する。この処理は、主にシステム制御部１００によってプログラムに従って実行される。撮影者の動画撮影開始指示に応じて、撮影信号（画像データ）の取り込みを開始する（ステップＳ１０１）。ここで、撮影者による静止画撮影開始指示の有無を判断する（ステップＳ１０２）。静止画撮影指示がなければ（ステップＳ１０３ＮＯ）、ステップS１０３に進む。画像分離部１０５ｂがＡ/Ｄ１０４から出力される動画用データのみをバッファメモリ１１３に一旦記憶させる。静止画用データについては捨てる。そして、バッファメモリ１１３に記憶された動画用フレームを随時読出し（ステップＳ１０４）、動画像処理を行わせる（ステップＳ１０５）。図４の動画像処理のサブルーチンに進む。

図４のサブルーチンの処理は画像処理回路１０５で実行される。まず、画像データについて、オプティカルブラック補正とホワイトバランス調整を行う（ステップＳ１２１）。次に、デモザイク処理（ステップＳ１２２）、輝度色差変換（ステップＳ１２３）、エッジ強調等処理（ステップＳ１２４）及びサブサンプリング（ステップＳ１２５）の各処理を順番に行う。

オプティカルブラック補正は、イメージセンサの暗電流等のノイズ成分を補正するものである。ホワイトバランス調整は、いずれの光源下においても適切な白色を再現するように色成分ごとに値を補正する処理である。デモザイク処理とは各画素に一色分のみ存在するベイヤ配列のデータに対して各画素へ全ての色成分を補間するものである。輝度色差変換は、ＲＧＢやＹＭＣＧ等の色成分を輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）に変換するものである。サブサンプリングとは、一定の法則で間引いてサンプリングするものである。図４の動画像処理のサブルーチン終了後は、図３のステップＳ１０６に進む。

動画像処理された動画データを、動画圧縮伸張部１０６で動画圧縮させる（ステップＳ１０７）。圧縮した動画像データをバッファメモリ１１３に記憶させる（ステップＳ１０７）。そして、バッファメモリ１１３に記憶された圧縮動画像データを順次メディア１１６に記録していく（ステップＳ１０８）。そして、撮影者による動画撮影終了操作の有無を判断する（ステップＳ１１０）。終了操作があるまで（ステップＳ１１０ＮＯ）、ステップＳ１０２にもどり動画撮影処理を巡回する。一方、終了操作があったと判断すると（ステップＳ１１０ＹＥＳ）、終了処理を行い、動画撮影を終了させる。

一方、静止画撮影開始指示があったなら（ステップＳ１０２ＹＥＳ）、静止画処理に進む（ステップＳ１１１）。Ａ/Ｄ１０４から出力される静止画用データおよび動画用データの両方をバッファメモリ１１３に一旦記憶させる（ステップＳ１１１）。ここでは、所定枚数（ｎ枚）の画像データをバッファメモリ１１３に蓄積する。図2の例でいうと、静止画用データ４枚と静止画用データに挟まれた動画用データ１枚の計５枚である。

バッファメモリ１１３に記憶させた画像を読み込む（ステップＳ１１２）。ここで、画像分離部１０５ｂが区分けして、この画像データが動画データか静止画データかによって処理を異ならせる（ステップＳ１１３）。動画データについては（ステップＳ１１３ＹＥＳ）、動画処理を行う（ステップＳ１０５）。ステップＳ１０５の動画処理は前述した通りなので、説明は省略する。静止画データについては（ステップＳ１１３ＮＯ）、静止画処理を行う（ステップＳ１１４）。図５の静止画像処理のサブルーチンに進む。

図５のサブルーチンの処理は、画像処理回路１０５で実行される。図４で説明した動画像と同様に、静止画像データについても、オプティカルブラック補正とホワイトバランス調整を行う（ステップＳ１３１）。次に、デモザイク処理（ステップＳ１３２）、輝度色差変換（ステップＳ１３３）、エッジ強調等処理（ステップＳ１３４）及びサブサンプリング（ステップＳ１３５）の各処理を順番に行う。処理内容は、前述した通りであるので省略する。

各種処理後の静止画像データをバッファメモリ１１３に蓄積する（ステップＳ１３６）。そして、ｎ−１枚（図２の例では、４枚）、つまりすべての静止画データの処理が終わるまで、この一連の処理を繰り返す（ステップＳ１３１）。ここでは、４枚の静止画データの処理が終われば（ステップＳ１３７ＹＥＳ）、ステップＳ１３８に進む。静止画生成部１０５ａが、ｎ−１枚の処理後の静止画を読み込み（ステップＳ１３８）、新たな静止画を作成する（ステップＳ１３９）。

新たな静止画の作成後は、このサブルーチンを抜けて図３のステップＳ１１５に戻る。この静止画について、静止画圧縮伸張部１０７で静止画圧縮を行わせる（ステップＳ１１５）。バッファメモリ１１３に記憶させたのち（ステップＳ１１６）、メディアに記録する（ステップＳ１１７）。以上で、静止画撮影処理を終了させる(ステップＳ１１８）。そして、ステップＳ１１０に戻り、さらに、動画撮影終了かを判断する。

動画の画像は一般的に電子的ディスプレイでの再生を前提にされており、この再生装置としてはカメラ背面のＬＣＤパネル（１０万から２０万画素相当）や、テレビジョン（ＨＤＴＶで２００万画素）が主に考えられており、通常の静止画のように１０００万画素の画像に比べて解像度は低い。当然撮像素子から取り出して記録する画像数もそれ以上である必要はない。しかし、静止画像は１枚の紙の上にプリントすることを前提となっているので、この画素数では十分とは言い難い。

例えば、動画の１コマを２００万画素程度に設定しておけば、静止画にしたときは、動画約４枚分のデータを用いて１枚の画像が作成されることにより、最大で８００万画素相当の画質を得ることが可能となり、画像をプリントした場合にも鑑賞に堪えられるものになる。

以上の実施形態により、動画撮影を効率的に行うとともに高画質な静止画が得られる。

（第２実施形態）
第２実施形態では、第１実施形態のカメラ１によるパノラマ画像撮影を説明する。第１実施形態のカメラ１により、動画撮影中に高精細な静止画が得られるので、この静止画をつなぎ合わせることでパノラマ画像を作成することができる。図６，７，８，９を用いて説明する。

図６は、パノラマ撮影の概念を説明する図である。カメラ１を横にずらしながらあるいは回転をさせながら、適当な間隔で複数枚の撮影を行い、それをつなぎ合わせるとパノラマ画像が得られる。ここでパノラマ画像は４枚の画像（Ｎｏ１〜Ｎｏ４）から構成される例を示す。

図７（Ａ）は、動画撮影された動画を左から撮影順番に並べている。カメラを動かしながら図６のような風景を動画撮影すると、図６のパノラマ撮影のＮｏ１からＮｏ４に対応する場面が適宜含まれる撮影できる。そして、カメラ１でこの動画撮影中に適当なタイミングで静止画を取得し合成処理すれば、図７（Ｂ）のようなパノラマ画像が得られる。

図８、図９を用いてカメラ１によるパノラマ画像作成の詳細を説明する。図８はパノラマ画像として隣接する２つの静止画像の相対関係を示す図である。図９はパノラマ撮影の処理を説明するフローチャートである。図９のフローチャートに沿って説明する。この処理は、主にシステム制御部１００によってプログラムに従って実行される。

まず、動画撮影開始と同時に、パノラマ撮影の最初の静止画を撮影する（ステップＳ１４１）。図８（Ａ）を最初静止画像とする。次に、動画像として連続して撮影される画像から、動きベクトルを検出する（ステップＳ１４２）。画像の移動方向を検出するためである。この動きベクトルの検出は画像処理回路１０５で行われる。そして得られた動きベクトルの方向に応じ、次の画像が重なるべきのりしろ部を決定する（ステップＳ１４３）。図８（Ａ）では、画面が相対的に右方向に移動していくので、最初の画像では右端斜線部をのりしろ部に決定する。

そして、動画像をモニタしながら（ステップＳ１４４）、次の静止画の撮影タイミングを図る。次の撮影タイミングは、移動しているモニタ画像の左端領域（のりしろ部）が、図８（Ｂ）のように、最初の画像ののりしろ部と一致する画像になったタイミングである。このタイミングを図る（ステップＳ１４５）。一致したら（ステップＳ１４５ＹＥＳ）、そのタイミングの静止画像を、次のパノラマ画像として撮影記録する（ステップＳ１４６）。これにより、図８（Ｂ）のような２番目のパノラマ画像を撮影記録する。動きベクトルからカメラが更に移動されていると判断すれば、撮影が継続と判断して（ステップＳ１４７）、ステップＳ１４２に戻り、次のタイミングを待って撮影を実行する。また、撮影が終了されたと判断すれば、これまで得られた複数の静止画を繋ぎあわせて、パノラマ画像を合成記録する（ステップＳ１４８）。つなぐ画像が２つであれば、図８（Ｃ）のような２つの画像からなるパノラマ画像を取得できる。

以上のように、第２実施形態によれば、カメラ１により風景等を動画撮影すれば、同時に高精細な静止画のパノラマ撮影画像が得られる。従来のパノラマ撮影時のように、パノラマ撮影専用にカメラの向きを何度も変えながら、静止画撮影をしなくてもよくなる。

（第３実施形態）
上記第１実施形態では、複数の画像データから１つの静止画像を合成して、高画質な静止画として記録することを説明した。第３実施形態は、静止画合成の具体例について説明する。以下に、間引き読出しの態様に応じた画像合成の方法を３タイプ説明する。

まず第１の例では、読出し画像データが、１画素おきとなるパターンの場合である。図１０は、撮像素子１０２から読み出される画素を示す画素配列の図である。斜線部が読み出し可能な１画素を示す。図１０（Ａ）なる画像データと（Ｂ）なる画像データが、交互に読み出されるものとする。（A)と（B）は、市松模様のパターンである。この場合には、２つの画像データを合成することにより、図１０（Ｃ）のような全画素の画像データが得られる。

次に、動画データとして、図１１（Ａ）のように、２４（６×４）画素を１ブロックから、所定の部分（斜線部）しか読出しできない場合である。このときの静止画撮影時には、３回に分けて読み出す。まず中央の２列の画素を読み出す（Ｂ−１）、次に最初に読み出した左右の２列の画素を読出す（Ｂ−２）、そして左右端の２列の画素を読出し（Ｂ−３）。そして、得られた画像データを合成することにより、全画素の静止画を得る事ができる（図１１（Ｃ））。

次に画像の動きに応じて読み出す画素を選択する例を説明する。上記２例のように一部分の画素を読み出すような撮影時に被写体の動きが大きいと、画像が乱れてしまうという問題がある。そこで、本例では、動きのある部分の画素については優先して画像を取得し、動きのない部分はあとから補うように画像を取得するようにする。詳細を以下図１２，１３を用いて説明する。

図１２は、このときに動画として読み出される画素（斜線）を示す画素配列の図である。図１３はこの処理手順を説明するフローチャートである。連続的に撮影される動画から被写体の動きを検出しながら（ステップＳ１５１）、撮影者による静止画撮影指示を待つ（ステップＳ１５２）。ここでの動画撮影では、図１３（Ａ）で斜線で示されるように、読出し画素を離散的に配置させている。撮影指示があると（ステップＳ１５２ＹＥＳ）、動きのある部分の画素を優先して読み出す（ステップＳ１５３）。動きのある部分として、図１３（Ａ）のような画面から、人物の存在する中央部分が検出されるとする。そこで、この撮影では、図１３（Ｂ）の斜線で示すような、人物を中心とする領域の画素を集中的に読み出すようにする。そして、そのあとで、補足するような形で空、背景及び動きのない部分の画像を読み出すような撮影を行う（ステップＳ１５４）。そして、２つの静止画を合成して、高精細な静止画を作成する（ステップＳ１５５）。

以上第３実施形態によれば、短時間では所定量以下の画素データしか処理できない回路系でも、高画質な静止画を撮影することが可能となり、動画取得をさまたげることなく、高画質な静止画を撮影できる。

また、上記各実施形態で説明したシステム制御部１００の処理に関しては、一部または全てをハードウェアで構成してもよい。また、画像処理回路１０５の一部または全てをソフトウェアで構成してもよい。具体的な構成は設計事項である。また、システム制御部１００による各制御処理は、ＲＯＭに格納されたソフトウェアプログラムがシステム制御部１００に供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がシステム制御部１００の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリー等を用いることができる。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１実施形態において、本発明が適用されるデジタルカメラの全体ブロック図。 第１実施形態において、動画データと静止画データの生成されるタイミングを示すタイミングチャート。 第１実施形態において、動画静止画の撮影処理の手順を説明するメインのフローチャート。 第１実施形態において、動画処理のサブルーチンを示すフローチャート。 第１実施形態において、静止画処理のサブルーチンを示すフローチャート。 第２実施形態において、パノラマ撮影の概念を説明する図。 第２実施形態において、動画とパノラマ撮影の対応関係を示す図。 第２実施形態において、パノラマ画像として隣接する２つの画像のはりあわせ関係を示す図。 第２実施形態において、パノラマ撮影の処理を説明するフローチャート。 第３実施形態において、撮像素子の読み出す画素を示す画素配列の図。 第３実施形態において、撮像素子の読み出す画素を示す画素配列の図。 第３実施形態において、撮像素子の読み出す画素を示す画素配列の図。 第３実施形態において、画像合成の処理手順を説明するフローチャート。

符号の説明

1…カメラ、１００…システム制御部、１０１…レンズ、１０２…撮像素子、
１０３…ＣＤＳ／ＡＧＣ、１０５…画像処理回路、１０５ａ…静止画生成部、１０５ｂ…画像分離部、１０６…動画圧縮伸張部、１０７…静止画圧縮伸張部、
１０８…ビデオエンコーダ、１０９…表示用ドライバ、１１０…表示部、１１１…撮像素子駆動回路、
１１２…レンズ系駆動回路、１１３…バッファメモリ、１１４…外部Ｉ／Ｆ、１１５…メディアコントローラ、１１６…メディア

Claims (8)

1. 時間変化に従って、逐次、撮像センサから出力される画像信号列を、動画を形成するための第一の信号列と静止画を形成するための第二の信号列に分離する画像分離部と、
   上記画像分離部によって分離された第二の信号列から得られた複数画像を用いて、
   一枚の静止画像を形成する静止画生成部と、備える
   ことを特徴とするカメラ。
2. 上記静止画生成部は、上記第二の信号列から、
   上記逐次出力される画像の画素数より高い画素数の画像を形成することを
   ことを特徴とする請求項１に記載のカメラ。
3. 撮像素子から連続して出力される画像データを動画データと静止画データに分離する画像分離部と、
   複数の静止画データから静止画を合成する静止画生成部を備える
   ことを特徴とするカメラ。
4. 動画のみの撮影においては、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、
   動画静止画同時撮影において、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、上記画像データの内動画データ以外を画像データであって複数の画像データを静止画データとして静止画処理する画像処理部を備える
   ことを特徴とするカメラ。
5. 動画のみの撮影においては、撮像素子から連続して出力される上記画像データの中から動画データを分離し、
   動画静止画同時撮影において、撮像素子から連続して出力される上記画像データを動画データと静止画データに分離する画像分離部を備え、
   上記画像処理部は、画像分離部により分離された画像データについて処理を行う
   ことを特徴とする請求項４に記載のカメラ。
6. カメラの画像処理方法において、
   動画のみの撮影においては、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、
   動画静止画撮影において、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、上記画像データの内動画データ以外の複数の画像データを静止画データとして静止画処理する
   ことを特徴とするカメラの画像処理方法。
7. カメラの画像処理方法をコンピュータ実行させるプログラムにおいて、
   上記カメラの画像処理方法は、
   動画のみの影においては、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、
   動画静止画撮影において、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、上記画像データの内動画データ以外の複数の画像データを静止画データとして静止画処理する
   ことを特徴とするプログラム。
8. カメラの画像処理方法をコンピュータ実行させるプログラムが記録されたコンピュータ読取可能な記録媒体において、
   上記カメラの画像処理方法は、
   動画のみの撮影においては、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、
   動画静止画撮影において、撮像素子から連続して出力される画像データの一部を動画データとして動画処理し、上記画像データの内動画データ以外の複数の画像データを静止画デ
   ータとして静止画処理する
   ことを特徴とするコンピュータ読取可能な記録媒体。
   
   
   

Images