JP2011244305A - 撮像装置 - Google Patents

Abstract

【課題】通常の動画像と静止画像から生成及び補間された動画像との連続性を改善することが可能な撮像装置を提供する。
【解決手段】動画撮影中に静止画撮影が可能なモードを有し、静止画撮影によってコマ落ちする動画像を静止画撮影によって生成される静止画用の画像から生成された補間用の動画像によって補間する撮像装置は、撮像素子１０３が出力した画像サイズを変更するリサイズ処理手段１０７Ａを有する。リサイズ処理手段は、静止画メモリ１０６が保持する画像が最終的に実際に記録される動画像の画像サイズになるように、リサイズ処理を施すことによって補間用の動画像を生成する。
【選択図】図１

Description

本発明は、撮像装置に関する。

特許文献１は、動画撮影中に静止画撮影を行う撮影モードにおいて静止画撮影によって動画像のコマ落ちが発生する課題について説明している。この場合、特許文献２に記載されているように、静止画像から生成した動画像によってコマ落ちした動画像を補間することが考えられる。

特開２００９−２０６８２６号公報 特開２００１−３５２４８３号公報

しかし、通常の動画像と静止画像から生成及び補間された動画像との連続性を維持しないとこれらの動画像を連続して再生した場合に視聴者に違和感を与えることになる。

本発明は、通常の動画像と静止画像から生成及び補間された動画像との連続性を改善することが可能な撮像装置を提供することを例示的な目的とする。

本発明の一側面としての撮像装置は、動画撮影中に静止画撮影が可能なモードを有し、前記静止画撮影によってコマ落ちする動画像を前記静止画撮影によって生成される静止画用の画像から生成された補間用の動画像によって補間する撮像装置であって、撮像素子が出力した画像のサイズを変更するリサイズ処理手段を有し、当該リサイズ処理手段は、前記静止画撮影によって前記撮像素子から出力された画像が動画撮影時に前記リサイズ処理手段を経た動画像のサイズになるように、前記静止画撮影によって前記撮像素子から出力された画像にリサイズ処理を施すことによって前記補間用の動画像を生成することを特徴とする。

本発明によれば、通常の動画像と静止画像から生成及び補間された動画像との連続性を改善することが可能な撮像装置を提供することができる。

実施例１の撮像装置のブロック図である。 実施例２の撮像装置のブロック図である。 実施例１の撮像装置のタイミング図である。

以下、図面を参照しながら本発明の実施例について説明する。

図１は、実施例１の撮像装置（デジタルカメラ、デジタルビデオカメラなど）のブロック図である。撮像装置は、システム制御手段１０１Ａ、撮像素子駆動手段１０２、撮像素子１０３、画像信号処理手段１０４、動画メモリ１０５、静止画メモリ１０６、リサイズ処理手段１０７Ａ、記録手段１０８を有する。

システム制御手段１０１Ａは、撮像装置の各部の動作を制御する不図示のプロセッサと動作に必要な情報やプログラムを格納している不図示のメモリを有している。

システム制御手段１０１Ａは、不図示のモード入力部（ダイアル、スイッチなど）を介して撮影者が入力したモードを撮像装置に設定する。かかるモードは、動画のみを撮影するモード、静止画のみを撮影するモード、動画撮影中に静止画撮影が可能なモードを含むが、これらに限定されるものではない。本実施例の撮像装置は、少なくとも動画撮影中に静止画撮影が可能なモードを有する。

システム制御手段１０１Ａは、撮像素子１０３上での読み出し画素数や加算方法等の撮像素子１０３の駆動方法を設定されたモードに従って設定し、制御信号を撮像素子駆動手段１０２とリサイズ処理手段１０７Ａへ出力する。

本実施例では、システム制御手段１０１Ａは、動画撮影時には撮像素子１０３の画素配列の画素を加算して読み出す加算モードを、静止画撮影時には全画素を読み出す非加算モードを、撮像素子１０３の読み出し回路の駆動方法として設定する。

但し、システム制御手段１０１Ａは、動画撮影時に動画像を生成するのに撮像素子１０３の画素配列から読み出される画素数よりも、静止画撮影時に静止画像を生成するのに撮像素子１０３の画素配列から読み出される画素数を多く設定すれば足りる。

また、システム制御手段１０１Ａは、動画撮影中に静止画撮影が可能なモードにおいて、静止画撮影によってコマ落ちする動画像を静止画撮影によって生成される静止画用の画像から生成された補間用の動画像によって補間する。

但し、上述したように、静止画像は動画像よりも多くの画素を含んでいるために解像度が高いため、何ら加工を行なわなければ静止画用の画像から生成された補間用の動画像は通常の動画像よりも解像度が高くなる。すると、これらの動画像を連続して再生した場合に解像度の違いにより、視聴者に違和感を与えることになる。

そこで、システム制御手段１０１Ａは、後述するように、解像度の差が減少又はなくなるように補間用の動画像を生成する。

撮像素子駆動手段１０２は、システム制御手段１０１Ａによって設定された駆動方法に従って撮像素子１０３の読み出し回路を駆動する。本実施例の撮像素子駆動手段１０２は、動画撮影時には水平非加算、垂直２画素加算で画像（画像信号）を読み出し、静止画撮影時には非加算で（全画素で）画像を読み出す。

但し、動画撮影時には水平非加算、垂直２画素加算で画像を読み出すことは、単なる一例であり、水平２画素加算、垂直非加算でもよい。一般には、設定された駆動方法に従って、撮像素子駆動手段１０２は、動画撮影時には撮像素子１０３の画素配列から設定された画素数で画像を読み出し、静止画撮影時には撮像素子１０３の画素配列からそれよりも多い画素密度で画像を読み出せば足りる。

撮像素子１０３は光学像である被写体像を光電変換して画像信号を生成するＣＣＤやＣＭＯＳセンサーである。撮像素子１０３は、不図示の画素配列、読み出し回路、出力回路を有する。

画素配列は光電変換部を含む画素が行方向及び列方向に複数配列されている。光電変換部（例えば、フォトダイオード）は、シャッタースピードを速めるために、静止画撮影時には動画撮影時よりも短い蓄積期間で信号を蓄積する。読み出し回路は、画素配列から設定された画素数で画像（画像信号）を読み出して出力回路へ供給する。出力回路は、画像信号を増幅して出力する。

画像信号処理手段１０４は撮像素子１０３から出力される画像（画像信号）にホワイトバランスやエッジ強調等の画像処理を行う。なお、撮像素子１０３と画像信号処理手段１０４の間にはＡ／Ｄ変換器やタイミング回路など他の回路が配置されてもよい。

動画メモリ１０５は、撮像素子１０３が出力して画像信号処理手段１０４によって画像処理された動画用の画像（画像信号）を一時的に保持する。

静止画メモリ１０６は、撮像素子１０３が出力して画像信号処理手段１０４によって画像処理された静止画用の画像を一時的に保持する。

リサイズ処理手段１０７Ａは、動画メモリ１０５又は静止画メモリ１０６に保持された画像（画像信号）を記録手段１０８などに実際に記録する画像サイズに変更（拡大及び縮小）する。本実施例のリサイズ処理手段１０７Ａは画像の画素加算を行なうことによって画像サイズを縮小する加算処理部（リサイズフィルタ）として構成されている。

但し、リサイズ処理手段１０７Ａは、画像の画素を間引くことによって画像サイズを縮小する間引き処理部（間引きフィルタ）として構成されてもよい。なお、間引きの方向は限定されない。あるいは、リサイズ処理手段１０７Ａは、画像の一部を切り出すことによって画像サイズを縮小する切り出し処理部（トリミングフィルタ）として構成されてもよい。

更に、リサイズ処理手段１０７Ａは、画像サイズを拡大する機能も有する。例えば、リサイズ処理手段１０７Ａは、画像サイズをｋ倍に拡大する場合には画像の一つのデータの直後にｋ−１個の０値のデータを挿入する。

記録手段１０８はメモリカード等の記録媒体に画像（画像信号）を記録する。

ここで、撮像素子１０３の画素配列は水平方向に２Ｍ画素、垂直方向に２Ｎ画素（総画素数４ＭＮ）の矩形形状を有するものとする。また、記録手段１０８などに実際に記録する動画記録用画像の画像サイズは水平方向にＭ画素、垂直方向にＮ画素（総画素数ＭＮ）の矩形形状を有するものとする。

図３は、実施例１の撮像装置の動作を説明するためのタイミング図である。

図３（ａ）は動画のフレームレートの基準信号となる垂直同期信号であり、動画と静止画の駆動の区別を「動」、「静」で示している。図３（ｂ）は撮像素子１０３からの読み出しタイミングであり、撮像素子１０３から読み出されるタイミングを斜め線で示している。図３（ｃ）は動画メモリ１０５の書き込みタイミングであり、書き込まれるタイミングを斜め線で示している。

図３（ｄ）は静止画メモリ１０６の書き込みタイミングであり、書き込まれるタイミングを斜め線で示している。図３（ｅ）はリサイズ処理手段１０７Ａの処理タイミングであり、斜線で塗りつぶした領域は動画メモリ１０５からの入力に対するリサイズ処理、横線で塗りつぶした領域は静止画メモリ１０６からの入力に対するリサイズ処理である。図３（ｆ）は記録手段１０８の書き込みタイミングであり、書き込まれるタイミングを斜め線で示している。

図１、３より本実施の動作タイミングについて説明する。

動画撮影時では、撮像素子駆動手段１０２は、水平非加算、垂直２画素加算で撮像素子１０３の読み出し回路を駆動するため、画像信号処理手段１０４に画像（画像信号）が入力される時点で垂直方向の解像度が１／２に低下している。即ち、動画撮影時に読み出される画像は水平方向に２Ｍ画素、垂直方向にＮ画素の矩形形状を有する。

また、動画メモリ１０５が保持する画像も同様に水平方向に２Ｍ画素、垂直方向にＮ画素の矩形形状となっており、垂直方向の解像度が撮像素子１０３の画素配列の１／２となっている。

図３において、撮像素子１０３から読み出されたタイミングに合わせて動画メモリ１０５に記録される。

次に、リサイズ処理手段１０７Ａが動画メモリ１０５から画像を読み出して水平方向に１／２倍、垂直方向に等倍のリサイズ処理を施し、動画像を生成して記録手段１０８に記録する。これにより、上述したように、動画像は水平方向にＭ画素、垂直方向にＮ画素（総画素数ＭＮ）の矩形形状の画像サイズを有する。

図３において、リサイズ処理手段１０７Ａは垂直同期信号の周期内で動画メモリ１０５から画像を読み出し、記録手段１０８に記録する。ここで、動画メモリ１０５の画像は垂直同期信号の周期で上書きされるため、処理すべき画像が書き込まれてから次の画像が上書きされるまでにリサイズ処理を終了する必要がある。

静止画撮影時では、撮像素子駆動手段１０２は、非加算で撮像素子１０３の読み出し回路を駆動するため、画像信号処理手段１０４に画像が入力される時点で撮像素子１０３の画素配列の解像度を維持している。即ち、静止画撮影時に読み出される画像は水平方向に２Ｍ画素、垂直方向に２Ｎ画素の矩形形状を有する。

また、静止画メモリ１０６が保持する画像も同様に水平方向に２Ｍ画素、垂直方向に２Ｎ画素の矩形形状となっており、撮像素子１０３の解像度を維持している。

図３において、（ａ）垂直同期信号で「３：静」で示す期間は静止画用の駆動で動作する。撮像素子１０３から読み出されたタイミングに合わせて静止画メモリ１０６に記録される。ここで、（ｂ）撮像素子出力のタイミングでは、動画時（１、２、４）と静止画時（３）は同じ斜め線で表示しているが、実際は撮像素子の読み出しクロックを倍にすることで動画時に対して垂直方向に２倍の画素が読み出される。２倍の画素数を２倍のクロックで処理するため、読み出し時間は動画時と同じになる。静止画メモリ１０６は動画時の２倍の大きさの画像が記録される。

補間用の画像を生成する場合、リサイズ処理手段１０７Ａは静止画メモリ１０５から画像を読み出して垂直２画素加算を行い、水平方向に２Ｍ画素、垂直方向にＮ画素の画像を生成して動画メモリ１０５に格納する。このように、リサイズ処理手段１０７Ａは、静止画用の画像が動画撮影時に撮像素子１０３が出力する画像サイズ（水平方向２Ｍ画素、垂直方向にＮ画素）になるように静止画用の画像にリサイズ処理を施してから動画メモリ１０５に格納する。

次に、リサイズ処理手段１０７Ａが動画メモリ１０５に保持された画像に水平方向に１／２倍、垂直方向に等倍のリサイズ処理を施し、補間用の動画像を生成して記録手段１０８に記録する。補完用の動画像は、水平方向にＭ画素、垂直方向にＮ画素（総画素数ＭＮ）の矩形形状の画像サイズを有する。

図３において、リサイズ処理手段１０７Ａは５、６、８、１０、１１で表示した通常の動画用のリサイズ処理に加えて７、９で表示した静止画メモリ１０６から動画メモリ１０５への処理を行う必要がある。また、動画時と同様に次の画像が書き込まれる前に処理を終える必要がある。このため、前後の動画の処理との追い越しが発生しないように、７と９の処理と８と１０の処理は分割されてタイミングが調整されている。

以上説明したように、本実施例によれば、通常の動画像と補完用の動画像の解像度や形状（又は画像サイズ）が等しくなるのでこれらの動画像が連続して再生した場合に視聴者に違和感を与えることを低減又は防止することができる。

また、本実施例では、リサイズ処理手段１０７Ａは、補完用の動画像を作成する場合に２段階のリサイズ処理を行っているが、静止画メモリ１０６Ａに保持された画像を動画像が実際に記録される画像に１回のリサイズ処理でリサイズしてもよい。

上述したように、動画像が実際に記録される画像サイズは、動画撮影時にリサイズ処理手段１０７Ａを経た動画像のサイズ（即ち、水平方向にＭ画素、垂直方向にＮ画素の矩形形状の画像サイズ）である。この場合、リサイズ処理手段１０７Ａは、静止画メモリ１０６が保持する画像が最終的に動画撮影時にリサイズ処理手段１０７Ａを経た動画像のサイズになるように、静止画メモリ１０６が保持する画像にリサイズ処理を施す。

また、２段階のリサイズ処理における最初のリサイズ処理後の画像サイズは動画撮影時の動画メモリ１０５に格納される画像サイズ（即ち、水平方向に２Ｍ画素、垂直方向にＮ画素の矩形形状の画像サイズ）に限定されない。また、３段階以上のリサイズ処理を行なってもよい。

また、デジタル処理で画像を拡大する電子ズーム撮影時では、通常の動画像と補間用の動画像との解像度の差が目立ちやすい。

例えば、電子ズームによる動画撮影時は、動画メモリ１０５に保持した画像（水平方向に２Ｍ画素、垂直方向にＮ画素の矩形領域の画素サイズ）のうち水平方向にＭ画素、垂直方向にＮ／２画素の矩形領域の画像を水平方向に等倍、垂直方向に２倍に拡大する。そして、水平方向にＭ画素、垂直方向にＮ画素の動画像として記録する。

一方、電子ズームによる静止画撮影時は、静止画メモリ１０６に保持した画像（水平方向に２Ｍ画素、垂直方向に２Ｎ画素の矩形領域の画素サイズ）のうち水平方向にＭ画素、垂直方向にＮ画素の矩形領域の画像を水平方向に等倍、垂直方向に等倍する。そして、水平方向にＭ画素、垂直方向にＮ画素の動画記録用画像として記録する。

このため、電子ズーム撮影では、動画メモリ１０５に保持した動画用の画像からリサイズした動画像と、静止画メモリ１０６に保持した静止画用の画像からリサイズした補間用の動画像の解像度は垂直方向において大きく異なる。

このため、電子ズーム撮影時においてのみ上記補間用の動画像を生成してもよい。同様に、電子防振時やセンサー切り出し防振時においてのみ上記補間用の動画像を生成してもよい。

リサイズ処理時間は入力画像と出力画像のサイズに依存するため、静止画用の画像サイズに応じてリサイズ処理時間を調節する必要がある場合もある。また、リサイズ処理手段が、加算処理部、間引き処理部、切り出し処理部として構成された場合のリサイズ処理時間はそれぞれ異なる。

図２は、実施例２の撮像装置（デジタルカメラ、デジタルビデオカメラなど）のブロック図である。図２において、図１と同一の構成要素には、同一の参照符号が付されている。本実施例の撮像装置は、システム制御手段１０１Ｂとリサイズ処理手段１０７Ｂを有する点で実施例１の撮像装置とは相違する。

リサイズ処理手段１０７Ｂは、処理時間が異なる少なくとも２種類の（即ち、複数の）リサイズ処理手段（例えば、加算処理部、間引き処理部、切り出し処理部のうちすくなくとも２つ）を含んでいる。

システム制御手段１０１Ｂは、システム制御手段１０１Ａの機能に加えて、優先順位設定部と、リサイズ処理時間算出部と、リサイズ処理手段選択部としての機能を有する。これらはプロセッサのモジュールとして構成されてもよい。

優先順位設定部は、複数のリサイズ処理手段の優先順位を設定する。

システム制御手段１０１Ｂは、入力画像の画素数と出力画像の画素数と各リサイズ処理手段によるリサイズ処理時間との関係を予め（テーブル、式、グラフなどとして）不図示のメモリに格納している。リサイズ処理時間算出部は、入力画像の画素数と出力画像の画素数とメモリを参照して各リサイズ処理手段のリサイズ処理時間を算出（推定）する。なお、電子ズーム撮影であれば、リサイズ処理時間算出部は、電子ズームの倍率と設定された撮像素子１０３の駆動方法に応じたリサイズ処理時間を算出する。この場合は、メモリは電子ズームの倍率との関係を更に格納している。

リサイズ処理手段選択部は、複数のリサイズ処理手段の中から、算出されたリサイズ処理時間が閾値以下で、かつ、最も優先順位が高いものを、補間用の動画像を生成するのに使用されるリサイズ処理手段として選択する。閾値は、リサイズ処理時間をフレーム期間内に終了させるのに必要な時間から設定される。

例えば、リサイズ処理手段１０７Ｂが加算処理部、間引き処理部、切り出し処理部の３種類のリサイズ処理手段を含んでおり、この順番で処理時間が短くなるものとし、システム制御手段１０１Ｂの優先順位設定部はこの順番で優先順位を設定するものとする。この場合、加算処理部の処理時間が閾値以下であれば、リサイズ処理手段選択部は加算処理部を選択する。また、加算処理部の処理時間と間引き処理部の処理時間が閾値よりも大きく切り出し処理部の処理時間が閾値以下であれば、リサイズ処理手段選択部は切り出し処理部を選択する。加算処理部の処理時間が閾値よりも大きく間引き処理部の処理時間と切り出し処理部の処理時間が閾値以下であれば、リサイズ処理手段選択部は間引き処理部を選択する。

この結果、動画メモリ１０５が保持している画像をリサイズする場合と、静止画メモリ１０６が保持している画像をリサイズする場合でリサイズ処理手段が変更される場合もあるし、電子ズームの倍率によってリサイズ処理手段が変更される場合もある。また、動画メモリ１０５からリサイズする場合と静止画メモリ１０６からリサイズする場合の一方にのみ本実施例を適用してもよい。

本実施例では、算出されるリサイズ処理時間に応じて使用されるリサイズ処理手段を選択している。このため、撮像素子１０３の画素数が増加して最適なリサイズ処理ができない場合、撮影時の状況に応じて動画用の画像からリサイズした動画用画像と、静止画用の画像からリサイズした動画用画像の差分を小さくすることができる。特に、電子ズーム撮影等で上記差分が大きくなる場合に両動画用画像を再生した際の連続性を向上することができる。

撮像装置は、被写体の撮像に適用することができる。

１０１Ａ、１０１Ｂ システム制御手段
１０３ 撮像素子
１０５ 動画メモリ
１０６ 静止画メモリ
１０７Ａ、１０７Ｂ リサイズ処理手段

Claims (3)

1. 動画撮影中に静止画撮影が可能なモードを有し、前記静止画撮影によってコマ落ちする動画像を前記静止画撮影によって生成される静止画用の画像から生成された補間用の動画像によって補間する撮像装置であって、
   撮像素子が出力した画像のサイズを変更するリサイズ処理手段を有し、
   当該リサイズ処理手段は、前記静止画撮影によって前記撮像素子から出力された画像が動画撮影時に前記リサイズ処理手段を経た動画像のサイズになるように、前記静止画撮影によって前記撮像素子から出力された画像にリサイズ処理を施すことによって前記補間用の動画像を生成することを特徴とする撮像装置。
2. 前記撮像素子が出力した動画用の画像を保持する動画メモリと、
   前記撮像素子が出力した静止画用の画像を保持する静止画メモリと、
   を更に有し、
   前記リサイズ処理手段は、前記動画撮影時に前記動画メモリに保持された画像にリサイズ処理を施し、
   前記リサイズ処理手段は、前記補間用の動画像を生成する場合、前記静止画メモリに保持された静止画用の画像が前記動画撮影時に前記撮像素子が出力する画像のサイズになるように前記静止画用の画像にリサイズ処理を施してから前記動画メモリに格納し、その後、前記動画メモリに保持された前記リサイズ処理された静止画用の画像にリサイズ処理を施して前記補間用の動画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 処理時間が異なる少なくとも２種類のリサイズ処理手段と、
   前記少なくとも２種類のリサイズ処理手段の優先順位を設定する優先順位設定部と、
   各リサイズ処理手段によるリサイズ処理時間を算出するリサイズ処理時間算出部と、
   前記少なくとも２種類のリサイズ処理手段の中から、前記リサイズ処理時間算出部が算出した前記リサイズ処理時間が閾値以下で、かつ、前記優先順位設定部が設定した最も優先順位が高いものを、使用されるリサイズ処理手段として選択するリサイズ処理手段選択部と、
   を更に有することを特徴とする請求項１又は２に記載の撮像装置。