JP2005175571A

JP2005175571A - 撮像装置

Info

Publication number: JP2005175571A
Application number: JP2003408607A
Authority: JP
Inventors: Takeshi Hamazaki; 岳史浜崎
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-12-08
Filing date: 2003-12-08
Publication date: 2005-06-30

Abstract

【課題】動画と静止画を時分割で処理することにより、インターレースＣＣＤを用いた撮像装置で、動画撮影中にＣＣＤ出力画素を全て使った静止画撮影を可能にする。
【解決手段】第１の選択手段３は、動画撮影時はＣＣＤ１の出力を、静止画撮影時はＩＰ変換手段７の出力を選択してカメラ信号処理手段４に入力する。第２の選択手段１２は、動画撮影時は第１の係数発生手段９の出力を、静止画撮影時は第２の係数発生手段１０の出力を選択して補間手段５に入力する。第２の係数発生手段１０は係数保持手段１１を介して、１フィールド前の補間手段の最終補間係数を初期値として選択できる。１フィールド期間を動画信号処理期間と静止画信号処理期間に分割し、期間を判別する判別信号を用いて第１および第２の選択手段３および１２を切り替えることにより、動画と静止画の処理を並行して実行でき、静止画ズーム処理をも可能にする。
【選択図】図１

Description

本発明は、静止画撮影が可能なビデオカメラに関するものである。

近年、静止画撮影機能を搭載したビデオカメラが各社から発売されてきている。静止画画素数は100万画素を超えるものが大半であり、中には300万画素を超えるものも出てきている。これらのビデオカメラに使われている撮像装置について説明する。

図９は従来の撮像装置のシステム構成を示す図である。まず動画撮影時について動作を説明する。レンズ（図示せず）、絞り（図示せず）を通って入射した光はＣＣＤ１で光電変換され、映像信号として出力される。説明の便宜上、ここではＣＣＤ１はインターレースＣＣＤとして説明する。選択手段３は、動画撮影時はＣＣＤ１の出力を選択し、カメラ信号処理手段４に入力する。カメラ信号処理手段４は、入力信号（補色または原色データ）に対してホワイトバランス処理、γ補正、輝度信号および色差信号の作成、輪郭強調など一連のカメラ信号処理を施す。画素数変換手段５は、カメラ信号処理手段４の出力をＮＴＳＣやＰＡＬなどのテレビジョン方式で表示可能な画素数に変換して出力する。選択手段８は、動画撮影時は画素数変換手段５の出力を選択してカメラ出力として出力する。

次に静止画撮影時の動作を説明する。静止画撮影ボタン（図示せず）が押されると、絞り（図示せず）が閉じられ、ＣＣＤ１での光電変換の結果得られた２フィールド分のインターレース映像信号は、メモリ手段２に入力される。メモリ手段２は２フィールド分の映像信号を記憶できる容量を持つ。メモリ手段２は、入力された２フィールドのインターレース映像信号を１フレームのプログレッシブ映像信号に変換して出力する。選択手段３は、静止画撮影時はメモリ手段２の出力を選択し、カメラ信号処理手段４に入力する。カメラ信号処理手段４は、入力信号（補色または原色データ）に対してホワイトバランス処理、γ補正、輝度信号および色差信号の作成、輪郭強調など一連のカメラ信号処理を施す。選択手段８は、静止画撮影時はカメラ信号処理手段４の出力を選択してカメラ出力として出力する。

ＣＣＤ１にプログレッシブＣＣＤを用いた場合は、図１０のようにメモリ手段２と選択手段３を省略可能である。ただし、画素数変換手段５の出力がプログレッシブ映像信号になるため、インターレース映像信号を出力する場合には、プログレッシブ映像信号をインターレース映像信号に変換するためのメモリ手段９が別途必要になる。
特開平５−３３６４９８号公報

解決しようとする問題点は、第１にインターレースＣＣＤを用いた従来の撮像装置では、動画撮影中にＣＣＤ出力画素を全て使った静止画撮影ができない点である。図９でＣＣＤ１はインターレースＣＣＤであるから、カメラ信号処理手段４と画素数変換手段５の出力を同時に出力しても、カメラ信号処理手段４の出力はインターレース信号であるため、静止画垂直画素数はＣＣＤ出力画素数の１／２になってしまい、静止画垂直解像度は１／２に劣化する。

第２に、インターレースＣＣＤを用いた従来の撮像装置では、動画撮影中にＣＣＤ出力画素を全て使った静止画撮影を行うと、回路規模、コスト、消費電力が増大する点である。例えば図１１のように、２系統のカメラ信号処理手段４および１０を設け、一方はＣＣＤ１から出力されるインターレース映像信号、他方はメモリ手段２から出力されるプログレッシブ映像信号を処理し、カメラ信号処理手段４のインターレース映像信号出力は画素数変換手段５を経て動画として出力し、カメラ信号処理手段１０のプログレッシブ映像信号出力は静止画として出力するといった構成が必要である。

第３に、プログレッシブＣＣＤを用いた従来の撮像装置では、動画撮影中にＣＣＤ出力画素を全て使った静止画撮影を行うと、コスト、電力が増大する点である。この場合は図１０と同様の回路構成で済むが、一般にプログレッシブＣＣＤはコストが高く、画素数が同じであれば駆動周波数はインターレースＣＣＤの２倍となるので、消費電力が増大する。

本発明は、映像信号の垂直ブランキング期間に静止画を処理する構成とするため、動画撮影中に静止画撮影が可能になることを最も主要な特徴とする。

本発明の撮像装置は、動画と静止画を時分割で処理することにより、インターレースＣＣＤを用いて動画撮影中にＣＣＤ出力画素を全て使った静止画撮影が可能になり、垂直方向のズーム処理を断続的に行うことで同時撮影時の静止画ズーム処理を可能にするという利点がある。

本発明の請求項１及び２に記載の発明は、撮像素子と、前記撮像素子の出力信号を記憶する記憶手段と、前記記憶手段の出力であるインターレース映像信号をプログレッシブ映像信号に変換するＩＰ変換手段と、前記撮像素子の出力信号または前記ＩＰ変換手段の出力信号のいずれかを選択して出力する第１の選択手段と、前記第１の選択手段の出力信号から輝度信号および色差信号を作成するカメラ信号処理手段と、前記カメラ信号処理手段の出力信号に対して補間処理を施す補間手段と、前記補間手段出力信号の画素数を所定の画素数に変換する画素数変換手段と、補間係数を発生する第１および第２の係数発生手段と、前記補間手段の係数を保持し、前記第２の係数発生手段に入力する係数保持手段と、前記第１および第２の係数発生手段の出力を選択して前期補間手段に出力する第２の選択手段と、前記第１および第２の選択手段を制御するための制御信号を出力する同期信号発生手段とを備え、垂直走査期間を第１および第２の垂直走査期間に分割し、前記第１の選択手段において、前記第１の垂直走査期間は前記撮像素子の出力信号を、前記第２の垂直走査期間は前記記憶手段の出力信号を選択するよう制御し、前記第２の選択手段において、前記第１の垂直走査期間は前記第１の係数発生手段の出力信号を、前記第２の垂直走査期間は前記第２の係数発生手段の出力信号を選択するよう制御し、前記第１の垂直走査期間における前記画素数変換手段の出力信号を動画出力信号とし、前記第２の垂直走査期間における前記補間手段の出力信号を静止画出力信号とするものであり、これにより、動画撮影中に静止画撮影を可能にし、静止画ズーム処理を可能にするという目的を実現した。

以下、本発明の実施の形態である撮像装置について説明する。

（実施の形態１）
図１は本発明の撮像装置の実施の形態を示すブロック図である。

図において、１は撮像素子であるＣＣＤで、本実施の形態ではインターレース方式のＣＣＤを使用した。２は後述する同期信号発生手段６からの同期信号により動作制御されＣＣＤ１からの映像信号を記憶するメモリ手段、７はメモリ手段２からの映像信号をインターレース方式からプログレッシブ方式へ変換して出力するＩＰ変換手段、３はメモリ手段２の出力とＩＰ変換手段７の出力とを切り換える第１の選択手段で、動画撮影時はＣＣＤ１からの出力を選択し、静止画撮影時はＩＰ変換手段７からの出力を選択する。４は第１の選択手段３で選択した映像信号に対してガンマ補正などの各種信号処理を施すカメラ信号処理手段、５はカメラ信号処理手段４からの映像信号に対して選択手段１２からの補間係数に基づき拡大（ズーム）処理を行う補間手段、６は補間手段５からの映像信号を表示手段（図示せず）に表示可能な画素数に変換する画素数変換手段、８はメモリ手段２と第１の選択手段３及び８に同期信号を出力する同期信号発生手段、９はカメラ信号処理手段４で用いる動画用の信号処理パラメータを第１の係数として発生する第１係数発生手段、１０はカメラ信号処理手段４で用いる静止画用の信号処理パラメータを第２の係数として発生する第２の係数発生手段で、第１の係数と第２の係数は異なる係数となっている。１２は同期信号発生手段８からの制御により第１係数発生手段９か第２係数発生手段１０のうちいずれかを選択し補間手段５に出力する第２の選択手段、１１は各フィールドにおける最終の静止画用垂直方向補間係数を保持する係数保持手段である。

以上のように構成された本実施の形態の撮像装置について、以下その動作について説明する。

まず、動画撮影時の動作について説明する。

レンズ（図示せず）、絞り（図示せず）を通って入射した光はＣＣＤ１で光電変換され、映像信号として出力される。ここでＣＣＤ１はインターレースＣＣＤである。ＣＣＤ１の出力信号は選択手段３に入力される。選択手段３は、動画撮影時はＣＣＤ１の出力を選択し、カメラ信号処理手段４に入力する。カメラ信号処理手段４は、入力信号（補色または原色データ）に対してホワイトバランス処理、γ補正、輝度信号および色差信号の作成、輪郭強調など一連のカメラ信号処理を施す。補間手段５は、カメラ信号処理手段４の出力にズーム処理を施す。画素数変換手段６は、補間手段５の出力をＮＴＳＣやＰＡＬなどのテレビジョン方式で表示可能な画素数に変換して出力する。

次に静止画撮影時の動作を、図２を参照しながら説明する。図２は静止画撮影時のタイミングを示す図である。（１）〜（４）はフィールドを示す番号である。同図のように、あるタイミングで静止画撮影ボタン（図示せず）が押されると、続くフィールド（１）〜（４）の期間に、ＣＣＤ１からは動画として撮影された連続する４フィールドのインターレース映像信号Ａ１、Ｂ１、Ａ２、Ｂ２が出力される。この時、従来の静止画撮影のように絞りを閉じるとＣＣＤ１が露光されず、出力信号が途切れ、動画撮影に悪影響を与えるため、絞り（図示せず）を閉じる制御は行わない。

インターレース映像信号Ａ１、Ｂ１、Ａ２は、メモリ手段２に入力される。第２のメモリ手段３は３フィールド分の映像信号を記憶できる容量を持つ。フィールド（４）の期間に第２のメモリ手段３からは、連続する３フィールドのインターレース映像信号Ａ１、Ｂ１、Ａ２が同時に出力され、ＩＰ変換手段７に入力される。ＩＰ変換手段７には、ＣＣＤ１の出力信号も供給される。ＩＰ変換手段７では、空間位置が同一の信号Ａ１とＡ２、およびＢ１とＢ２より画面内の動きを検出し、動きが無いと判断した場合はＡ１とＢ１からプログレッシブ信号を作成し、動きがあると判断した場合は、Ｂ１と、Ｂ１を走査線補間した信号Ｂ１^*から擬似的にプログレッシブ信号を作成し、出力する。

ＩＰ変換手段７の動作イメージを図３に示す。図３（ａ）は連続する４フィールドを示す。画像は円形の物体が画面を横切るものである。Ａ１とＡ２、Ｂ１とＢ２の差をそれぞれ求め、差の絶対値が所定の値を超える領域を抽出することにより、画像の動き領域が検出される。動き領域は図３（ｂ）のハッチング部のようになる。図３（ｂ）の静止部分（ハッチング無し）は図３（ｃ）左のようにＡ１、Ｂ１からフレームを構成し、動き部分（ハッチング有り）は図３（ｃ）右のようにＢ１と、Ｂ１を垂直補間したＢ１^*からフレームを構成する。この結果、ＩＰ変換手段４の出力は図３（ｄ）のようにＢ１と同時刻のフレームが擬似的に得られることになる。

選択手段３は、静止画撮影時はＩＰ変換手段７の出力を選択し、カメラ信号処理手段４に入力する。カメラ信号処理手段４は、入力信号に対してホワイトバランス処理、γ補正、輝度信号および色差信号の作成、輪郭強調など一連のカメラ信号処理を施す。補間手段５は、カメラ信号処理手段４の出力信号にズーム処理を施し、静止画出力として出力する。

同期信号発生手段８は、メモリ手段２の書き込みおよび読み出し制御信号を発生するとともに、選択手段３の制御信号を発生する。ここで、１フィールド期間を動画信号処理期間と静止画信号処理期間に分け、同期信号発生手段８で動画・静止画処理期間判別信号を作成し、この判別信号を用いて選択手段３を切り替えることにより、動画と静止画の処理を並行して実行することが可能になる。以下、この制御を行う場合について説明する。

図４は動画撮影時における同期信号発生手段８の内部信号である垂直同期信号と、映像信号のタイミングを示すものである。図４ではＮＴＳＣ方式を例にあげて説明している。垂直同期信号の周期は２６２．５H（H：水平走査期間）であり、これに対して映像信号は２４０H存在するため、差し引き２２．５Hの垂直ブランキング期間が存在する。ここで動画処理期間を２４０Ｈ、静止画処理期間を２２．５Ｈとし、垂直ブランキング期間に静止画処理を行うことが考えられる。この様子を図５に示す。

図５は、動画・静止画同時撮影時のタイミングを示すものである。同図のように、同期信号発生手段９から出力される動画・静止画処理期間判別信号を用いて、２６２．５Hのうち２４０Hを動画処理、２０Hを静止画処理に割り当てる。静止画データは２０ラインずつ分割処理される。この例を図６に示す。図６のように９６０ラインから成る静止画の場合は、２０ラインずつ４８分割処理されることになり、４８フィールドの期間で１枚の静止画が処理可能となる。カメラ信号処理手段４から分割出力された静止画信号は、後段の記録手段（図示せず）で結合処理され、記録媒体に記録される。

ここで、カメラのズーム処理について考える。静止画撮影を主目的とするデジタルカメラで使用するＣＣＤは、水平・垂直の画素間隔が等しい「正方画素」と呼ばれる種類のものである。デジタルカメラ出力の表示手段であるパソコンやプリンタは水平・垂直の画素間隔を等しく表示するため、静止画画素およびＣＣＤ画素も正方画素になっている。これに対して動画撮影を主目的とするビデオカメラで使用するＣＣＤは、水平・垂直の画素間隔が異なる「長方画素」と呼ばれる種類のものが多いため、出力される静止画をそのまま表示すると、縦横の比が崩れて縦長や横長に表示されてしまう。従って、長方画素ＣＣＤを用いているビデオカメラでの静止画撮影においては、パソコンやプリンタで静止画を正しい縦横比で表示するために、ズーム処理を用いて正方画素に変換する必要がある。以下、静止画をズーム処理する場合の動作について説明する。

まず、ズーム処理の原理について説明する。図７は、映像信号のズーム処理のイメージを示すものである。上段は入力される画素であり、下段はズーム処理出力である。図７は１．２倍（６／５倍）ズームの例である。出力画素（１）は、入力画素（１）をそのまま出力する。出力画素（２）は、入力画素（１）と（２）を１／６と５／６の重みで加算して出力する。出力画素（３）は、入力画素（２）と（３）を２／６と４／６の重みで加算して出力する。以下同様に、入力画素の画素間隔の５／６の画素間隔を持つ出力画素を作成するように処理する。出力画素の下に記載しているＫ_n（ｎ＝０，１，２，・・・）は各出力画素を求めるのに必要な重みの値であり、数１に従って求められる。

Ｋ_n＝ＦＲＡＣ（Ｋ_n-1＋５／６）（ｎ＝０，１，２，・・・）・・・（数１）
このＫ_nを補間係数と表現する。ここで、ＦＲＡＣ（）は、（）内の値の小数部を取り出すことを意味する関数である。上記のズーム処理の原理は映像信号の水平方向・垂直方向ともに成り立つものである。

動画の水平・垂直方向、ならびに静止画の水平方向のズーム処理は上記の処理を毎ライン繰り返し行えば良いが、本発明における静止画の垂直方向に関しては少し事情が異なる。本発明の構成では、図５に示すように静止画は１フィールド期間に２０ラインずつしか処理されないため、垂直方向のズーム処理は断続的に行う必要がある。また、図６に示したように１枚の静止画を２０ラインずつ分割処理することになるため、分割のつなぎ目において垂直方向の補間係数は連続している必要がある。これに必要な構成を、図１を参照して説明する。

図１の第１の係数発生手段９は適当な値を初期値として数１に示す式に基づいて動画用補間係数を発生し、第２の係数発生手段１０は静止画処理の最初のフィールド（分割処理の最初のフィールド）では適当な値を初期値として、２フィールド目以降では係数保持手段１１の出力を初期値として静止画用補間係数を発生する。係数保持手段１１は各フィールドにおける最終の静止画用垂直方向補間係数を保持する。第２の選択手段１２は、動画処理期間には第１の係数発生手段の出力を、静止画処理期間には第３の選択手段の出力を選択し、補間手段５に入力する。補間手段５では第２の選択手段１２の出力を補間係数としてズーム処理を行う。

この時の動画および静止画ズーム処理の様子を図８に示す。図８は動画処理期間の２４０Ｈおよび静止画処理期間の２０Ｈの垂直方向補間係数を拡大表示したものである。動画用垂直補間係数は毎フィールド初期値Ｋ₀から始まり、１ライン毎に更新されてＫ₂₃₉まで進むという動作を繰り返す。これに対して静止画用垂直補間係数は、１フィールド目は初期値Ｋ₀から始まり、１ライン毎に更新されてＫ₁₉まで進む。１フィールド目の最終値Ｋ₁₉は係数保持手段１１に退避・格納される。２フィールド目の垂直補間係数はＫ₁₉に続くＫ₂₀を初期値として始まり、１ライン毎に更新されてＫ₃₉まで進む。２フィールド目の最終値Ｋ₃₉は係数保持手段１１に退避・格納される。以下、同様に繰り返すことで静止画分割処理においてもズーム処理が可能になる。また、動画用補間係数は静止画用補間係数とは独立に設定できるため、動画と静止画で異なるズーム倍率を設定することも可能である。
以上のように、本発明によれば、動画処理を行わない垂直ブランキング期間を用いて静止画を処理することができ、静止画にズーム処理を行うことも可能になる。
なお、上記実施の形態では、ＣＣＤ１を単一のＣＣＤとして説明したが、複数のＣＣＤを用いても良い。
また、上記実施の形態では、ＩＰ変換手段４での処理を連続する４フィールドから動き領域を求めるものとしたが、動き検出に用いるフィールド数は４フィールドに限るものではない。
また、上記実施の形態では、動画処理期間を２４０Ｈ、静止画処理期間を２０Ｈとして説明したが、それぞれの処理期間はこの値に限定するものではない。
また、上記実施の形態では、ズーム処理の説明を２画素から１画素を補間するとして説明したが、補間に用いる画素数は３画素以上でも良い。

以上のように、本発明によれば、動画撮影と静止画撮影を同時に行うことができる。また、垂直ブランキング期間に静止画処理が可能であることを活かすことによって、絞りを閉じる従来方式の静止画撮影直後に動画撮影モードに切り替える場合などに、静止画処理の完了を待つ必要無く動画撮影を開始してモードの移行期間を短縮するといった用途にも適用できる。

本発明の撮像装置の構成を示すブロック図静止画撮影時のタイミングを示すタイミング図ＩＰ変換の動作イメージを示すイメージ図動画撮影時のタイミングを示すタイミング図動画静止画同時撮影時のタイミングを示すタイミング図静止画分割処理のイメージを示すイメージ図ズーム処理のイメージを示すイメージ図動画・静止画用垂直補間係数のタイミングを示すタイミング図従来の撮像装置の構成を示すブロック図従来の撮像装置の構成を示すブロック図従来の撮像装置の構成を示すブロック図

符号の説明

１ CCD（撮像素子）
２メモリ手段（記憶手段）
３第１の選択手段
４カメラ信号処理手段
５補間手段
６画素数変換手段
７ＩＰ変換手段
８同期信号発生手段
９第１の係数発生手段
１０第２の係数発生手段
１１係数保持手段
１２第２の選択手段

Claims

撮像素子と、前記撮像素子の出力信号を記憶する記憶手段と、前記記憶手段の出力であるインターレース映像信号をプログレッシブ映像信号に変換するＩＰ変換手段と、前記撮像素子の出力信号または前記ＩＰ変換手段の出力信号のいずれかを選択して出力する第１の選択手段と、前記第１の選択手段の出力信号から輝度信号および色差信号を作成するカメラ信号処理手段と、前記カメラ信号処理手段の出力信号に対して補間処理を施す補間手段と、前記補間手段出力信号の画素数を所定の画素数に変換する画素数変換手段と、補間係数を発生する第１および第２の係数発生手段と、前記補間手段の係数を保持し、前記第２の係数発生手段に入力する係数保持手段と、前記第１および第２の係数発生手段の出力を選択して前期補間手段に出力する第２の選択手段と、前記第１および第２の選択手段を制御するための制御信号を出力する同期信号発生手段とを備え、
垂直走査期間を第１および第２の垂直走査期間に分割し、前記第１の選択手段において、前記第１の垂直走査期間は前記撮像素子の出力信号を、前記第２の垂直走査期間は前記記憶手段の出力信号を選択するよう制御し、前記第２の選択手段において、前記第１の垂直走査期間は前記第１の係数発生手段の出力信号を、前記第２の垂直走査期間は前記第２の係数発生手段の出力信号を選択するよう制御し、前記第１の垂直走査期間における前記画素数変換手段の出力信号を動画出力信号とし、前記第２の垂直走査期間における前記補間手段の出力信号を静止画出力信号とすることを特徴とする撮像装置。
前記第１の垂直走査期間は垂直有効期間、前記第２の垂直走査期間は垂直ブランキング期間であるとした、請求項１に記載の撮像装置。