JP2007243819A

JP2007243819A - 画像処理装置

Info

Publication number: JP2007243819A
Application number: JP2006066365A
Authority: JP
Inventors: Hitoshi Kubota; 均久保田; Hideo Fujita; 偉雄藤田; Narihiro Matoba; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-03-10
Filing date: 2006-03-10
Publication date: 2007-09-20

Abstract

【課題】画像メモリへの画像データ記録中に、並行して画像データを表示可能にすることのできる画像処理装置を得る。
【解決手段】撮像手段２は画像データを出力する。セレクタ７は、撮像手段２から出力された画像データをＳＤＲＡＭ２２に出力するよう選択を行う。セレクタ８は、ＳＤＲＡＭ２２から出力された画像データを選択し、この画像データを縮小処理回路９で縮小する。オートホワイトバランス回路１３〜フィルタ処理部１７は、縮小処理回路９で縮小された画像データの後処理を施し、表示用画像データを生成する。
【選択図】図１

Description

この発明は、デジタルスチルカメラやデジタルビデオカメラ等において、生成される画像データをリアルタイム表示させる画像処理装置に関するものである。

デジタルスチルカメラやデジタルビデオカメラなどの分野において、撮像素子からの画像データ処理中に、リアルタイムに画像表示を行う技術が開示されている。例えば、特許文献１に示されるように、撮像素子からの画像データをＣＰＵなどの演算処理手段へ転送する第１のインタフェースと、ＬＣＤコントローラなどの画像表示装置へ転送する第２のインタフェースとを備える構成とし、それぞれに対して解像度変換を実施することでリアルタイム表示を可能としている。

特開２０００−２６７６４２号公報

しかしながら、撮像素子の画素数が増加の一途を辿っている近年の状況では、上述の演算処理手段を専用のハードウェアで構成した場合、画像処理で頻繁に使用する二次元コンボリューション用のラインメモリの大幅な増加を招いてしまう。更に、撮像素子の高画素化に伴い画像処理の質の面でも高いレベルを要求されるため、ラインメモリの必要ライン数も同様に増加する傾向となり、ハードウェア規模の爆発的な増大を招いてしまう。
また、演算処理手段で処理可能な画像サイズに解像度変換を実施した後に画像データをメインメモリに記録するため、ユーザが得る最終的な静止画像の劣化を招いてしまう。

この発明は上記のような課題を解決するためになされたもので、画像メモリへの画像データ記録中に、並行して画像データを表示可能にすることのできる画像処理装置を得ることを目的とする。
また、画像データの記録中に、容易に任意の画面を選択して表示を可能にすることのできる画像処理装置を得ることを目的とする。
また、画像処理の後処理の一時記録用メモリを削減することを可能にすることのできる画像処理装置を得ることを目的とする。
また、様々な撮像素子や画像処理システムに柔軟に対応し、画像表示の高速化を可能にすることのできる画像処理装置を得ることを目的とする。
また、動画処理中の表示画像を間引き、システムの負荷を抑制することでコマ落ちのない動画像を提供可能にすることのできる画像処理装置を得ることを目的とする。

この発明に係る画像処理装置は、撮像手段から出力される画像データに対して縮小処理を施す縮小処理手段と、縮小処理手段から出力される画像データに基づいて表示用画像データを生成する後処理手段と、縮小処理手段から出力される画像データと、撮像手段から出力される画像データとを選択して画像メモリに出力する第一の選択手段と、画像メモリから出力される画像データと、撮像手段から出力される画像データを選択して縮小処理手段に出力する第二の選択手段とを備えたものである。

この発明の画像処理装置は、第一の選択手段により撮像手段から出力される画像データを画像メモリに出力しながら、第二の選択手段により画像メモリから出力される画像データを縮小処理手段で縮小し、後処理手段で表示用画像データを生成するようにしたので、画像メモリへの画像データ記録中に、並行して画像データを表示可能にすることができる。

実施の形態１．
図１は、この発明の実施の形態１による画像処理装置を示す構成図である。
図において、画像処理装置は、レンズ系１、撮像手段２、アナログ処理部３、Ａ／Ｄ変換部４、ＣＣＤインタフェース（Ｉ／Ｆ）５、欠陥画素補正部６、セレクタ７，８、縮小処理回路９、フィールド選択回路１０、内部タイミング生成部１１、画像バス調停回路１２、オートホワイトバランス回路（ＡＷＢ）１３、γ（ガンマ）補正部１４、画素補間部１５、色補正部１６、フィルタ処理部１７、ラインメモリ１８〜２１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２、表示回路２３、動画処理回路２４、画像バス２５からなる。

レンズ系１は、被写体の光学像を結像させるための光学系である。撮像手段２は、ＲＧＢ原色ベイヤー配列のＣＣＤや、ＣＭＯＳ等の色フィルタアレイを備え、被写体光を電気信号に変換する手段であり、この撮像手段２は主に静止画記録用として全画素を読み出す全画素モードと、主に動画表示用として、垂直や水平方向の間引きを行うなどしてフレームレートを向上させる高速モードとを備えている。ここでは一例として全画素モードで水平３０００画素×垂直２３００ラインを４フィールドで読み出し、高速モードでは水平３０００画素×垂直４６０ラインを読み出すものとする。尚、撮像手段２はベイヤー配列に限定する必要はなく、色フィルタに関してもＹｅ、Ｍｇ、Ｇ、Ｃｙの補色タイプのものを使用してもよい。

アナログ処理部３は、撮像手段２の制御を行い、画像信号に増幅処理などを行う信号処理部である。Ａ／Ｄ変換部４は、アナログ処理部３から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部である。ＣＣＤインタフェース５は、Ａ／Ｄ変換部４のデジタル画像データに対する領域クリップ処理を行う処理部である。欠陥画素補正部６は、画像処理の前処理の一つである欠陥画素補正処理を行う機能部である。また、図示しないデジタルクランプ、オートフォーカス処理などのその他の前処理部が後段に配置され、ＣＣＤインタフェース５からこれら後段側の機能部で前処理手段が構成されている。

セレクタ７は、縮小処理回路９の出力（ａ入力）と、前処理を施した画像データ（ｂ入力）を選択するセレクタであり、第一の選択手段を構成している。セレクタ８は、前処理を施した画像データ（ｃ入力）と、画像バス調停回路１２によって読み出され、内部タイミング生成部１１を経由したＳＤＲＡＭ２２の画像データ（ｄ入力）を選択するセレクタであり、第二の選択手段を構成している。縮小処理回路９は、画像データの水平縮小処理を実施する縮小処理手段であり、縮小率に応じた動作を行う。尚、縮小処理の詳細については後述する。

フィールド選択回路１０は、図示しない制御用マイコン等の制御に基づいて、予め設定した任意のフィールド（またはフレーム）を選択して出力する回路であり、画面選択手段を構成している。また、このフィールド選択回路１０は、フィールド（またはフレーム）選択処理を実施しない場合は、入力信号をそのまま出力する（バイパス動作を行う）よう構成されている。内部タイミング生成部１１は、画像バス調停回路１２によって読み出されたＳＤＲＡＭ２２の画像データに垂直／水平同期信号などを付加して、後段の回路が処理可能になるようにタイミングを調整する機能部である。画像バス調停回路１２は、画像バス２５に接続され、ＳＤＲＡＭ２２のリード／ライト等における画像バス２５の制御を行う回路である。

オートホワイトバランス回路１３〜ラインメモリ２１は、縮小処理回路９から出力される画像データに基づいて表示用画像データを生成するための後処理手段を構成している。オートホワイトバランス回路１３は、フィールド選択回路１０から出力された画像データに対してホワイトバランスの調整を行うための回路である。ガンマ補正部１４は、画像データに対してガンマ補正処理を行う機能部である。画素補間部１５は、画素の補間処理を行う機能部である。色補正部１６は、画像データに対して色補正処理を行う機能部である。フィルタ処理部１７は、画像データに対する所定のフィルタ処理を行う機能部である。また、ラインメモリ１８〜２１は、ガンマ補正部１４〜フィルタ処理部１７が、二次元コンボリューション処理などで使用するための一時記録用メモリである。これらのラインメモリ１８〜２１は、それぞれの処理で必要なライン数を備えているが、水平方向に関しては撮像手段２の水平３０００画素に対して、これより少ない７６８画素分しか備えていないものとする。

ＳＤＲＡＭ２２は、画像バス２５に接続された画像メモリであり、前処理手段から出力された画像データ、または縮小処理回路９で縮小処理された画像データを記録するメモリである。表示回路２３は、図示しないＬＣＤ（Liquid Crystal Display）などの表示デバイスとそれを制御、駆動するための表示回路を含む表示手段である。また、動画処理回路２４は、ＭＰＥＧ４などの動画処理回路である。この動画処理回路２４は、例えば、ＭｏｔｉｏｎＪＰＥＧのように静止画を連続的に表示させることで動画を生成するＪＰＥＧ処理回路であってもよい。

次に、実施の形態１の動作について説明する。
図２〜図５は、撮像手段２からの各フィールドの出力形式を示す説明図である。
図２は撮像手段２の第１フィールドの出力形式を示したものであり、ＧＲラインを出力していることを表す。図３は第２フィールドの出力形式を示したものであり、ＢＧラインを出力していることを表す。図４は第３フィールドの出力形式を示したもので、ＧＲラインを出力していることを表す。図５は第４フィールドの出力形式を示したもので、ＢＧラインを出力していることを表す。

次に、静止画記録中の表示動作について説明する。
静止画記録動作は、撮像手段２から全画素、即ち、水平３０００×垂直２３００ラインを読出し、高品質の静止画像をユーザが得るための動作である。図示しない制御用マイコン等から静止画記録動作である旨が通知されると、撮像手段２は全画素モードとなり、撮像された全画素データを第１フィールドから順に第４フィールドまで読み出しを行う。読み出された画像データは、アナログ処理部３とＡ／Ｄ変換部４によって所定の処理を施され、ＣＣＤインタフェース５による領域クリップ処理、欠陥画素補正部６による補正や図示しないデジタルクランプ、オートフォーカス処理などの前処理が施される。

図６は、静止画記録中の画像バス調停回路１２によるＳＤＲＡＭ２２のライト及びリード動作とＳＤＲＡＭ２２の記録状態、縮小処理回路９の動作と生成された表示データの関係を示したものである。このとき撮像手段２の出力形式は各フィールド単独でＲＧＢの３色が揃うことがないため、一旦、ＳＤＲＡＭ２２に記録した複数フィールドの画像データを読み出して表示を行う必要がある。従って、図示しない制御用マイコン等の制御に基づき、セレクタ７は前処理を施した画像データ（ｂ入力）を選択し、セレクタ８はＳＤＲＡＭ２２から読み出した画像データ（ｄ入力）を選択しているものとし、フィールド選択回路１０はバイパス動作をしているものとする。

先ず、図２に示す第１フィールドデータ（ＧＲデータ）が、順次ＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録される。次に図３に示す第２フィールドデータ（ＢＧデータ）が、ＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録されるが、この時点でＲＧＢ３色の画素が揃い、表示用の画像が生成可能となるので、ＳＤＲＡＭ２２から第１フィールドの１ライン目（ＧＲ）、第２フィールドの１ライン目（ＢＧ）、第１フィールドの２ライン目（ＧＲ）、第２フィールドの２ライン目（ＢＧ）の順で読出しが開始される。読み出された画像データは内部タイミング生成部１１を経由して、縮小処理回路９において水平３０００画素から後処理で使用するラインメモリ１８〜２１の７６８画素以下にまで水平方向の縮小処理が施される。

図７は、縮小処理回路９において、ＧＲ成分を１／４に縮小する方法を示した説明図である。
図示のように、奇数画素位置となるＧ成分については、全ての画素について同じ重み付け処理を行い４で除算する。偶数画素位置となるＲ成分については、水平縮小後の画素重心をＧ成分と等間隔にするために、最初のＲ１画素は使用せず、以降５画素を使用して中心３画素に２、両端１画素については１の重み付け処理を行い８で除算する。この処理をＢＧラインを含めた全てのラインに施し、１ラインの画素数を７４９画素に縮小する。

これにより、後処理となるオートホワイトバランス回路１３、ガンマ補正部１４、画素補間部１５、色補正部１６、フィルタ処理部１７は、１画面の水平方向を一度に処理することができ、表示処理用のデータを静止画記録中に生成することが可能となる。

次に、高品質の静止画像をユーザが得るための、ＳＤＲＡＭ２２の全画素データを処理する静止画生成動作について説明する。
後処理となるガンマ補正部１４、画素補間部１５、色補正部１６およびフィルタ処理部１７は、それぞれ水平７６８画素分のラインメモリ１８〜２１しか備えておらず、水平３０００画素を一度に処理することができない。そこで、図示しない制御用マイコン等の制御により、ＳＤＲＡＭ２２に記録された画像データを垂直方向に４分割して読み出し、水平７５０画素×垂直２３００ライン単位で処理を行う。

分割して読み出された画像データは、オートホワイトバランス回路１３〜フィルタ処理部１７によって、オートホワイトバランス、ガンマ補正、画素補間、色補正およびフィルタ処理などの後処理を施され、画像バス調停回路１２によって再びＳＤＲＡＭ２２に記録される。この処理を分割された画像データに対して合計４回実施し画像合成することで、全画素の画像データが全て処理される。これら処理した画像データに対して圧縮処理等を施し、図示しないメモリカードなどの外部記録装置に転送することで、ユーザは最終的な画像データを手に入れることが可能となる。

上記のような構成と制御を行うことで、フィールド分割読出しを行う撮像手段２を使用した場合でも、全画素の静止画記録中に表示画像を高速に生成することができ、ユーザが、記録中の画像を直ちに確認することが可能となる。
また、奇数画素位置と偶数画素位置の水平縮小後の画像中心を等間隔とすることで、画質劣化の少ない高品質の表示画像を提供することができる。

尚、上記実施の形態１では画像表示について述べているが、生成した画像をサムネイル画像としてＳＤＲＡＭ２２に記録することも可能である。

また上記実施の形態における縮小処理回路９の動作は１／４とする場合について述べているが、他の縮小率についても同様な処理を行えばよい。例えば縮小率を２／３とした場合は図８のような処理を行うことで、奇数画素位置と偶数画素位置の水平縮小後の画像中心を等間隔にすることが可能となる。

以上のように、実施の形態１の画像処理装置によれば、それぞれが色成分を持つ複数の画素データからなる画像データを出力する撮像手段と、撮像手段から出力される画像データに対して縮小処理を施す縮小処理手段と、撮像手段から出力される画像データまたは縮小処理手段から出力される画像データを記録する画像メモリと、縮小処理手段から出力される画像データに基づいて表示用画像データを生成する後処理手段と、縮小処理手段から出力される画像データと、撮像手段から出力される画像データとを選択して画像メモリに出力する第一の選択手段と、画像メモリから出力される画像データと、撮像手段から出力される画像データを選択して縮小処理手段に出力する第二の選択手段とを備えたので、画像メモリへの画像データ記録中に、並行して画像データを表示可能にすることができる。

また、実施の形態１の画像処理装置によれば、縮小処理手段から出力される画像データから任意の画面を選択して出力する画面選択手段を備え、後処理手段は、画面選択手段の出力する画像データを入力するようにしたので、画像データの記録中に、容易に任意の画面を選択して表示を可能にすることができる。

また、実施の形態１の画像処理装置によれば、後処理手段は、撮像手段の水平方向の画素数より少ない一時記録用メモリを備えたので、画像処理の後処理の一時記録用メモリを削減することができる。

また、実施の形態１の画像処理装置によれば、第一の選択手段で撮像手段から出力される画像データを画像メモリに出力するよう選択すると共に、第二の選択手段で画像メモリから出力される画像データを選択し、撮像手段から出力される画像データを画像メモリへ記録中に、並行して画像メモリからの出力画像データに対して縮小処理手段で縮小処理を行い、後処理手段において後処理を施して表示用画像データを生成するようにしたので、更に、様々な撮像素子や画像処理システムに柔軟に対応し、画像表示の高速化を可能にすることができる。

実施の形態２．
実施の形態２は、撮像手段２からの画像データの出力形式として、１フィールドで表示用画像データとして必要な色成分が揃うよう、１フィールドにおいて、色成分が異なる画素データのラインを同時に出力するようにしたものである。ここで、図面上の構成は実施の形態１と同様であるため、図１を援用して説明する。

図９〜図１２は、撮像手段２からの第１〜第４フィールドの出力形式を示した説明図である。
図９は撮像手段２の第１フィールドの出力形式を示したものであり、ＲＧラインとＧＢラインを交互に出力していることを表す。図１０は第２フィールドの出力形式を示したものであり、ＧＢラインを出力していることを表す。図１１は第３フィールドの出力形式を示したもので、ＲＧラインを出力していることを表す。図１２は第４フィールドの出力形式を示したもので、ＧＢラインとＲＧラインを交互に出力していることを表す。

以下、静止画記録中の表示動作について説明する。
静止画記録動作は、撮像手段２から全画素、即ち水平３０００×垂直２３００ラインを読出し、高品質の静止画像をユーザが得るための動作である。図示しない制御用マイコン等から静止画記録動作である旨が通知されると撮像手段２は全画素モードとなり、撮像された全画素データを第１フィールドから順に第４フィールドまで読出しを行う。読み出された画像データはアナログ処理部３とＡ／Ｄ変換部４によって所定の処理を施され、ＣＣＤインタフェース５による領域クリップ処理、欠陥画素補正部６による補正や図示しないデジタルクランプ、オートフォーカス処理などの前処理が施される。

図１３は、静止画記録中の画像バス調停回路１２によるＳＤＲＡＭ２２のライト及びリード動作とＳＤＲＡＭ２２の記録状態、縮小処理回路９の動作と生成された表示データの関係を示したものである。
このとき第一の選択手段であるセレクタ７は前処理を施した画像データ（ｂ入力）を選択し、第二の選択手段であるセレクタ８は前処理を施した画像データ（ｃ入力）を選択しているものとし、フィールド選択回路１０は１フィールド目を選択して出力する動作をしているものとする。

まず図９の第１フィールドデータ（ＲＧ／ＧＢデータ）が順次ＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録される。ところでこの第１フィールドデータはＲＧＢ３色の画素が揃っているので、このフィールドのデータのみで表示用の画像データの作成が可能である。従ってこの第１フィールドのデータを、セレクタ８のｃ入力を経由させて縮小処理回路９において水平縮小処理を施す。このとき縮小処理回路９は実施の形態１と同様な動作を行い、水平３０００画素から後処理で使用するラインメモリ１８〜２１の７６８画素以下にまで水平方向の縮小処理が施される。

縮小された第１フィールドの画像データはフィールド選択回路１０で選択出力され、後処理となるオートホワイトバランス回路１３〜フィルタ処理部１７において、１画面の水平方向が一度に処理される。これにより表示処理用のデータを静止画記録中に生成することが可能となる。第２フィールド以降についてはＳＤＲＡＭ２２への記録のみが行われ、縮小処理回路９およびフィールド選択回路１０は停止状態となる。

上記のような構成と制御を行うことで、フィールド分割読出しを行う撮像手段を使用した場合でも、全画素の静止画記録中に表示画像を高速に生成することができ、ユーザが、記録中の画像を直ちに確認することが可能となる。
また、奇数画素位置と偶数画素位置の水平縮小後の画像中心を等間隔とすることで、画質劣化の少ない高品質の表示画像を提供することができる。

尚、上記実施の形態２では画像表示について述べているが、生成した画像をサムネイル画像としてＳＤＲＡＭ２２に記録することも可能である。

以上のように、実施の形態２の画像処理装置によれば、第一の選択手段で撮像手段から出力される画像データを画像メモリに出力するよう選択すると共に、第二の選択手段で撮像手段から出力される画像データを選択し、撮像手段から出力される画像データを画像メモリへ記録中に、並行して撮像手段から出力される画像データに対して縮小処理手段で縮小処理を行い、画面選択手段と後処理手段で処理を施して表示用画像データを生成するようにしたので、画像メモリへの画像データ記録中に、並行して画像データを直ちに表示可能にすることができる。

実施の形態３．
実施の形態３は、動画記録中の表示動作に関するものであり、図面上の構成は実施の形態１と同様であるため、図１を援用して説明する。
動画処理は、ユーザが被写体の画角合わせを行い被写体画像を滑らかに連続表示させている際に、ＭＰＥＧやモーションＪＰＥＧ処理を施して画像を記録するものである。しかし画像処理システムによっては、画像バス２５に高い負荷をかけることになり、動画の実時間処理が困難な場合がある。このような場合は画像バス２５の負荷を減らすために、表示処理のフレームレートを落とすフレーム間引きを行い、後処理前の動画像データの記録を優先させる必要がある。

撮像手段２はフレームレートを向上させるために、垂直方向の加算と間引きを行って水平３０００画素×垂直４６０ラインを読み出す。図示しない制御用マイコン等から動画処理動作である旨が通知されると撮像手段２は高速モードとなり、画像データの読出しを開始する。読み出された画像データはアナログ処理部３とＡ／Ｄ変換部４によって所定の処理を施され、ＣＣＤインタフェース５による領域クリップ処理、欠陥画素補正部６による補正や図示しないデジタルクランプ、オートフォーカス処理などの前処理が施される。

図１４は、動画像データ記録中の画像バス調停回路１２によるＳＤＲＡＭ２２のライトおよびリード動作とＳＤＲＡＭ２２の記録状態、縮小処理回路９の動作と生成された表示データの関係を示したものである。
このとき第一の選択手段であるセレクタ７は縮小処理を施した画像データ（ａ入力）を選択し、第二の選択手段であるセレクタ８は前処理を施した画像データ（ｃ入力）を選択しているものとし、フィールド選択回路１０は３フレームおきに画像データを選択して出力する動作をしているものとする。

先ず、１フレームから順次、前処理を施され、縮小処理回路９で水平縮小された画像データがＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録される。縮小処理回路９の動作は、実施の形態１と同様であるためここでの説明は省略する。このときフィールド選択回路１０は１フレーム、４フレーム、７フレームのように３フレームに１回の割合で縮小処理回路９からの縮小画像データを後処理へ選択出力する。選択出力された画像データは、オートホワイトバランス回路１３〜フィルタ処理部１７によって、１画面の水平方向が一度に処理され、３フレームに１回の割合で表示回路２３によって表示される。

上記の一連の動画像の記録及びフレーム間引き表示が終了した後、ＳＤＲＡＭ２２に記録された画像データに対し、１フレーム毎にオートホワイトバランス回路１３〜フィルタ処理部１７により、オートホワイトバランス、ガンマ補正、画素補間、色補正およびフィルタ処理の後処理を施すことで、最終的な動画像データをユーザは得ることができる。

上記のように動画像データのフレーム間引き表示を行うことで画像バス２５の負荷を低減し、コマ落ちのない動画像データをユーザは最終的に得ることが可能となる。
また、奇数画素位置と偶数画素位置の水平縮小後の画像中心を等間隔とすることで、画質劣化の少ない高品質の表示画像を提供することができる。
また、水平縮小処理後の画像データを外部メモリに記録するので、記録に要するメモリ領域を削減することが可能となる。

以上のように、実施の形態３の画像処理装置によれば、第一の選択手段で縮小処理手段から出力される画像データを画像メモリに出力するよう選択すると共に、第二の選択手段で撮像手段から出力される画像データを選択し、撮像手段から出力される画像データを縮小処理手段で縮小した後に画像メモリに記録し、並行して縮小処理を施した画像データに対して、画面選択手段と後処理手段で処理を施して表示用画像データを生成するようにしたので、動画処理中の表示画像を間引き、システムの負荷を抑制することでコマ落ちのない動画像を提供することができる。

実施の形態４．
図１５は、この発明の実施の形態４による画像処理装置を示す構成図である。
実施の形態４の画像処理装置は、レンズ系１、撮像手段２、アナログ処理部３、Ａ／Ｄ変換部４、ＣＣＤインタフェース（Ｉ／Ｆ）５、欠陥画素補正部６、第一の縮小処理回路９ａ、第二の縮小処理回路９ｂ、フィールド選択回路１０、内部タイミング生成部１１、画像バス調停回路１２、オートホワイトバランス回路（ＡＷＢ）１３、γ（ガンマ）補正部１４、画素補間部１５、色補正部１６、フィルタ処理部１７、ラインメモリ１８〜２１、ＳＤＲＡＭ２２、表示回路２３、動画処理回路２４、画像バス２５、第１のスイッチ２６、第２のスイッチ２７からなる。

ここで、実施の形態１と異なる構成は、第一の縮小処理回路９ａ、第二の縮小処理回路９ｂ、第１のスイッチ２６および第２のスイッチ２７であり、その他の構成については対応する部分に同一符号を付してその説明を省略する。

第一の縮小処理回路９ａは、前処理を施した画像データに水平縮小処理を施すか、またはバイパス処理を行う第一の縮小処理手段である。第二の縮小処理回路９ｂは、画像バス調停回路１２によって読み出され、内部タイミング生成部１１を経由したＳＤＲＡＭ２２の画像データに水平縮小処理を施すか、またはバイパス処理を行う第二の縮小処理手段である。尚、これら第一の縮小処理回路９ａおよび第二の縮小処理回路９ｂにおける縮小処理に関する構成は実施の形態１における縮小処理回路９と同様である。

第１のスイッチ２６は、フィールド選択回路１０の画像データを内部タイミング生成部１１に出力するためのスイッチであり、第２のスイッチ２７は、画像バス調停回路１２を経由してＳＤＲＡＭ２２から読み出した画像データを内部タイミング生成部１１に出力するためのスイッチである。

以下、静止画記録中の表示動作について説明する。
尚、実施の形態４において、撮像手段２からの出力形式については実施の形態１における図２〜図５と同様であるため、これら図２〜図５を用いて説明する。
静止画記録動作は、撮像手段２から全画素、即ち水平３０００×垂直２３００ラインを読出し、高品質の静止画像をユーザが得るための動作である。図示しない制御用マイコン等から静止画記録動作である旨が通知されると撮像手段２は全画素モードとなり、撮像された全画素データを第１フィールドから順に第４フィールドまで読出しを行う。これらの読出し動作は図２〜図５に示した動作と同様である。読み出された画像データはアナログ処理部３とＡ／Ｄ変換部４によって所定の処理を施され、ＣＣＤインタフェース５による領域クリップ処理、欠陥画素補正部６による補正や図示しないデジタルクランプ、オートフォーカス処理などの前処理が施される。

図１６は、静止画記録中の画像バス調停回路１２によるＳＤＲＡＭ２２のライト及びリード動作とＳＤＲＡＭ２２の記録状態、第一の縮小処理回路９ａと第二の縮小処理回路９ｂの動作と生成された表示データの関係を示したものである。このとき第１のスイッチ２６は、フィールド選択回路１０の画像データを内部タイミング生成部１１に出力しないＯＦＦの状態であり、第２のスイッチ２７は画像バス調停回路１２を経由してＳＤＲＡＭ２２から読み出した画像データを内部タイミング生成部１１に出力するＯＮの状態である。また、第一の縮小処理回路９ａは縮小処理を行わず、入力データをそのまま出力するバイパス動作状態である。

先ず、図２の第１フィールドデータ（ＧＲデータ）が順次ＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録される。次に、図３の第２フィールドデータ（ＢＧデータ）がＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録されるが、この時点でＲＧＢ３色の画素が揃い表示用の画像が生成可能となるので、ＳＤＲＡＭ２２から第１フィールドの１ライン目（ＧＲ）、第２フィールドの１ライン目（ＢＧ）、第１フィールドの２ライン目（ＧＲ）、第２フィールドの２ライン目（ＢＧ）の順で読出しが開始される。読み出された画像データは内部タイミング生成部１１を経由して、第二の縮小処理回路９ｂにおいて水平３０００画素から後処理で使用するラインメモリ１８〜２１の７６８画素以下にまで水平方向の縮小処理が施される。尚、第二の縮小処理回路９ｂにおける縮小処理の詳細は実施の形態１と同様であるため割愛する。

これにより、後処理を施すオートホワイトバランス回路１３〜フィルタ処理部１７は、１画面の水平方向を一度に処理することができ、表示処理用のデータを静止画記録中に生成することが可能となる。

次に、高品質の静止画像をユーザが得るための、ＳＤＲＡＭ２２の全画素データを処理する静止画生成動作について説明する。
実施の形態１において説明したように、後処理を施すオートホワイトバランス回路１３〜フィルタ処理部１７は、それぞれ水平７６８画素分のラインメモリ１８〜２１しか備えておらず、水平３０００画素を一度に処理することができない。そこでＳＤＲＡＭ２２に記録された画像データを垂直方向に４分割して読み出し、水平７５０画素×垂直２３００ライン単位で処理を行う。

分割して読み出された画像データは、オートホワイトバランス回路１３〜フィルタ処理部１７によって後処理が施され、画像バス調停回路１２によって再びＳＤＲＡＭ２２に記録される。この処理を分割された画像データに対して合計４回実施することで、全画素の画像データが全て処理される。これら処理した画像データに対して圧縮処理等を施し、図示しないメモリカードなどの外部記録装置に転送することで、ユーザは最終的な画像データを手に入れることが可能となる。

以上のように、実施の形態４の画像処理装置によれば、それぞれが色成分を持つ複数の画素データからなる画像データを出力する撮像手段と、撮像手段から出力される画像データを入力し、画像データに対して縮小処理を施すか、またはバイパス処理を行う第一の縮小処理手段と、第一の縮小処理手段から出力される画像データを記録する画像メモリと、第一の縮小処理手段から出力される画像データまたは画像メモリから出力される画像データに対して縮小処理を施すか、またはバイパス処理を行う第二の縮小処理手段と、第二の縮小処理手段からの画像データに基づいて表示用画像データを生成する後処理手段とを備えたので、画像メモリへの画像データ記録中に、並行して画像データを表示可能にすることができる。

また、実施の形態４の画像処理装置によれば、第一の縮小処理手段がバイパス処理を選択し、撮像手段から出力される画像データを画像メモリへ記録中に、並行して画像メモリからの出力画像データに対して第二の縮小処理手段で縮小処理を施すようにしたので、更に、様々な撮像素子や画像処理システムに柔軟に対応し、画像表示の高速化を可能にすることができる。

実施の形態５．
実施の形態５は、第一の縮小処理回路９ａおよび第二の縮小処理回路９ｂを備えた構成において、実施の形態２と同様に、撮像手段２から交互にラインを読出すようにしたものであり、図面上の構成は実施の形態４と同様であるため、図１５を援用して説明する。また、撮像手段２からの第１〜第４フィールドの出力形式については実施の形態２における図９〜図１２と同様であるため、これら図９〜図１２も援用して説明する。

図１７は、静止画記録中の画像バス調停回路１２によるＳＤＲＡＭ２２のライト及びリード動作とＳＤＲＡＭ２２の記録状態、第一の縮小処理回路９ａと第二の縮小処理回路９ｂの動作と生成された表示データの関係を示したものである。このとき第１のスイッチ２６は、フィールド選択回路１０の画像データを内部タイミング生成部１１に出力するＯＮの状態であり、第２のスイッチ２７は画像バス調停回路１２を経由してＳＤＲＡＭ２２から読み出した画像データを内部タイミング生成部１１に出力しないＯＦＦの状態である。また、第一の縮小処理回路９ａは縮小処理を行わず、入力データをそのまま出力するバイパス動作状態である。

先ず、図９の第１フィールドデータ（ＲＧ／ＧＢデータ）が順次ＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録される。ところで、この第１フィールドデータはＲＧＢ３色の画素が揃っているので、このフィールドのデータのみで表示用の画像データの作成が可能である。従って、この第１フィールドのデータをフィールド選択回路１０で選択出力し、第１のスイッチ２６を経由させて第二の縮小処理回路９ｂにおいて水平縮小処理を施す。このとき、第二の縮小処理回路９ｂは実施の形態１の縮小処理回路９と同様な動作を行い、水平３０００画素から後処理で使用するラインメモリ１８〜２１の７６８画素以下にまで水平方向の縮小処理が施される。縮小された第１フィールドの画像データは、後処理を施すオートホワイトバランス回路１３〜フィルタ処理部１７において、１画面の水平方向が一度に処理される。これにより表示処理用のデータを静止画記録中に生成することが可能となる。第２フィールド以降についてはＳＤＲＡＭ２２への記録のみが行われ、第二の縮小処理回路９ｂおよびフィールド選択回路１０は停止状態となる。

尚、上記実施の形態５では画像表示について述べているが、生成した画像をサムネイル画像としてＳＤＲＡＭ２２に記録することも可能である。

以上のように、実施の形態５の画像処理装置によれば、第一の縮小処理手段がバイパス処理を選択し、撮像手段から出力される画像データを画像メモリへ記録中に、並行して撮像手段から出力される画像データに対して第二の縮小処理手段で縮小処理を施すようにしたので、画像メモリへの画像データ記録中に、並行して画像データを直ちに表示可能にすることができる。

実施の形態６．
実施の形態６は、第一の縮小処理回路９ａおよび第二の縮小処理回路９ｂを備えた構成において、実施の形態３と同様に、動画記録中の表示動作に関するものであり、図面上の構成は実施の形態４と同様であるため、図１５を援用して説明する。

以下、実施の形態６の動画処理について説明する。
動画処理は、ユーザが被写体の画角合わせを行い被写体画像を滑らかに連続表示させている際に、ＭＰＥＧやモーションＪＰＥＧ処理を行い、処理画像を記録するものである。しかし画像処理システムによっては、画像バス２５に高い負荷をかけることになり、動画の実時間処理が困難な場合がある。このような場合は画像バス２５の負荷を減らすために、表示処理のフレームレートを落とすフレーム間引きを行い、後処理前の動画像データの記録を優先させる必要がある。

図１８は、動画像データ記録中の画像バス調停回路１２によるＳＤＲＡＭ２２のライト及びリード動作とＳＤＲＡＭ２２の記録状態、第一の縮小処理回路９ａと第二の縮小処理回路９ｂの動作と生成された表示データの関係を示したものである。このとき、第１のスイッチ２６は、フィールド選択回路１０の画像データを内部タイミング生成部１１に出力するＯＮの状態であり、第２のスイッチ２７は画像バス調停回路１２を経由してＳＤＲＡＭ２２から読み出した画像データを内部タイミング生成部１１に出力しないＯＦＦの状態である。また、第二の縮小処理回路９ｂは縮小処理を行わず、入力データをそのまま出力するバイパス動作状態である。

先ず、１フレームから順次、前処理を施され第一の縮小処理回路９ａで水平縮小された画像データがＳＤＲＡＭライト信号によりＳＤＲＡＭ２２に記録される。第一の縮小処理回路９ａの動作は、実施の形態１における縮小処理回路９と同様であるためここでの説明は省略する。このとき、フィールド選択回路１０は、１フレーム、４フレーム、７フレームのように、３フレームに１回の割合で第一の縮小処理回路９ａからの縮小画像データを後段側へ選択出力する。選択出力された画像データは、オートホワイトバランス回路１３〜フィルタ処理部１７において、１画面の水平方向が一度に処理され、３フレームに１回の割合で表示回路２３によって表示される。

上記の一連の動画像の記録及びフレーム間引き表示が終了した後、ＳＤＲＡＭ２２に記録された画像データに対し、１フレーム毎に、オートホワイトバランス回路１３〜フィルタ処理部１７によって後処理を施すことで、最終的な動画像データをユーザは得ることができる。

上記のように動画像データのフレーム間引き表示を行うことで画像バスの負荷を低減し、コマ落ちのない動画像データをユーザは最終的に得ることが可能となる。
また、奇数画素位置と偶数画素位置の水平縮小後の画像中心を等間隔とすることで、画質劣化の少ない高品質の表示画像を提供することができる。

以上のように、実施の形態６の画像処理装置によれば、第一の縮小処理手段は、撮像手段から出力される画像データに対して縮小処理を行い、縮小処理を行った画像データを画像メモリへ記録すると共に、第二の縮小処理手段はバイパス処理を選択するようにしたので、動画処理中の表示画像を間引き、システムの負荷を抑制することでコマ落ちのない動画像を提供することができる。

この発明の実施の形態１による画像処理装置を示す構成図である。この発明の実施の形態１における第１フィールドの出力形式を示す説明図である。この発明の実施の形態１における第２フィールドの出力形式を示す説明図である。この発明の実施の形態１における第３フィールドの出力形式を示す説明図である。この発明の実施の形態１における第４フィールドの出力形式を示す説明図である。この発明の実施の形態１における各部の処理タイミングを示す説明図である。この発明の実施の形態１における縮小処理回路の縮小動作を示す説明図である。この発明の実施の形態１における縮小処理回路の縮小動作の他の例を示す説明図である。この発明の実施の形態２における第１フィールドの出力形式を示す説明図である。この発明の実施の形態２における第２フィールドの出力形式を示す説明図である。この発明の実施の形態２における第３フィールドの出力形式を示す説明図である。この発明の実施の形態２における第４フィールドの出力形式を示す説明図である。この発明の実施の形態２における各部の処理タイミングを示す説明図である。この発明の実施の形態３における各部の処理タイミングを示す説明図である。この発明の実施の形態４による画像処理装置を示す構成図である。この発明の実施の形態４における各部の処理タイミングを示す説明図である。この発明の実施の形態５における各部の処理タイミングを示す説明図である。この発明の実施の形態６における各部の処理タイミングを示す説明図である。

符号の説明

２撮像手段、７セレクタ（第一の選択手段）、８セレクタ（第二の選択手段）、９縮小処理回路（縮小処理手段）、９ａ第一の縮小処理回路（第一の縮小処理手段）、９ｂ第二の縮小処理回路（第二の縮小処理手段）、１０フィールド選択回路（画面選択手段）、１３オートホワイトバランス回路、１４ガンマ補正部、１５画素補間部、１６色補正部、１７フィルタ処理部、１８〜２１ラインメモリ（一時記録用メモリ）、２２ＳＤＲＡＭ（画像メモリ）、２３表示回路。

Claims

それぞれが色成分を持つ複数の画素データからなる画像データを出力する撮像手段と、
前記撮像手段から出力される画像データに対して縮小処理を施す縮小処理手段と、
前記撮像手段から出力される画像データまたは前記縮小処理手段から出力される画像データを記録する画像メモリと、
前記縮小処理手段から出力される画像データに基づいて表示用画像データを生成する後処理手段と、
前記縮小処理手段から出力される画像データと、前記撮像手段から出力される画像データとを選択して前記画像メモリに出力する第一の選択手段と、
前記画像メモリから出力される画像データと、前記撮像手段から出力される画像データを選択して前記縮小処理手段に出力する第二の選択手段とを備えた画像処理装置。
縮小処理手段から出力される画像データから任意の画面を選択して出力する画面選択手段を備え、後処理手段は、当該画面選択手段の出力する画像データを入力するようにしたことを特徴とする請求項１記載の画像処理装置。
後処理手段は、撮像手段の水平方向の画素数より少ない一時記録用メモリを備えたことを特徴とする請求項１または請求項２記載の画像処理装置。
第一の選択手段で撮像手段から出力される画像データを画像メモリに出力するよう選択すると共に、第二の選択手段で前記画像メモリから出力される画像データを選択し、
前記撮像手段から出力される画像データを前記画像メモリへ記録中に、並行して前記画像メモリからの出力画像データに対して縮小処理手段で縮小処理を行い、後処理手段において後処理を施して表示用画像データを生成することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
第一の選択手段で撮像手段から出力される画像データを画像メモリに出力するよう選択すると共に、第二の選択手段で前記撮像手段から出力される画像データを選択し、
前記撮像手段から出力される画像データを前記画像メモリへ記録中に、並行して当該撮像手段から出力される画像データに対して縮小処理手段で縮小処理を行い、画面選択手段と後処理手段で処理を施して表示用画像データを生成することを特徴とする請求項２から請求項４のうちのいずれか１項記載の画像処理装置。
第一の選択手段で縮小処理手段から出力される画像データを画像メモリに出力するよう選択すると共に、第二の選択手段で撮像手段から出力される画像データを選択し、
前記撮像手段から出力される画像データを前記縮小処理手段で縮小した後に前記画像メモリに記録し、並行して縮小処理を施した画像データに対して、画面選択手段と後処理手段で処理を施して表示用画像データを生成することを特徴とする請求項２から請求項４のうちのいずれか１項記載の画像処理装置。
それぞれが色成分を持つ複数の画素データからなる画像データを出力する撮像手段と、
前記撮像手段から出力される画像データを入力し、当該画像データに対して縮小処理を施すか、またはバイパス処理を行う第一の縮小処理手段と、
前記第一の縮小処理手段から出力される画像データを記録する画像メモリと、
前記第一の縮小処理手段から出力される画像データまたは前記画像メモリから出力される画像データに対して縮小処理を施すか、またはバイパス処理を行う第二の縮小処理手段と、
前記第二の縮小処理手段からの画像データに基づいて表示用画像データを生成する後処理手段とを備えた画像処理装置。
第一の縮小処理手段がバイパス処理を選択し、撮像手段から出力される画像データを画像メモリへ記録中に、並行して前記画像メモリからの出力画像データに対して前記第二の縮小処理手段で縮小処理を施すことを特徴とする請求項７項記載の画像処理装置。
第一の縮小処理手段がバイパス処理を選択し、撮像手段から出力される画像データを画像メモリへ記録中に、並行して前記撮像手段から出力される画像データに対して前記第二の縮小処理手段で縮小処理を施すことを特徴とする請求項７記載の画像処理装置。
第一の縮小処理手段は、撮像手段から出力される画像データに対して縮小処理を行い、当該縮小処理を行った画像データを画像メモリへ記録すると共に、第二の縮小処理手段はバイパス処理を選択することを特徴とする請求項７記載の画像処理装置。