JP2012134648A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】高速画像処理を行うことができるようにするとともに、リングピクセル分の減少による視野率の低下が生じないようにすることができる画像処理装置及び画像処理方法を提供する。
【解決手段】元画像データが記憶されている元画像データ記憶部４と、前記元画像データを一端から他端へとラインごとに読み出し、前記ラインごとに出力する読み出し部５１と、前記ラインが入力され、当該ラインごとに画像処理に応じたリングピクセルを付加した後に前記画像処理を行い、画像処理後ラインを出力する画像処理部５２と、前記画像処理後ラインが入力され、当該画像処理後ラインについて拡大又はコピーを行った変換後ラインを出力する画像変換部５３と、前記データ読み出し部５１から前記ラインが出力されるタイミング、又は、前記画像処理部５２から前記画像処理後ラインが出力されるタイミングを制御する出力タイミング制御部５７と、を備えた。
【選択図】図２

Description

本発明は、画像処理を行った際にリングピクセル分だけ画素が減少することにより視野率が低下することを防ぐことができる画像処理装置及び画像処理方法に関するものである。

従来から、デジタルカメラ等の撮像装置においては、画像を生成する際に撮像素子から取り込んだベイヤーデータ（元画像データ）に対して、ＹＵＶデータへの変換、ノイズリダクションや、エッジ強調等の画像補正等の各画像処理、及び、拡大、縮小、コピー等の各種画像変換を行っている。

上述したような画像処理を行う場合、前記元画像データを上から下へ順にラインごとに順次画像処理部へと入力して処理を行っている。このような画像処理を行う際には、複数の画素を参照して１つの新たな画素を生成するように構成されていることがあり、その場合、元画像データに何も対策を行わずに画像処理を行うと、図４の左に示すようにリングピクセルとよばれる元画像データの周囲の分だけ小さくなった処理後画像データを得ることになる。このように入力画像に対して画像処理後の出力画像が小さくなり視野率が低下するのを防ぐために図４の右図の点線で示すように入力画像データの周囲に画像処理で消失してしまうリングピクセル分だけ元画像データの周囲に対して付加したピクセルであるリングクセル枠を画像処理前に設けることが行われている（特許文献１参照）。

このような入力画像データに対して同じ画素数の出力画像データを出力する画像処理以外に、例えば、入力された画像を２倍に拡大する、ピクセルコピーといった画像変換も画像処理後に行われることがある。このような画像処理、及び画像変換が連続で行われる場合の構成は、図５に示すようなものが考えられる。すなわち、ＳＤＲＡＭ４Ａ上に元画像データが記憶されており、前記ＳＤＲＡＭからの元画像データをラインごとに読み出す読み出し部５１Ａ（入力ＤＭＡ）と、前記読み出し部５１Ａにより読み出されたラインに対して各種画像処理を行う直結して設けられた第１フィルタ５３Ａ、第２フィルタ５４Ａ、第３フィルタ５５Ａとからなり、画像処理後ラインを出力する画像処理部５２Ａと、前記画像処理部５２Ａと直結して設けられ、前記画像処理後ラインを拡大又はコピーする画像変換部５６Ａ（Ｒｅｓｉｚｅ）と、拡大又はコピーされたラインを前記ＳＤＲＡＭに記憶させる出力部５８Ａ（出力ＤＭＡ）とを備えている。ここで、前記画像変換部５６Ａは、ラインを拡大する際に例えば１ラインに対して２ラインを出力する場合等においては、入力よりも出力して前記ＳＤＲＡＭ４Ａに記憶させるのに時間がかかってしまう。このような画像変換部において出力中において新たなライン入力が行われると、正常な動作が出来なくなってしまうので、出力が終わってから前記画像変換部５６Ａに次に演算に必要なラインが入力されようにタイミングをリクエストするリクエスト信号を前記読み出し部５１Ａに対して入力している。このリクエスト信号に応じて、前記読み出し部が新たなラインを読み出すと、前記第１フィルタにそのラインが入力され、順繰りに第２フィルタ、第３フィルタへと入力されて画像処理が行われた後、前記画像変換部５６Ａへと新たなラインが入力される。

しかしながら、このような構成では、図６で示したリングピクセル枠のうち下側のリングラインに関してデータの吐き出しを行うことができなくなってしまう。具体的には、前記読み出し部５１Ａが元画像データの下端のラインを読み出すと、前記ＳＤＲＡＭ４Ａには下側のリングラインのデータは記憶されていないので、前記読み出し部５１Ａにリクエストがあっても対応することができない。従って、下側のリングラインに対応する吐き出し動作を続けることができなくなってしまう。かといって、このような問題が生じないようにするために前記画像処理部に対して、前記画像変換部を直結する構成をやめてしまうと、ＳＤＲＡＭのバンド幅を削減することができず、画像処理に関連する動作の高速化の達成が難しくなる。

特開２０１０−１５３９３２号公報

そこで、本発明は上述したような問題点を鑑みてなされたものであり、画像処理部に対して画像変換部を直結した構成によりメモリのバンド幅を削減し、高速画像処理を行うことができるようにするとともに、リングピクセル分の減少による視野率の低下が生じないようにすることができる画像処理装置及び画像処理方法を提供する。

すなわち、本発明の画像処理装置は、元画像データが記憶されている元画像データ記憶部と、前記元画像データを一端から他端へとラインごとに読み出し、前記ラインごとに出力する読み出し部と、前記ラインが入力され、当該ラインごとに画像処理に応じたリングピクセルを付加した後に前記画像処理を行い、画像処理後ラインを出力する画像処理部と、前記画像処理後ラインが入力され、当該画像処理後ラインについて拡大又はピクセルコピーを行った変換後ラインを出力する画像変換部と、前記データ読み出し部から前記ラインが出力されるタイミング、又は、前記画像処理部から前記画像処理後ラインが出力されるタイミングを制御する出力タイミング制御部と、を備えたことを特徴とする。

本発明の画像処理方法は、元画像データが記憶する元画像データ記憶ステップと、前記元画像データを一端から他端へとラインごとに読み出し、前記ラインごとに出力する読み出しステップと、前記ラインが入力され、当該ラインごとに画像処理に応じたリングピクセルを付加した後に前記画像処理を行い、画像処理後ラインを出力する画像処理ステップと、前記画像処理後ラインが入力され、当該画像処理後ラインについて拡大又はピクセルコピーを行った変換後ラインを出力する画像変換ステップと、前記データ読み出し部から前記ラインが出力されるタイミング、又は、前記画像処理部から前記画像処理後ラインが出力されるタイミングを制御する出力タイミング制御ステップと、を備えたことを特徴とする。

このようなものであれば、前記読み出し部により前記記憶部から前記元画像データについて全てのラインが読み出された後についても、前記画像処理部に対してラインの出力を要求することができ、前記画像処理部において付加されるリングピクセル分のラインについても前記画像変換部から出力することができるようになる。また、その出力タイミングが制御されているので、拡大、コピーといった１ラインの入力に対して１ライン以上の出力を行う場合においても出力の途中で新たな入力があり正常な動作が出来なくなってしまうといった事態を防ぐことができる。さらに、前記画像処理部に対して直結して前記画像変換部を設けてあるので、画像処理部での処理結果をまずメモリ等に記憶させて再び画像変換を行うためにメモリから読み出すといったことをしなくてもよいので、メモリのバンド幅を削減し、高速処理を行うことができるようになる。

具体的な前記出力タイミング制御部の動作としては、前記出力タイミング制御部が、前記読み出し部により前記元画像データの全てのラインが読み出されるまでは、前記読み出し部の出力タイミングを制御し、前記読み出し部により前記元画像データの全てのラインが読み出された後は、前記画像処理部の出力タイミングを制御するように構成されたものであればよい。

このように本発明の画像処理装置、画像処理方法によれば、高速画像処理を可能とするとともに、リングピクセルの減少による視野率の低下も防ぐことができる。

本発明の一実施形態に係る画像処理装置が搭載されたデジタルカメラの全体構成を示すブロック図。 同実施形態における画像処理装置を示す模式的機能ブロック図。 同実施形態における各種画像処理のタイミングについて示すタイミングチャート。 従来のリングピクセルの減少により視野率の低下について示す模式図。 リングピクセル枠を元画像に設けた場合の画像処理工程の一例を示す模式図。 図５の実施形態では生じる不具合について説明する模式図。

本実施形態の画像処理装置２００について説明する。前記画像処理装置２００は、デジタルカメラ１００に搭載されるものであって、例えば撮像素子により生成されたベイヤーデータをＹＵＶデータへと変換する際の各種画像処理及び、拡大、コピー等の画像変換処理を行うように構成してある。

このデジタルカメラ１００において、図１に示すように被写体はレンズ１を通して、ＣＣＤ２上に結像され、電気信号としてアナログフロントエンド部３へ送られる。アナログフロントエンド部３ではまず、自動ゲインコントロール部３１により、信号が増幅され、ＡＤコンバータ３２でデジタル信号に変換される。

デジタル信号に変換された画像（ベイヤーデータ）はＳＤＲＡＭなどのメモリ４に保存される。

メモリ４に保存されたベイヤデータの画像は、イメージプロセス部５でＹＵＶ画像に変換された後、画像圧縮部６に順におくられ、例えばＪＰＥＧ形式で符号化される。符号化された圧縮画像はメモリーカード７に記憶される。

しかして、図示する各部が協業して前記画像処理装置２００としての機能を発揮するように構成してある。特に、このイメージプロセス部５が、請求項における画像処理部５２、画像変換部５６に該当するものである。以下に詳述する。

前記画像処理装置２００は、図２に示すように少なくとも元画像データ記憶部４、入力ＤＭＡ５１、画像処理部５２、画像変換部５６、出力タイミング制御部５７、出力ＤＭＡ５８、としての機能を発揮するように構成してある。

前記元画像データ記憶部４は、元画像データが記憶されており、具体的には前記ＣＣＤ２から変換された被写体の画像信号を前記アナログフロントエンド部３によりデジタル信号に変換された画像であるベイヤーデータを前記メモリ４に記憶しているものである。

前記入力ＤＭＡ５１は、請求項での読み出し部に相当するものであり、前記メモリ４にＭＰＵを介さずにアクセスして、前記元画像データを後述する前記画像処理部５２へと入力するものである。この入力ＤＭＡ５１は前記出力タイミング制御部５７からリクエストがあった場合に、元画像データの上端から下端に向かって１ライン又は複数ラインごとに読み出し、前記画像処理部５２へと出力するように構成してある。

前記画像処理部５２は、前記入力ＤＭＡ５１により読み出されたラインに対して各種画像処理を行い、画像処理後ラインを後続の前記画像変換部５６へと出力するものである。前記画像処理部５２は、３つのフィルタから構成してあるものであり、例えば、第１フィルタ５３（ｆｉｌｔｅｒ１）はベイヤーデータからＹＵＶデータへの変換、第２フィルタ５４（ｆｉｌｔｅｒ２）は、ノイズリダクション、第３フィルタ５５（ｆｉｌｔｅｒ３）はエッジ強調の補正等をこの順で行うものである。前記３つのフィルタは直列に直結してあり、各フィルタから出力されたデータは直接、後の工程のフィルタへと入力されることになる。また、各フィルタにおいて複数ピクセルの画素に基づいて１つの画素を構成する処理を行うようになっており、そのまま入力された画像に対して処理を行うとその分画素が減少してしまうのを防ぐために、各フィルタにおいて、リングピクセルを入力されたラインに対して付加するようにしてあり、リングピクセルの下側部分のラインのことを下側リングラインと本実施形態ではよぶ。加えて、前記第１、第２、第３フィルタ５５において付加される下側リングラインのライン数をＬ１、Ｌ２、Ｌ３と呼ぶ。また、各フィルタには処理に必要な数のラインを記憶するための記憶領域を前記メモリ４上に形成してある。

前記画像変換部５６（Ｒｅｓｉｚｅ）は、前記画像処理部５２に対して、直結して設けてあるものであり、本実施形態では、入力されたラインを拡大して出力するように構成してある。すなわち前記画像変換部５６は、例えば１ラインの入力に対して２ラインの出力を行うようなものであり、出力されたラインは、前記出力ＤＭＡ５８により前記メモリ４へと保存される。

前記出力タイミング制御部５７（Ｒｅｑｕｅｓｔ制御）は、前記第３フィルタ５５の出力ライン数を観測して、前記画像変換部５６に対してラインが入力されるタイミングを制御するためのものである。これは、前記画像変換部５６がラインを拡大又はコピーするものである場合、出力が完了するまでに新たな入力がされないようにするためのものである。この出力タイミング制御部５７は、前記入力ＤＭＡ５１及び前記画像処理部５２の各フィルタに対してラインをいつ出力するかについてそのタイミングを制御するように構成してある。

より具体的には、前記出力タイミング制御部５７は、前記画像変換部５６が縮小処理、すなわち、入力されたライン数よりも少ないライン数を出力する場合には、特に制御を行わない。この場合、前記画像変換部５６への入力待ちがないので、連続してラインを入力すればよく、各フィルタのブロックは、入力されるラインがなくなったことを検出して各下側リングラインを次のフィルタ又は画像変換部５６へと入力するように構成しておけばよい。つまり、第１フィルタ５３であれば、Ｌ１分の下側リングラインを順次、次の第２フィルタ５４へと入力するようにしてある。

前記画像変換部５６が拡大処理又はコピーを行う、つまり、１ライン入力に対して１ライン出力以上が行われる場合には、前記出力タイミング制御部５７は、前記メモリ４に記憶されている元画像データの全てのラインが出力されるまでの間は、前記入力ＤＭＡ５１のラインの読み出し、及びその出力タイミングを制御する。具体的には、前記画像変換部５６で出力が完了したことを検知すると、次のラインを読み込むように入力ＤＭＡ５１にリクエストを行うようにしてある。その後、各フィルタにおいて付加されるリングピクセル枠に合わせて、各下側リングラインが前記画像変換部５６まで入力されるように、第１フィルタ５３、第２フィルタ５４、第３フィルタ５５の順で各下側リングラインを出力するリクエストを行うように構成してある。このリクエストに関しては以下のような手順でその順番が決定される。ここで、元画像データを分割したライン数を入力ライン数をＡ、前記第３フィルタ５５から今まで出力された出力ライン数をＢ、各フィルタにおける下側リングラインの数をＬ１、Ｌ２、Ｌ３とした場合、Ａ−（Ｌ１＋Ｌ２＋Ｌ３）≦Ｂ＜Ａ−（Ｌ２＋Ｌ３）の間に出力ライン数Ｂがあるときは、前記第１フィルタ５３から下側リングラインを上から下へと順番に出力するようにリクエストする。次にＡ−（Ｌ２＋Ｌ３）≦Ｂ＜Ａ−Ｌ３の間に出力ライン数Ｂがある場合には、前記出力タイミング制御部５７は、前記第２フィルタ５４に下側リングラインを上から順に出力するようにリクエストする。最後に、Ａ−Ｌ３≦Ｂ＜Ａの間に出力ライン数Ｂがある場合には前記第３フィルタ５５に下側リングラインを上から順に出力するようにリクエストする。

このように前記出力タイミング制御部５７が動作するので、前記入力タイミング、及び各フィルタの入出力タイミングに関するタイミングチャートは図３のようになる。

このように本実施形態の画像処理装置２００によれば、リングピクセル枠を設けるとともに、前記画像処理部５２である各フィルタ処理の出力を直接拡大処理等が行われる画像変換部５６へと入力し、拡大処理等を行うようにしてあるので、元画像から画像処理を行ったあと拡大画像に変換しても、拡大画像の視野率を低下させることなく、またメモリ４のバンド幅を削減し、高速で消費電力を抑えた処理を実現することができる。

その他の実施形態について説明する。

前記実施形態では複数のフィルタによる画像処理を行っていたが、その他の数であってもよいし、１つであってもよい。すなわち、画像処理部に対して画像変換部が直結してあればよい。また、本発明の画像処理装置は、デジタルカメラだけでなくその他の画像処理を必要とする機器に搭載しても構わない。

その他、本発明の趣旨に反しない限りにおいて、様々な変形や実施形態の組み合わせを行ってよいことは言うまでもない。

２００・・・画像処理装置
４ ・・・元画像データ記憶部
５１ ・・・読み出し部
５２ ・・・画像処理部
５６ ・・・画像変換部
５７ ・・・出力タイミング制御部

Claims (3)

1. 元画像データが記憶されている元画像データ記憶部と、
   前記元画像データを一端から他端へとラインごとに読み出し、前記ラインごとに出力する読み出し部と、
   前記ラインが入力され、当該ラインごとに画像処理に応じたリングピクセルを付加した後に前記画像処理を行い、画像処理後ラインを出力する画像処理部と、
   前記画像処理後ラインが入力され、当該画像処理後ラインについて拡大又はコピーを行った変換後ラインを出力する画像変換部と、
   前記データ読み出し部から前記ラインが出力されるタイミング、又は、前記画像処理部から前記画像処理後ラインが出力されるタイミングを制御する出力タイミング制御部と、を備えたことを特徴とする画像処理装置。
2. 前記出力タイミング制御部が、前記読み出し部により前記元画像データの全てのラインが読み出されるまでは、前記読み出し部の出力タイミングを制御し、
   前記読み出し部により前記元画像データの全てのラインが読み出された後は、前記画像処理部の出力タイミングを制御するように構成された請求項１記載の画像処理装置。
3. 元画像データを記憶する元画像データ記憶ステップと、
   前記元画像データを一端から他端へとラインごとに読み出し、前記ラインごとに出力する読み出しステップと、
   前記ラインが入力され、当該ラインごとに画像処理に応じたリングピクセルを付加した後に前記画像処理を行い、画像処理後ラインを出力する画像処理ステップと、
   前記画像処理後ラインが入力され、当該画像処理後ラインについて拡大又はコピーを行った変換後ラインを出力する画像変換ステップと、
   前記データ読み出し部から前記ラインが出力されるタイミング、又は、前記画像処理部から前記画像処理後ラインが出力されるタイミングを制御する出力タイミング制御ステップと、を備えた画像処理方法。