JP2010016619A - 画像処理集積回路、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】入力フレームレートと出力フレームレートとが一致しなくても、複雑な演算処理を行うことなく、出力画像が乱れること及びユーザに違和感を与えることを防止する画像処理集積回路、画像処理装置及び画像処理方法を提供する。
【解決手段】入力された画像データに画像処理を施して出力する画像処理ＩＣ２であって、画像データは画像フレーム毎に入力され、画像処理ＩＣ２は、入力された画像データを画像フレーム毎に順次記憶する画像メモリ２２２を備え、入力中の画像フレームのページより所定ページ前の画像フレームを出力するように構成した。
【選択図】図２

Description

本発明は、画像処理集積回路、画像処理装置及び画像処理方法に関する。

カメラやビデオなどの画像処理装置では、撮影した画像データを表示装置に表示する。具体的には、画像データは、撮像素子などのセンサにより生成される。次いで、生成された画像データは、画像処理集積回路により画像処理が施される。そして、画像処理された画像データは、ＬＣＤなどの表示装置に入力され、表示される。

近年、電子機器のインターフェースの高速シリアル化が進んでいる。そして、画像処理装置では、センサと画像処理集積回路との間のインターフェースが高速シリアル化されることにより、画像処理集積回路へ画像データが入力される入力フレームレートと、画像処理集積回路から画像データが出力される出力フレームレートとが一致しない場合がある。そのため、入力フレームレートと出力フレームレートとのずれが徐々に蓄積されると、入力中の画像フレームと出力中の画像フレームとが大きくずれてしまい、ユーザに違和感を与えたり、画像が崩れることがある。

そこで、特許文献１では、センサから入力された画像データを一時的に保存するバッファメモリを画像処理装置に設けている。そして、バッファメモリに復号前の画像データがあるか否かを判断し、バッファメモリに復号前の画像データがない場合には、前回表示した画像データを再度表示する。これにより、入力フレームレートが出力フレームレートより遅い場合に、表示画像が乱れることを防止している。

同様に、特許文献２では、撮像素子から入力された画像データを保存するメモリを画像処理装置に設けている。そして、次のフレームの画像データがメモリに記憶されていない場合には、前回と同じフレームの画像データを再度出力する。これにより、入力フレームレートが出力フレームレートより遅い場合に、表示画像が乱れることを防止している。

また、特許文献３では、入力フレームレートと出力フレームレートとの時間差を算出している。そして、当該時間差が０ではないときは、入力画像のフレーム期間の時間長と出力画像のフレーム期間の時間長とに基づいて、同じ画像フレームを何回出力するかを決定している。
特開平０８−１４９４６４号公報 特開２００４−３２５８２１号公報 特開２００７−０９６９１５号公報

しかしながら、特許文献１及び２に記載の技術では、入力フレームレートが出力フレームレートより速い場合に対応することができない。
また、特許文献３に記載の技術では、複雑な演算を行う演算処理回路を設ける必要がある。また、演算処理を行う分、画像データの処理時間が長くなってしまうという問題もある。

本発明の第１の態様にかかる画像処理集積回路は、入力された画像データに画像処理を施して出力する画像処理集積回路である。また、画像フレーム毎に画像データがこの画像処理集積回路に入力される。そして、この画像処理集積回路は、入力された画像データを画像フレーム毎に順次記憶するメモリを備え、入力中の画像フレームのページより所定ページ前の画像フレームを出力するものである。

また、本発明の第２の態様にかかる画像処理装置は、被写体を検出し、画像データを生成するセンサと、前記センサから入力された画像データに画像処理を施して出力する画像処理集積回路と、前記画像処理集積回路から出力された画像データを表示する表示装置と、を備える。また、前記画像処理集積回路は、入力された画像データを画像フレーム毎に順次記憶するメモリを備え、入力中の画像フレームのページより所定ページ前の画像フレームを出力するものである。

また、本発明の第３の態様にかかる画像処理方法は、画像フレーム毎に入力された画像データを画像フレーム毎に順次メモリに記憶させ、入力中の画像フレームのページより所定ページ前の画像フレームを出力するものである。

本発明の第１の態様、第２の態様及び第３の態様においては、入力中の画像フレームのページより所定ページ前の画像フレームが出力される。そのため、入力フレームレートと出力フレームレートが一致しないことによって出力画像が乱れることを防ぐことができる。また、本発明の第１の態様、第２の態様及び第３の態様においては、入力中の画像フレームのページと出力する画像フレームのページとの差が、所定ページとなるように、一定に保たれる。従って、入力フレームレートと出力フレームレートとが一致しない場合であっても、入力中の画像フレームと出力中の画像フレームとが所定ページより大きくずれることがない。そのため、ユーザに違和感を与えることを防ぐことができる。

また、入力中の画像フレームのページが決まれば、出力する画像フレームのページが自動的に決まるので、複雑な演算処理を行わなくてもよい。また、演算処理を行わなくてよい分、画像データの処理時間を短くすることができる。

本発明により、入力フレームレートと出力フレームレートとが一致しなくても、複雑な演算処理を行うことなく、出力画像が乱れること及びユーザに違和感を与えることを防止することができる。

以下に、本発明を適用可能な実施の形態を説明する。なお、本発明は、以下の実施の形態に限定されるものではない。
図１に、本発明の実施の形態にかかる画像処理装置１００の一例を示す。具体的には、画像処理装置１００は、例えば、カメラやビデオカメラ等である。
画像処理装置１００は、図１に示すように、センサ１、画像処理ＩＣ（画像処理集積回路）２、表示装置３等を有している。そして、画像処理装置１００は、撮像した画像データを表示装置３に表示させる。

センサ１は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有し、被写体を検出し、画像データを生成する。そして、センサ１は、生成した画像データを画像処理ＩＣ２に入力する。
画像処理ＩＣ２は、センサ１から入力される画像データに所定の画像処理を施し、表示装置３に入力する。
表示装置３は、ＬＣＤ（Liquid Crystal Display）等を有し、画像処理ＩＣ２から入力された画像データを表示する。

図２に、本実施形態にかかる画像処理ＩＣ２の一例を示す。画像処理ＩＣ２は、図２に示すように、画像入力部２１、制御部２２、画像出力部２３等を有している。

画像入力部２１は、センサ１から入力される画像データを制御部２２に入力する。画像入力部２１は、例えば、センサ１から入力された画像データに対して、シリアル信号からパラレル信号への変換処理や、各種画像処理を施す。
画像データは、画像フレーム毎にセンサ１から画像入力部２１に入力される。

制御部２２は、画像処理部２２１、画像メモリ（メモリ）２２２、出力制御部２２３等を有している。
画像処理部２２１は、画像入力部２１から入力された画像データを画像フレーム毎に画像処理する。また、画像処理部２２１は、画像処理を行った画像データを画像フレーム毎に画像メモリ２２２に入力する。

画像メモリ２２２は、入力された画像データを画像フレーム毎に順次記憶する。なお、画像入力部２１から画像メモリ２２２に画像データが直接入力された後、画像処理部２２１により画像処理が施された画像データが画像メモリ２２２に上書き保存されてもよい。また、画像入力部２１から画像処理部２２１に画像データが直接入力され、画像処理部２２１により画像処理が施された画像データが画像メモリ２２２に記憶されてもよい。

出力制御部２２３は、画像メモリ２２２に記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定して、画像出力部２３に入力する。そして、画像出力部２３により、当該画像フレームが表示装置３に入力され、表示装置３において、当該画像フレームが表示される。
具体的には、出力制御部２２３は、画像フレームの出力が終わった際に、画像メモリ２２２に記憶されている複数の画像フレームのうち、入力中の画像フレームより所定ページ前の画像フレームを指定して出力する。

図３を参照して、本実施形態にかかる画像メモリ２２２における画像データの入出力について説明する。図３は、出力制御部２２３が、入力中の画像フレームのページより１ページ前の画像フレームを指定する例を示している。図３に示すように、画像メモリ２２２にページ１からページＸまでの画像フレームが記憶される。なお、画像メモリ２２２に記憶される画像フレームのページ数は、任意である。
そして、図３に示すように、入力中の画像フレームのページが「３」である場合、出力制御部２２３は、入力中の画像フレームのページより１ページ前の画像フレーム、即ち、ページ２の画像フレームを出力する。

なお、入力中の画像フレームのページと、出力制御部２２３が指定する画像フレームのページとの差である所定ページは、画像メモリ２２２内や、制御部２２内のメモリ（図示省略）に記憶されていてもよい。また、所定ページは、画像処理装置１００の用途などによって、任意に設定される値である。
また、本実施形態にかかる画像処理装置１００では、出力制御部２２３が入力中の画像フレームより所定ページ前の画像フレームを指定する。そのため、入力フレームレートが出力フレームレートに対し２倍未満である場合には、画像メモリ２２２の容量は３ページ分あればよい。また、入力フレームレートが出力フレームレートに対し２倍以上３倍未満である場合には、画像メモリ２２２の容量は４ページ分あればよい。また、入力フレームレートが出力フレームレートに対し３倍以上４倍未満である場合には、画像メモリ２２２の容量は５ページ分あればよい。

また、出力制御部２２３は、画像処理部２２１による画像処理が施された画像フレームを指定してもよいし、画像処理が行われていない画像フレームを指定してもよい。画像処理が行われていない画像フレームを指定する場合、出力制御部２２３は、指定した画像フレームを画像処理部２２１に入力する。そして、画像処理部２２１は、入力された画像フレームに画像処理を行った後、画像出力部２３に入力する。

画像出力部２３は、制御部２２から入力される画像データを表示装置３に入力する。画像出力部２３は、例えば、制御部２２から入力された画像データを表示装置３の入力フォーマットに合わせた形式に変換し、表示装置３に入力する。

次に、本実施形態にかかる画像処理装置１００における画像処理方法において図４に示すフローチャートを参照しながら説明する。図４は、画像処理方法のうち、特に、画像処理ＩＣ２における画像データの出力制御方法を示している。
まず、図４に示すように、出力制御部２２３は、画像入力部２１から入力中の画像フレームのページを確認する（ステップＳ１）。入力中の画像フレームのページについての情報（以下、入力中ページ情報と称する）は、画像入力部２１から制御部２２に出力されて、制御部２２内のメモリ（図示省略）に記憶されてもよい。この場合、出力制御部２２３は、制御部２２内のメモリに記憶された入力中ページ情報に基づいて、入力中の画像フレームのページを確認する。

次に、出力制御部２２３は、画像メモリ２２２に記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定する（ステップＳ２）。

次に、出力制御部２２３は、画像出力部２３を介して、指定した画像フレームを表示装置３に入力する（ステップＳ３）。そして、表示装置３は、入力された画像フレームを表示する。

次に、出力制御部２２３は、表示装置３への画像フレームの出力が終了したか否かを判断する（ステップＳ４）。
ステップＳ４において、表示装置３への画像フレームの出力が終了していない場合には（ステップＳ４；Ｎｏ）、ステップＳ４の処理を繰り返す。
ステップＳ４において、表示装置３への画像フレームの出力が終了している場合には（ステップＳ４；Ｙｅｓ）、ステップＳ１に戻る。

図５（ａ）に、画像データの入力フレームレートが、出力フレームレートより速い場合に、画像処理装置１００が行う画像データの出力制御を示す。図５（ｂ）に、画像データの入力フレームレートが、出力フレームレートより遅い場合に、画像処理装置１００が行う画像データの出力制御を示す。なお、図５は、出力制御部２２３が、入力中の画像フレームのページより１ページ前の画像フレームを指定する例を示している。
図５（ａ）に示すように、入力フレームレートが出力フレームレートより速く、入力中の画像フレームのページ（ページ４）と出力中の画像フレームのページ（ページ１）との差が１ページ（所定ページ）より多くなった場合、出力制御部２２３は、出力中の画像フレームの次に出力する画像フレームとして、入力中の画像フレームのページ（ページ４）より１ページ前（所定ページ前）の画像フレームを指定する。即ち、図５（ａ）に示すように、入力中の画像フレームのページが「４」であり、出力中の画像フレームのページが「１」である場合、出力制御部２２３は、ページ１の画像フレームの次に出力する画像フレームとしてページ３の画像フレームを指定する。つまり、出力制御部２２３は、出力中のページ１の画像フレームの次に、ページ２の画像フレームを飛ばして、入力中のページ４の１ページ前のページ３の画像フレームを指定する。従って、出力制御部２２３が、出力する画像フレームを飛ばして指定することにより、入力中の画像フレームと出力中の画像フレームが大きくずれてしまうことを抑制する。

一方、図５（ｂ）に示すように、入力フレームレートが出力フレームレートより遅く、入力中の画像フレームのページ（ページ３）と出力中の画像フレームのページ（ページ２）との差が１ページ（所定ページ）以下となった場合、従来であれば、入力中の画像フレームを出力することとなり、画像が崩れる原因となっていた。一方、本実施形態では、入力中の画像フレームのページ（ページ３）と出力中の画像フレームのページ（ページ２）との差が１ページ（所定ページ）以下となった場合、出力制御部２２３は、出力中の画像フレームの次に出力する画像フレームとして、当該出力中の画像フレームを再度指定する。即ち、図５（ｂ）に示すように、入力中の画像フレームのページが「３」であり、出力中の画像フレームのページが「２」である場合、出力制御部２２３は、ページ２の画像フレームの次に出力する画像フレームとしてページ２の画像フレームを再度指定する。つまり、ページ２の画像フレームは再度出力される。従って、出力制御部２２３が、再度、同じページの画像フレームを指定することにより、入力中の画像フレームを出力してしまうことを防止でき、画像が崩れてしまうことを防ぐことができる。

以上に説明した本実施形態にかかる画像処理装置１００、画像処理ＩＣ２、画像処理方法によれば、入力中の画像フレームのページより所定ページ前の画像フレームが出力される。そのため、入力フレームレートと出力フレームレートが一致しないことによって出力画像が乱れることを防ぐことができる。また、本実施形態にかかる画像処理装置１００、画像処理ＩＣ２、画像処理方法によれば、入力中の画像フレームのページと出力する画像フレームのページとの差が、所定ページとなるように、一定に保たれる。従って、入力フレームレートと出力フレームレートとが一致しない場合であっても、入力中の画像フレームと出力中の画像フレームとが所定ページより大きくずれることがない。そのため、ユーザに違和感を与えることを防ぐことができる。

すなわち、入力フレームレートと出力フレームレートとが一致しない場合、入力される画像フレームのページの変化に追従して、出力する画像フレームのページを指定することができる。具体的には、入力フレームレートが出力フレームレートより速く、入力中の画像フレームのページと出力中の画像フレームのページとの差が所定ページより多くなった場合に、当該出力中の画像フレームの次に出力する画像フレームとして、入力中の画像フレームのページより所定ページ前の画像フレームを出力する。
また、入力フレームレートが出力フレームレートより遅く、入力中の画像フレームのページと出力中の画像フレームのページとの差が所定ページ以下となった場合に、当該出力中の画像フレームの次に出力する画像フレームとして、当該出力中の画像フレームを再度出力する。

換言すれば、入力フレームレートが出力フレームレートより速く、入力中の画像フレームのページと出力中の画像フレームのページとの差が所定ページより多くなった場合に、当該出力中の画像フレームの次のページから入力中の画像フレームのページより（（所定ページ）＋１）ページ前までの画像フレームを飛ばす。
また、入力フレームレートが出力フレームレートより遅く、入力中の画像フレームのページと出力中の画像フレームのページとの差が所定ページ以下となった場合に、出力中の画像フレームを再度出力する。
これにより、入力フレームレートが出力フレームレートより速い場合であっても、遅い場合であっても、出力画像が乱れることを防ぐことができる。

また、入力中の画像フレームのページが決まれば、出力する画像フレームのページが自動的に決まるので、複雑な演算処理を行わなくてもよい。また、演算処理を行わなくてよい分、画像データの処理時間を短くすることができる。

本発明の実施の形態にかかる画像処理装置の概略構成を示すブロック図である。 本発明の実施の形態にかかる画像処理ＩＣの概略構成を示すブロック図である。 本発明の実施の形態にかかる画像メモリにおける画像データの入出力を説明する図である。 本発明の実施の形態にかかる画像処理方法を説明するフローチャートである。 画像データの入力フレームレートが、出力フレームレートより速い場合に、本発明の実施の形態にかかる画像処理装置が行う画像データの出力制御を説明する図（図５（ａ））、画像データの入力フレームレートが、出力フレームレートより遅い場合に、本発明の実施の形態にかかる画像処理装置が行う画像データの出力制御を説明する図（図５（ｂ））である。

符号の説明

１ センサ
２ 画像処理ＩＣ（画像処理集積回路）
２２１ 画像処理部
２２２ 画像メモリ（メモリ）
２２３ 出力制御部
３ 表示装置
１００ 画像処理装置

Claims (12)

1. 入力された画像データに画像処理を施して出力する画像処理集積回路であって、
   画像データは画像フレーム毎に入力され、
   入力された画像データを画像フレーム毎に順次記憶するメモリを備え、
   入力中の画像フレームのページより所定ページ前の画像フレームを出力する画像処理集積回路。
2. 入力された画像データを画像フレーム毎に画像処理する画像処理部と、
   前記メモリに記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定して出力する出力制御部と、
   を有する請求項１に記載の画像処理集積回路。
3. 前記出力制御部は、画像フレームの出力が終わった際に、前記メモリに記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定する請求項２に記載の画像処理集積回路。
4. 前記出力制御部は、
   画像データの入力フレームレートが画像データの出力フレームレートより速く、入力中の画像フレームのページと出力中の画像フレームのページとの差が前記所定ページより多くなった場合に、前記出力中の画像フレームの次に出力する画像フレームとして、前記入力中の画像フレームのページより所定ページ前の画像フレームを指定し、
   画像データの入力フレームレートが画像データの出力フレームレートより遅く、入力中の画像フレームのページと出力中の画像フレームのページとの差が前記所定ページ以下となった場合に、前記出力中の画像フレームの次に出力する画像フレームとして、前記出力中の画像フレームを再度指定する請求項２又は３に記載の画像処理集積回路。
5. 被写体を検出し、画像データを生成するセンサと、
   前記センサから入力された画像データに画像処理を施して出力する画像処理集積回路と、
   前記画像処理集積回路から出力された画像データを表示する表示装置と、
   を備える画像処理装置であって、
   前記画像処理集積回路は、
   入力された画像データを画像フレーム毎に順次記憶するメモリを備え、
   入力中の画像フレームのページより所定ページ前の画像フレームを出力する画像処理装置。
6. 前記画像処理集積回路は、
   入力された画像データを画像フレーム毎に画像処理する画像処理部と、
   前記メモリに記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定して出力する出力制御部と、
   を有する請求項５に記載の画像処理装置。
7. 前記出力制御部は、画像フレームの出力が終わった際に、前記メモリに記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定する請求項６に記載の画像処理装置。
8. 前記出力制御部は、
   画像データの入力フレームレートが画像データの出力フレームレートより速く、入力中の画像フレームのページと出力中の画像フレームのページとの差が前記所定ページより多くなった場合に、前記出力中の画像フレームの次に出力する画像フレームとして、前記入力中の画像フレームのページより所定ページ前の画像フレームを指定し、
   画像データの入力フレームレートが画像データの出力フレームレートより遅く、入力中の画像フレームのページと出力中の画像フレームのページとの差が前記所定ページ以下となった場合に、前記出力中の画像フレームの次に出力する画像フレームとして、前記出力中の画像フレームを再度指定する請求項６又は７に記載の画像処理装置。
9. 画像フレーム毎に入力された画像データを画像フレーム毎に順次メモリに記憶させ、
   入力中の画像フレームのページより所定ページ前の画像フレームを出力する画像処理方法。
10. 入力された画像データを画像フレーム毎に画像処理し、
    前記メモリに記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定して出力する請求項９に記載の画像処理方法。
11. 画像フレームの出力が終わった際に、前記メモリに記憶されている複数の画像フレームのうち、入力中の画像フレームのページより所定ページ前の画像フレームを指定する請求項９又は１０に記載の画像処理方法。
12. 画像データの入力フレームレートが画像データの出力フレームレートより速く、入力中の画像フレームのページと出力中の画像フレームのページとの差が前記所定ページより多くなった場合に、前記出力中の画像フレームの次に出力する画像フレームとして、前記入力中の画像フレームのページより所定ページ前の画像フレームを指定し、
    画像データの入力フレームレートが画像データの出力フレームレートより遅く、入力中の画像フレームのページと出力中の画像フレームのページとの差が前記所定ページ以下となった場合に、前記出力中の画像フレームの次に出力する画像フレームとして、前記出力中の画像フレームを再度指定する請求項９乃至１１の何れか一項に記載の画像処理方法。

Images