JP2021068157A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像を切り替えても、無効なフレームが発生するのを防ぐ。【解決手段】複数の画像のうち、いずれかの対象画像に対して画像処理を行う画像処理装置が、前記対象画像を選択するパラメータを記憶する記憶部と、前記複数の画像から前記対象画像を選択する、又は、前記対象画像に対する前記画像処理を無効にするマスク処理のいずれかに切り替える切替信号を生成する生成部と、前記切替信号に基づいて、前記対象画像の選択、又は、前記マスク処理のいずれかを選択する選択部と、前記選択部で前記対象画像が選択されると、前記対象画像を前記画像処理する画像処理部とを備える。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、動画等のように、複数フレームの画像データに対して、それぞれ画像処理を行う画像処理装置等が知られている。このような画像形成装置では、画像処理に係るパラメータをレジスタ（ｒｅｇｉｓｔｅｒ）に保持することが多い。

例えば、画像データを画像処理しているうちに、次のフレームに対するパラメータが変更できるように、画像処理装置は、レジスタを多段にする。このようにして、画像処理装置は、処理用のレジスタと、設定用のレジスタを有する構成とする。そして、混在パラメータによって画像処理されるフレームを防ぐ方法が知られている（例えば、特許文献１等）。

しかしながら、従来の方法では、例えば、画像のフレームの先頭を示す信号等を基準にして、パラメータの反映が行われる。一方で、画像処理装置に複数の画像が入力され、複数の画像を選択して画像処理を行う場合がある。このように、複数の画像が入力される場合には、画像ごとにフレームの先頭を示す信号があるため、複数の先頭を示す信号が存在する場合が多い。このように複数の画像が入力されると、切り替え等において無効なフレームが発生する場合がある。

本発明は、上記課題に鑑みてなされたものであり、複数の画像を切り替えても、無効なフレームが発生するのを防ぐことを目的とする。

一態様における、複数の画像のうち、いずれかの対象画像に対して画像処理を行う画像処理装置は、
前記対象画像を選択するパラメータを記憶する記憶部と、
前記複数の画像から前記対象画像を選択する、又は、前記対象画像に対する前記画像処理を無効にするマスク処理のいずれかに切り替える切替信号を生成する生成部と、
前記切替信号に基づいて、前記対象画像の選択、又は、前記マスク処理のいずれかを選択する選択部と、
前記選択部で前記対象画像が選択されると、前記対象画像を前記画像処理する画像処理部とを備える。

本発明の各実施形態によれば、複数の画像を切り替えても、無効なフレームが発生するのを防ぐことができる。

本発明の一実施形態に係る画像処理装置の全体構成の一例を示すブロック図である。 本発明の一実施形態に係る画像を転送するためのプロトコルの例を示すタイミングチャートである。 本発明の一実施形態に係る２系統の画像を入力する電子回路の構成例を示すブロック図である。 本発明の一実施形態に係る画像の入力例を示すタイミングチャートである。 本発明の一実施形態に係る電子回路の構成例を示すブロック図である。 本発明の一実施形態に係る切替回路の状態遷移例を示すステートマシン図である。 本発明の一実施形態に係る切り替えの例を示すタイミングチャートである。 本発明の一実施形態に係る電子回路の変形例を示すブロック図である。 本発明の第２実施形態に係る切替回路の状態遷移例を示すステートマシン図である。 本発明の第２実施形態に係る切り替えの例を示すタイミングチャートである。 本発明の第２実施形態に係る電子回路の構成例を示すブロック図である。 本発明の第３実施形態に係る切替回路の状態遷移例を示すステートマシン図である。 本発明の第３実施形態に係る切り替えの例を示すタイミングチャートである。 第１比較例を示すタイミングチャートである。 第２比較例を示すタイミングチャートである。 第３比較例を示すタイミングチャートである。 本発明の一実施形態に係る画像処理回路のハードウェア構成例を示すブロック図である。 本発明の一実施形態に係る入力画像及び出力画像の例を示すタイミングチャートである。 本発明の一実施形態に係る画像処理装置の機能構成例を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置による全体処理例を示すフローチャートである。

以下、発明を実施するための最適かつ最小限な形態について、図面を参照して説明する。なお、図面において、同一の符号を付す場合には、同様の構成であることを示し、重複する説明を省略する。また、図示する具体例は、例示であり、図示する以外の構成が更に含まれる構成であってもよい。

＜第１実施形態＞
＜画像処理装置例＞
はじめに、本実施形態に係る画像処理装置の全体構成の一例について説明する。

図１は、本発明の一実施形態に係る画像処理装置の全体構成の一例を示すブロック図である。具体的には、画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００Ｈ１と、記憶装置１００Ｈ２と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１００Ｈ３とを有する。

ＣＰＵ１００Ｈ１は、各処理及びデータの加工等に係る演算を行う演算装置並びに各ハードウェア及び装置を制御する制御装置である。なお、ＣＰＵ１００Ｈ１は、複数の装置で構成されてもよい。

記憶装置１００Ｈ２は、データ、プログラム及び設定等を記憶する。具体的には、記憶装置１００Ｈ２は、いわゆるメモリ等であり、主記憶装置等である。なお、記憶装置１００Ｈ２は、ハードディスク等の補助記憶装置を有してもよい。

ＡＳＩＣ１００Ｈ３は、各処理及びデータの加工等に係る演算並びに各ハードウェア及び装置を制御する電子回路である。例えば、ＡＳＩＣ１００Ｈ３から制御信号及び画像データ信号等が各装置に出力される。なお、ＡＳＩＣ１００Ｈ３は、一部又は全部がＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）で構成されてもよい。

なお、画像処理装置１００は、図示するハードウェア構成に限られず、画像処理装置１００は、更に各ハードウェアを補助する装置、入力装置、出力装置、又は、インタフェース等を有してもよい。

以下、画像処理装置１００に入力される画像データに対して、ＡＳＩＣ１００Ｈ３が画像処理を行う例で説明する。なお、画像データは、動画等の複数のフレームであるとする。

＜画像を転送するためのプロトコルの例＞
例えば、以下のようなプロトコルに基づいて、有効信号（水平方向及び垂直方向について異なる信号とする。）及び画像は、ＡＳＩＣ１００Ｈ３に入力される。

図２は、本発明の一実施形態に係る画像を転送するためのプロトコルの例を示すタイミングチャートである。以下、画像は、以下のようなタイミングで入力されるとする例で説明する。

フレーム有効信号ＦＶは、画像の垂直方向についての有効信号である。

水平同期信号ＨＤＰは、画像の水平方向について、ラインごとの先頭を示す信号である。

ライン有効信号ＬＶは、画像の水平方向についての有効信号である。

画像データ信号ＩＭＧＤは、画素値等を示す信号である。

なお、以下の説明では、信号は、原則、ハイアクティブ信号であるとする。ただし、リセット信号等がローアクティブ信号である構成であってもよい。

例えば、画像データ信号ＩＭＧＤは、センサから出力される垂直同期信号及び水平同期信号等に同期して、ＡＳＩＣ１００Ｈ３に入力される。これらの信号が、画像処理の対象となる「対象画像」である。また、ＡＳＩＣ１００Ｈ３は、画像のデータが有効であるのを示す有効信号を用いるのが設計上望ましい。そのため、例えば、図示するようなプロトコルに基づいて、フレーム有効信号ＦＶ及びライン有効信号ＬＶのように、水平方向及び垂直方向について、それぞれの有効信号があるのが望ましい。

図示する例では、「ｖａｌｉｄ」で示す画像のデータ（以下「有効データＶＡ」という。）が、後段で行われる画像処理等の対象にするデータである。

図示するように、有効データＶＡは、フレーム有効信号ＦＶ及びライン有効信号ＬＶがいずれもアサート（この例は、どちらの信号もハイアクティブ信号であるため、どちらも「Ｈ」の状態を指す。）である間に存在する。このように、有効信号は、有効データＶＡが存在する期間を示す。なお、有効信号は、「イネーブル信号」等と呼ばれる場合もある。

なお、有効信号等は、図示するような場合に限られない。すなわち、図示する以外に同期する他のデータ又はイネーブル信号等があってもよい。また、フレームの先頭を示す信号、いわゆるフレームリセット信号等が更にあってもよい。

また、以下の説明では、単に「画像」という場合には、同期するクロック信号、有効信号、及び、リセット信号等を省略して説明する場合がある。

＜電子回路の構成例＞
以下、画像が２系統の入力である場合を例に説明する。ただし、画像は、複数であればよく、３系統以上の入力があってもよい。また、以下の例では、複数の画像のうち、一方の画像を「第１画像」とし、他方の画像を「第２画像」とする。

図３は、本発明の一実施形態に係る２系統の画像を入力する電子回路の構成例を示すブロック図である。図示するように、画像処理回路１２には、第１画像ＩＭＧ１及び第２画像ＩＭＧ２のうち、セレクタによって選択された画像が入力される。

すなわち、複数の画像のうち、どの画像を画像処理の対象とするかは、セレクタによって定まる。そして、セレクタがどの画像を選択するかは、レジスタ制御回路１０が構成するレジスタに設定される。この設定に基づいて切替信号ＳＩＧＳがセレクタに出力される。

また、画像は、例えば、以下のように入力される。

図４は、本発明の一実施形態に係る画像の入力例を示すタイミングチャートである。まず、画像は、センサ等から入力される。

例えば、第１画像の入力は、第１画像フレーム有効信号ＩＭＧ１ＦＶによって把握される。同様に、第２画像の入力は、第２画像フレーム有効信号ＩＭＧ２ＦＶによって把握される。なお、画像の入力には、例えば、図２に示すようにフレームの有効信号以外である、データ等の信号が同期して入力されてもよい。以下、フレームの有効信号以外の信号を省略して記載する。

画像の切り替えが可能であると、例えば、第２１入力フレームＦＩ２１、すなわち、第２画像を選択して対象画像にした後、次に、第１１入力フレームＦＩ１１、すなわち、第１画像を選択する等のような切り替えが行われる。このような切り替えを行うには、例えば、以下のような電子回路等で実現する。

図５は、本発明の一実施形態に係る電子回路の構成例を示すブロック図である。例えば、図示するような構成の電子回路をＡＳＩＣ１００Ｈ３が有する場合を例に説明する。

まず、ＡＳＩＣ１００Ｈ３は、レジスタ制御回路１０、画像セレクタ回路１１、画像処理回路１２、及び、画像処理用レジスタ回路１３等を有する構成である。

レジスタ制御回路１０は、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）等によって入力されるレジスタに対する設定に基づいて、レジスタの切り替え等の制御を行う。例えば、Ｉ／Ｆは、ＡＰＢ（Ａｄｖａｎｃｅｄ Ｐｅｒｉｐｈｅｒａｌ Ｂｕｓ）Ｉ／Ｆ等のバスである。具体的には、書き込みの対象となるレジスタのアドレスを示す信号、書き込まれる値を示す信号、書き込みを示す信号、レジスタを選択する信号、及び、各信号のイネーブル信号等が、Ｉ／Ｆによって入力される。したがって、Ｉ／Ｆによってソフトウェア等により、レジスタへ入力する値等が入力される。なお、Ｉ／Ｆで入力される信号は、仕様等に基づいて、上記以外の信号があってもよい。

レジスタ制御回路１０は、例えば、デコーダ回路１０１、第１フリップフロップ回路１０２、第２フリップフロップ回路１０３、及び、切替回路１０４等を有する回路構成である。

デコーダ回路１０１は、例えば、アドレス値等をレジスタに書き込めるデータ形式に変換をする回路である。

第１フリップフロップ回路１０２は、ソフトウェア等からレジスタへの書き込みを受け付ける。したがって、第１フリップフロップ回路１０２では、レジスタに対してソフトウェア等から書き込みのアクセスがあると、すぐに値が更新される。

第２フリップフロップ回路１０３は、レジスタ設定の完了を示すトリガ信号ＴＲＧに基づいて更新される。例えば、トリガ信号ＴＲＧは、外部から入力される。

トリガ信号ＴＲＧが出力されるタイミング、すなわち、第１フリップフロップ回路１０２が構成するレジスタに設定されているパラメータが、第２フリップフロップ回路１０３が構成するレジスタに反映されるタイミングは、あらかじめ設定される条件を満たした場合である。したがって、トリガ信号ＴＲＧは、例えば、ソフトウェアによるレジスタへの書き込みが完了している状態等を判断して出力される。ほかには、バースト転送によるレジスタアクセスが完了したタイミング、又は、トリガ信号ＴＲＧをアサートさせるレジスタを設けて、そのレジスタのライトタイミング等に基づいて、トリガ信号ＴＲＧが出力される。

例えば、第１フリップフロップ回路１０２及び第２フリップフロップ回路１０３等が構成するレジスタに設定されるパラメータ（以下「セレクタ用パラメータ」という。）は、多段のフリップフロップ回路等によって記憶及び更新される。このように、多段の構成であると、ソフトウェア等がセレクタ用パラメータを書き込んでいる間等は、セレクタ用パラメータが画像処理に反映されず、所定のタイミングでセレクタ用パラメータを画像処理に反映できる。なお、レジスタは、３段以上の多段であってもよい。

切替回路１０４は、セレクタ等によって、対象画像を選択する制御を行う。具体的には、切替回路１０４は、切替信号ＳＩＧＳに基づいて、第１画像ＩＭＧ１（図では、「０」の場合となる。）、第２画像ＩＭＧ２（図では、「１」の場合となる。）、及び、画像処理回路１２に入力する画像をＯＦＦにする処理（以下「マスク処理」という場合もある。）（図では、「２」の場合となる。）という３つの選択肢のうち、いずれかに切り替える。

切替信号ＳＩＧＳが「０」であると、画像処理回路１２に入力する、すなわち、対象画像（以下、対象画像は、「入力画像信号ＩＮＩＭＧ」という信号を用いて画像処理回路１２に入力する。）は、第１画像ＩＭＧ１となる。また、切替信号ＳＩＧＳが「１」であると、入力画像信号ＩＮＩＭＧによって、第２画像ＩＭＧ２が入力される。さらに、切替信号ＳＩＧＳが「２」であると、入力画像信号ＩＮＩＭＧは、マスク処理された状態（例えば、画像の入力を示す有効信号がネゲート（ｎｅｇａｔｅ）になる。）となる。

第２フリップフロップ回路１０３等が構成するレジスタに設定されるパラメータ、すなわち、セレクタ用パラメータには、対象画像を選択する設定が含まれる。例えば、セレクタ用パラメータ、すなわち、複数の画像のうち、どの画像を画像処理の対象とするかは、ユーザの操作等で入力される。

画像処理回路１２は、切替回路１０４によって選択された画像、すなわち、入力画像信号ＩＮＩＭＧに対して、画像処理用パラメータＰＡに基づいて画像処理を行い、出力画像を生成する。

画像処理用パラメータＰＡは、例えば、フィルタ処理が行われる場合には、フィルタの係数等である。

画像処理用レジスタ回路１３には、画像処理回路１２によって行われる画像処理に用いる画像処理用パラメータＰＡが設定される。以下、画像処理用パラメータＰＡは、第１画像ＩＭＧ１用と第２画像ＩＭＧ２用があらかじめ入力され、画像処理の対象とする画像が第１画像ＩＭＧ１であるか第２画像ＩＭＧ２であるかの選択によって画像処理用パラメータＰＡが連動して切り替わる例とする。

セレクタ用パラメータが、切替信号ＳＩＧＳにすぐに反映されるか否かは、切替回路１０４の状態（以下、ステートマシンにおける「ステート」で示す。）によって異なる。したがって、第２フリップフロップ回路１０３等が構成するレジスタ、すなわち、セレクタ用パラメータで選択する画像と、切替信号ＳＩＧＳが画像処理の対象に選ぶ画像は、切替回路１０４の状態によって、一致する場合と異なる場合がある。

例えば、切替回路１０４は、以下のようなステートマシンで状態の制御を行う。

図６は、本発明の一実施形態に係る切替回路の状態遷移例を示すステートマシン図である。以下、切替回路１０４には、第０ステート、第１ステート、第２ステート、及び、第３ステートという４つの状態がある場合を例に説明する。

第０ステートは、初期状態である。図では、「Ｓ０」で示す。そして、第０ステートでは、第２フリップフロップ回路１０３が記憶するセレクタ用パラメータは、切替信号ＳＩＧＳに反映される。

例えば、リセットが解除されると、状態は、第０ステートへ遷移する。又は、選択されている画像の垂直方向についての有効信号（いわゆるフレームのイネーブル信号である。）がネゲートになると、状態は、第３ステートから第０ステートへ遷移する。このようにフレームが入力されていない状態等において、第０ステートに遷移し、セレクタ用パラメータが切替信号ＳＩＧＳに反映される。

ほかにも、第２ステートにおいて、画像のデータの押し出しが完了し、かつ、押し出しの完了時点において、切替信号ＳＩＧＳとセレクタ用パラメータが同じ（すなわち、同じ画像を選択している状態である。）であると、状態は、第２ステートから第０ステートへ遷移する。

又は、第２ステートにおいて、画像のデータの押し出しが完了し、かつ、押し出しの完了時点において切替信号ＳＩＧＳとセレクタ用パラメータが異なる場合（すなわち、切替信号ＳＩＧＳと、第２フリップフロップ回路１０３等が構成するレジスタで選択する画像が異なる場合である。）であって、選択されている画像の垂直方向についての有効信号がネゲートであると、状態は、第２ステートから第０ステートへ遷移する。

第１ステートは、画像のデータを入力している状態である。図では、「Ｓ１」で示す。そして、第１ステートでは、セレクタ用パラメータが、切替信号ＳＩＧＳに反映されず、切替信号ＳＩＧＳは、維持される。

例えば、第０ステートにおいて、選択されている画像の垂直方向についての有効信号が立ち上がる、すなわち、画像のデータ入力が開始されると、状態は、第０ステートから第１ステートへ遷移する。

第２ステートは、画像のデータを押し出している状態である。図では、「Ｓ２」で示す。そして、第２ステートでは、セレクタ用パラメータが、切替信号ＳＩＧＳに反映されず、切替信号ＳＩＧＳは、維持される。

例えば、第１ステートにおいて、選択されている画像の垂直方向についての有効信号が立ち下がる、すなわち、画像のデータ入力が終了すると、状態は、第１ステートから第２ステートへ遷移する。

第３ステートは、画像処理に対する入力をマスク処理している状態である。図では、「Ｓ３」で示す。

マスク処理は、対象画像に対する画像処理を無効にする処理である。例えば、マスク処理は、画像処理回路１２に入力される画像を画像処理するのに用いる有効信号（フレーム、垂直方向、水平方向、又は、これらの組み合わせである。）をネゲートとする処理である。したがって、マスク処理がされていると、仮に画像処理回路１２に画像を示すデータが入力されても、無効であるため、画像処理回路１２は、画像処理を行わず、入力された画像に対する出力もない状態となる。

このように、マスク処理がされると、フレームの途中の画像を対象画像にするのを防げる。そのため、マスク処理がされると、フレームが途中の画像等が画像処理されて無効な画像が出力されるのが防げる。

したがって、無効は、画像処理回路１２による画像処理が行われなければよく、例えば、画像のデータが画像処理回路１２に入力しないように、画像処理に対する画像の入力を止める処理等でもよい。

例えば、第２ステートにおいて、画像のデータの押し出しが完了し、かつ、押し出し完了時点において切替信号ＳＩＧＳとセレクタ用パラメータが異なる場合であって、選択されている画像の垂直方向についての有効信号がアサート（ａｓｓｅｒｔ）中であると、状態は、第２ステートから第３ステートへ遷移する。

すなわち、第２ステートでは、まず、押し出し完了時点において、切替信号ＳＩＧＳとセレクタ用パラメータが異なるか否かが判断される。この判断により、第０ステートへ遷移するか否かが決まる。次に、切替信号ＳＩＧＳとセレクタ用パラメータが異なると判断されると、画像の垂直方向についての有効信号がアサート中か、ネゲートであるかが判断される。この判断により、第０ステートへ遷移するか、又は、第３ステートへ遷移するかが決まる。

以上のようなステートマシンを用いると、例えば、以下のように画像の切り替えが行われる。

図７は、本発明の一実施形態に係る切り替えの例を示すタイミングチャートである。

第１画像フレーム有効信号ＩＭＧ１ＦＶは、第１画像の垂直方向についての有効信号の例である。この例では、第１画像フレーム有効信号ＩＭＧ１ＦＶは、ハイアクティブ信号である。したがって、第１画像フレーム有効信号ＩＭＧ１ＦＶが高レベル（以下、信号の種類によらず、高レベルの状態を「Ｈ」と示す。一方で、低レベルの状態を「Ｌ」と示す。）である間は、有効な画像のデータがあることを示す。また、第１画像フレーム有効信号ＩＭＧ１ＦＶは、画像のフレーム単位で立ち上がり、及び、立ち下がりとなる。

ゆえに、第１画像フレーム有効信号ＩＭＧ１ＦＶが立ち上がると、画像の入力開始となる。一方で、第１画像フレーム有効信号ＩＭＧ１ＦＶが立ち下がると、画像の入力終了となる。したがって、図示する例は、第１１入力フレームＦＩ１１、第１２入力フレームＦＩ１２、第１３入力フレームＦＩ１３の順に第１画像が入力される例である。

第１画像水平信号ＩＭＧ１ＨＤＰは、第１画像の水平方向についての同期信号である。この例では、第１画像水平信号ＩＭＧ１ＨＤＰは、水平方向についての開始を示す信号である。したがって、この例では、第１画像水平信号ＩＭＧ１ＨＤＰが「Ｈ」となってから、次の「Ｈ」となるまでが１ライン分となる。すなわち、第１画像水平信号ＩＭＧ１ＨＤＰは、ラインリセット等と呼ばれる場合もある信号である。

第２画像フレーム有効信号ＩＭＧ２ＦＶは、第２画像の垂直方向についての有効信号の例である。この例では、信号の動作等は、第１画像と同様とする。図示する例は、例えば、第２画像は、第１画像より高フレームレートで入力及び出力される例である。ゆえに、この例では、第２画像フレーム有効信号ＩＭＧ２ＦＶは、「Ｈ」及び「Ｌ」の周期が第１画像フレーム有効信号ＩＭＧ１ＦＶより短い。

第２画像水平信号ＩＭＧ２ＨＤＰは、第２画像の水平方向についての同期信号である。この例では、信号の動作等は、第１画像と同様とする。

したがって、図示する例は、第２１入力フレームＦＩ２１、第２２入力フレームＦＩ２２、第２３入力フレームＦＩ２３、第２４入力フレームＦＩ２４、第２５入力フレームＦＩ２５、第２６入力フレームＦＩ２６の順に第２画像が入力される例である。

第１レジスタ選択信号Ｒ１は、第１フリップフロップ回路１０２が構成するレジスタに設定されている設定値に基づいて選択されている画像を示す。以下、この例は、第１レジスタ選択信号Ｒ１が「Ｌ」であると、第１画像を選択する設定であるとする。一方で、第１レジスタ選択信号Ｒ１が「Ｈ」であると、第２画像を選択する設定であるとする。

トリガ信号ＴＲＧは、第１フリップフロップ回路１０２が構成するレジスタに書き込みが完了したタイミングを知らせる信号である。したがって、この例では、トリガ信号ＴＲＧに基づいて、第１レジスタ選択信号Ｒ１の内容が、第２レジスタ選択信号Ｒ２に反映される。

第２レジスタ選択信号Ｒ２は、第２フリップフロップ回路１０３が構成するレジスタに設定されている設定値に基づいて選択されている画像を示す。以下、この例は、第１レジスタ選択信号Ｒ１と同様に、第２レジスタ選択信号Ｒ２が「Ｌ」であると、第１画像を選択する設定であるとする。一方で、第２レジスタ選択信号Ｒ２が「Ｈ」であると、第２画像を選択する設定であるとする。

ステート信号ＳＴは、ステートマシンの状態を示す。以下、このタイミングチャートでは、ステートマシンにおける第０ステート、第１ステート、第２ステート、及び、第３ステートを「Ｓ０」、「Ｓ１」、「Ｓ２」、及び、「Ｓ３」と示す。

セレクト信号ＳＥＬは、画像セレクタ回路１１の状態を示す。具体的には、図２に示すように、セレクト信号ＳＥＬが「０」であると、第１画像ＩＭＧ１が選択され、画像処理回路１２には、第１画像ＩＭＧ１が入力される。また、セレクト信号ＳＥＬが「１」であると、第２画像ＩＭＧ２が選択され、画像処理回路１２には、第２画像ＩＭＧ２が入力される。さらに、セレクト信号ＳＥＬが「２」であると、対象画像等が無効となるマスク処理が行われる。

入力画像フレーム有効信号ＩＮＦＶは、画像処理回路１２に入力される画像の垂直方向についての有効信号の例である。

入力画像水平信号ＩＮＨＤＰは、画像処理回路１２に入力される画像の水平方向についての同期信号である。

入力画像フレーム有効信号ＩＮＦＶ及び入力画像水平信号ＩＮＨＤＰは、第１画像フレーム有効信号ＩＭＧ１ＦＶ、第１画像水平信号ＩＭＧ１ＨＤＰ、第２画像フレーム有効信号ＩＭＧ２ＦＶ、及び、第２画像水平信号ＩＭＧ２ＨＤＰのうち、セレクト信号ＳＥＬで選択された信号である。

具体的には、第１１入力フレームＦＩ１１が入力されている時点では、セレクト信号ＳＥＬが「０」であるため、第１画像が選択され、入力画像フレーム有効信号ＩＮＦＶ及び入力画像水平信号ＩＮＨＤＰは、第１画像フレーム有効信号ＩＭＧ１ＦＶ、及び、第１画像水平信号ＩＭＧ１ＨＤＰとなる。一方で、第２４入力フレームＦＩ２４が入力されている時点では、セレクト信号ＳＥＬが「１」であるため、入力画像フレーム有効信号ＩＮＦＶ及び入力画像水平信号ＩＮＨＤＰは、第２画像フレーム有効信号ＩＭＧ２ＦＶ、及び、第２画像水平信号ＩＭＧ２ＨＤＰとなる。

例えば、第１１タイミングＴ１１のように、「Ｓ０」の状態において、第１画像フレーム有効信号ＩＭＧ１ＦＶが立ち上がると、状態は、「Ｓ０」から「Ｓ１」に遷移する。

そして、「Ｓ１」である場合において、第１１入力フレームＦＩ１１が入力されている途中である、第１２タイミングＴ１２で、画像処理の対象とする画像を第１画像から第２画像に切り替えるように設定したとする。このように、「Ｓ１」において、切替があると、第１３タイミングＴ１３等のように、第１画像フレーム有効信号ＩＭＧ１ＦＶが立ち下がると、状態は、「Ｓ１」から「Ｓ２」に遷移する。そして、例えば、第１３タイミングＴ１３等から押し出し期間ＰＨとなる。

押し出し期間ＰＨは、この例では、２ライン分と設定した場合の例である。したがって、第１画像フレーム有効信号ＩＭＧ１ＦＶが立ち下がる時点、すなわち、第１３タイミングＴ１３から２ライン分（この例は、水平信号を３回分と設定した例とする。）が押し出し期間ＰＨとなる。

したがって、この例では、押し出し期間ＰＨは、例えば、第１３タイミングＴ１３から第１４タイミングＴ１４までの期間である。すなわち、押し出し完了時点は、例えば、第１４タイミングＴ１４等である。

例えば、第１４タイミングＴ１４は、「Ｓ２」において、押し出し完了時点となり、かつ、切替信号（すなわち、この例では、セレクト信号ＳＥＬが「０」であるため、切替信号で第１画像ＩＭＧ１が選択されている。）とセレクタ用パラメータ（すなわち、この例では、第２レジスタ選択信号Ｒ２が「Ｈ」であるため、切替信号によって、第２画像が選択されている。）が異なる場合である。さらに、第１４タイミングＴ１４は、選択されている画像（この場合では、第２３入力フレームＦＩ２３となる。）の垂直方向についての有効信号がアサート中である。そのため、第１４タイミングＴ１４では、状態は、「Ｓ２」から「Ｓ３」に遷移する。

第１４タイミングＴ１４から第１５タイミングＴ１５までのように、「Ｓ３」では、入力画像フレーム有効信号ＩＮＦＶ及び入力画像水平信号ＩＮＨＤＰ等がマスク処理される。具体的には、マスク状態ＭＫは、入力画像フレーム有効信号ＩＮＦＶ及び入力画像水平信号ＩＮＨＤＰ等の有効信号又はリセット信号等が無効となる。

したがって、マスク状態ＭＫでは、入力画像フレーム有効信号ＩＮＦＶ及び入力画像水平信号ＩＮＨＤＰ等の信号がネゲートとなる。このようにマスク処理がされると、マスク状態ＭＫとなるため、第２３入力フレームＦＩ２３等の画像が入力されても、無効となる。

また、この例は、「Ｓ１」である場合において、第２４入力フレームＦＩ２４が入力されている途中である、第１６タイミングＴ１６で、画像処理の対象とする画像を第２画像から第１画像に切り替えるように設定する例である。

第１２タイミングＴ１２における切り替えと同様に、第１６タイミングＴ１６で行われる切り替えによって、第１７タイミングＴ１７では、第２画像フレーム有効信号ＩＭＧ２ＦＶが立ち下がると、状態は、「Ｓ１」から「Ｓ２」に遷移する。

次に、第１７タイミングＴ１７から第１８タイミングＴ１８までが押し出し期間ＰＨであるため、第１８タイミングＴ１８が押し出し完了時点となる。

例えば、第１８タイミングＴ１８は、「Ｓ２」において、押し出し完了時点となり、かつ、切替信号（すなわち、この例では、セレクト信号ＳＥＬが「１」であるため、切替信号で第２画像ＩＭＧ２が選択されている。）とセレクタ用パラメータ（すなわち、この例では、第２レジスタ選択信号Ｒ２が「Ｌ」であるため、切替信号によって、第１画像が選択されている。）が異なる場合である。さらに、第１８タイミングＴ１８は、選択されている画像（この場合では、第１画像となる。）の垂直方向についての有効信号がネゲートである。そのため、第１８タイミングＴ１８では、状態は、「Ｓ２」から「Ｓ０」に遷移する。このように、選択されている画像の状態によっては、マスク処理が不要である場合もある。

以上のように、マスク処理がされると、画像が切り替えられても、押し出し期間の間に画像が入力される、又は、フレーム途中の画像が途中から入力される等を防ぎ、画像処理の制約（プロトコル等である。）を守ることができる。また、このようなマスク処理ができると、画像を切り替えるのに、画像の入力を停止させる等を行わなくとも、画像が切り替えられる。また、画像の入力を停止しなくても、画像が切り替えられるため、高速な切り替えができる。さらに、ソフトウェアで切り替えの制御を行う上で、切り替えのタイミングに対する制約を守ることができるため、ソフトウェアの開発効率を高めることができる。

＜画像の押し出し完了の判断例＞
画像の押し出し完了は、例えば、フレームの有効信号がネゲートしてから経過した時間、又は、フレームの有効信号がネゲートしてからカウントされる水平信号の数等に基づいて判断されてもよい。

なお、時間又は水平信号の数等、すなわち、押し出し完了と判断するための基準は、あらかじめ設定される。この設定によって、押し出し期間が定まる。例えば、押し出し期間は、仕様、動作モード、又は、水平方向の周期等に基づいて設定されるのが望ましい。

例えば、入力される画像に対して、画像処理において、フィルタ処理が行われる場合には、ラインバッファ等が用いられるため、ラインバッファの前後でライン遅延等が生じる場合が多い。例えば、「５×５」のフィルタのような処理を行う場合には、注目する画素に対して少なくとも２ライン分、後ろの画素が処理に用いられる。そのため、フィルタ処理が行われると、少なくとも２ライン程度の遅延（すなわち、垂直方向に対する遅延となる。）が発生する場合が多い。同様に、水平方向にも遅延が発生する場合がある。

したがって、押し出し期間は、このような処理内容等に基づいて、画像の入力に対する出力に発生する遅延等を考慮して設定されるのが望ましい。そのため、画像処理がモード等によって異なる場合もあるため、時間又は水平信号の数等といった押し出し完了を判断するための設定値は、レジスタに設定されるのが望ましい。そして、モードの変更等がある場合には、合わせて設定されるのが望ましい。

また、以下のように押し出し完了が判断されてもよい。

図８は、本発明の一実施形態に係る電子回路の変形例を示すブロック図である。図５と比較すると、変形例では、画像処理回路１２から出力される出力画像を示す信号（以下「出力信号ＯＵＴＩＭＧ」という。）が切替回路１０４にフィードバックされる点が異なる。以下、異なる点を中心に説明し、重複する説明を省略する。

この変形例では、出力信号ＯＵＴＩＭＧに基づいて、切替回路１０４は、出力信号ＯＵＴＩＭＧが示すフレームの有効信号及びラインリセット信号等を入力する。

そして、切替回路１０４は、出力信号ＯＵＴＩＭＧが示す出力画像のフレームの有効信号のネゲート等を基準にして押し出し期間を判断してもよい。なお、出力信号ＯＵＴＩＭＧを判断に用いる場合には、出力画像のフレームの有効信号には遅延がない場合があるため、フレーム等の有効信号がネゲートしてからライン等に遅延なく状態遷移等が行われてもよい。

一方で、切替回路１０４は、出力信号ＯＵＴＩＭＧを基準にして、フレーム等の有効信号がネゲートしてから経過した時間、又は、フレームの有効信号がネゲートしてからカウントされる水平信号の数等に基づいて判断してもよい。

このように、出力信号ＯＵＴＩＭＧに基づいて状態遷移、すなわち、切替信号によるセレクタの変更を行ってもよい。このような構成であると、モード等によって画像処理の種類が変更されても、出力信号ＯＵＴＩＭＧには、画像処理による遅延が反映されているため、設定が容易にできる。

＜第２実施形態＞
第２実施形態は、以下のようなステートマシンを用いる点が第１実施形態と異なる。

図９は、本発明の第２実施形態に係る切替回路の状態遷移例を示すステートマシン図である。第１実施形態と比較すると、第２実施形態は、強制的に「Ｓ０」に遷移するモード（以下「第１強制モード」という。）が設定できる点が異なる。

第１強制モードの設定は、例えば、ユーザの操作等によってレジスタ等に設定される。

第１強制モードの設定であると、「Ｓ０」では、セレクタ用パラメータが変化した場合、画像処理回路１２に対してリセットが行われる。例えば、画像処理回路１２に対してリセットを出力する制御を行う回路等に、トリガ信号がアサートされる。

「Ｓ０」では、第１強制モードの設定であると、状態は、「Ｓ０」に留まる。

「Ｓ１」、「Ｓ２」又は「Ｓ３」では、第１強制モードの設定であると、状態は、「Ｓ０」に遷移する。

以上のようなステートマシンを用いると、例えば、以下のような切り替えとなる。

図１０は、本発明の第２実施形態に係る切り替えの例を示すタイミングチャートである。第１実施形態と比較すると、第１強制モード信号Ｍ１、画像処理回路リセット信号ＲＴＲＧ、画像処理リセット状態信号ＲＩＭＧ、及び、リセット通知信号ＲＳが加わる点が異なる。以下、第１実施形態と同様の信号には同一の符号を付し、説明を省略する。

この例では、第１画像が、第２１１入力フレームＦＩ２１１、第２１２入力フレームＦＩ２１２の順で入力される。一方で、第２画像は、第２２１入力フレームＦＩ２２１が入力される。これらのフレームを切り替えて画像処理の対象画像とする。

第１強制モード信号Ｍ１は、第１強制モードの「ＯＮ」及び「ＯＦＦ」を設定する信号である。

画像処理回路リセット信号ＲＴＲＧは、画像処理回路１２に対してリセットを行うトリガ信号である。

画像処理リセット状態信号ＲＩＭＧは、画像処理回路１２のリセット状態を示す。なお、この例では、画像処理リセット状態信号ＲＩＭＧは、ローアクティブ信号である。したがって、画像処理リセット状態信号ＲＩＭＧが「Ｌ」であると、画像処理回路１２にリセットがかけられている状態であるとする。

リセット通知信号ＲＳは、切替回路１０４に対して、画像処理回路１２のリセットが完了したことを知らせる信号である。

例えば、以上のような信号は、以下のような電子回路構成で用いられるのが望ましい。

図１１は、本発明の第２実施形態に係る電子回路の構成例を示すブロック図である。図示する構成は、第１実施形態と比較すると、リセット制御回路２０が加わる点が異なる。

リセット制御回路２０は、入力される画像処理回路リセット信号ＲＴＲＧ等に基づいて、画像処理回路１２に対してリセットを行う。そして、リセットを行った結果等は、切替回路１０４に対して、リセット通知信号ＲＳによって通知される。

以下、第２１タイミングＴ２１で第１強制モードを「ＯＮ」にする例とする。このように、第１強制モードが設定されると、第２１タイミングＴ２１のように、状態は、「Ｓ０」に遷移する。そして、「Ｓ０」となるため、セレクト信号ＳＥＬは、第２レジスタ選択信号Ｒ２と一致して、「０」となる。

その後、画像を切り替える設定がされるとする。この設定が第２２タイミングＴ２２で完了し、この完了がトリガ信号ＴＲＧによって知らされるとする。したがって、第２２タイミングＴ２２で画像を切り替えるように、第２レジスタ選択信号Ｒ２が更新される。

第２２タイミングＴ２２は、第２１２入力フレームＦＩ２１２が、フレームの途中である。第１強制モードであると、このようなフレームの途中の状態でも、画像の入力が第２２タイミングＴ２２のように中止される。このように、第１強制モードが設定できると、フレームの途中等でも、フレームを中止してすぐに画像を切り替えることができる。

この例では、第２２タイミングＴ２２では、第２１２入力フレームＦＩ２１２が、フレームの途中であっても中止される。その後、すぐに、第２２１入力フレームＦＩ２２１、すなわち、第２画像のフレームに切り替えがされている。このような速やかな切り替えができる。

そして、画像処理回路リセット信号ＲＴＲＧが出力されるのが望ましい。すなわち、画像処理回路１２がリセットされるのが望ましい。

第１強制モードは、フレームを途中で中止するような場合もある。したがって、画像処理回路１２は、リセットされ、画像処理回路１２が有する記憶装置、カウンタ及びステートマシン等が初期の状態にされるのが望ましい。リセットによって初期の状態にしないと、次のフレーム等でエラーが発生する可能性が高くなる。したがって、第１強制モードが設定されている場合には、画像処理回路１２がリセットされるのが望ましい。

また、リセット制御回路２０がある構成、すなわち、ハードウェアによってリセットがされる構成が望ましい。このようにハードウェアによってリセットがされると、ソフトウェアによる処理の負担等を減らすことができる。さらに、このようにハードウェアによってリセットがされると、次のフレームの処理開始を早くすることができる。

＜第３実施形態＞
第３実施形態は、以下のようなステートマシンを用いる点が第２実施形態と異なる。

図１２は、本発明の第３実施形態に係る切替回路の状態遷移例を示すステートマシン図である。第２実施形態と比較すると、第３実施形態は、第４ステート（図では、「Ｓ４」である。）が加わる点が異なる。また、第３実施形態では、第２強制モードが設定できる。

第２強制モードの設定は、例えば、ユーザの操作等によってレジスタ等に設定される。

「Ｓ０」、「Ｓ２」又は「Ｓ３」では、第２強制モードの設定であり、かつ、切替信号とセレクタ用パラメータが異なる場合には、状態は、「Ｓ４」に遷移する。

「Ｓ４」は、リセットが完了するのを待機する状態である。例えば、「Ｓ４」では、画像処理回路リセット信号ＲＴＲＧがリセット制御回路２０に出力される。さらに、「Ｓ４」では、「Ｓ３」と同様に、マスク処理が行われるのが望ましい。

そして、リセット通知信号ＲＳ等によってリセットの完了が通知されると、選択されている画像の有効信号に基づいて、「Ｓ０」に遷移するか、又は、「Ｓ３」に遷移するかが判断される。

具体的には、リセットが完了、かつ、選択されている画像の垂直方向についての有効信号がネゲートであると、状態は、第４ステートから第０ステートへ遷移する。一方で、リセットが完了、かつ、選択されている画像の垂直方向についての有効信号がアサート中であると、状態は、第４ステートから第３ステートへ遷移する。

以上のようなステートマシンを用いると、例えば、以下のような切り替えとなる。

図１３は、本発明の第３実施形態に係る切り替えの例を示すタイミングチャートである。第２実施形態と比較すると、第２強制モード信号Ｍ２を用いる点が異なる。以下、第２実施形態と同様の信号には同一の符号を付し、説明を省略する。

この例では、第１画像が、第３１１入力フレームＦＩ３１１、第３１２入力フレームＦＩ３１２、第３１３入力フレームＦＩ３１３の順で入力される。一方で、第２画像は、第３２１入力フレームＦＩ３２１、第３２２入力フレームＦＩ３２２、第３２３入力フレームＦＩ３２３、第３２４入力フレームＦＩ３２４、第３２５入力フレームＦＩ３２５、第３２６入力フレームＦＩ３２６の順で入力される。これらのフレームを切り替えて画像処理の対象画像とする。

第２強制モード信号Ｍ２は、第２強制モードの「ＯＮ」及び「ＯＦＦ」を設定する信号である。

以下、第３１タイミングＴ３１で第２強制モードを設定する例で説明する。そして、第３２タイミングＴ３２で第２強制モードが設定され、かつ、画像の切り替えがセレクタ用パラメータによって行われる。

したがって、第３２タイミングＴ３２では、第２強制モード、かつ、切替信号とセレクタ用パラメータが異なると判断されるため、状態は、「Ｓ１」から「Ｓ４」へ遷移する。

「Ｓ４」に状態が遷移すると、画像処理回路リセット信号ＲＴＲＧが出力される。そのため、画像処理リセット状態信号ＲＩＭＧが「Ｌ」となり、画像処理回路がリセットされるのを待機する。その後、リセット通知信号ＲＳによって、状態は、第３２４入力フレームＦＩ３２４がアサート中であるため、「Ｓ４」から「Ｓ３」へ遷移する。

このようなフレームの途中の状態でも、第１強制モードと同様に、画像の入力が第３２タイミングＴ３２のように中止される。このように、第２強制モードが設定できると、第３１２入力フレームＦＩ３１２のようにフレームの途中等でも、フレームを中止してすぐに画像を切り替えることができる。

また、第３２タイミングＴ３２から第３３タイミングＴ３３までの間は、マスク状態ＭＫとなり、入力画像フレーム有効信号ＩＮＦＶ及び入力画像水平信号ＩＮＨＤＰ等の有効信号又はリセット信号等が無効となる。

第３３タイミングＴ３３は、第３２４入力フレームＦＩ３２４の有効信号が立ち下がる時点である。そのため、状態は、「Ｓ３」から「Ｓ４」に遷移する。以降、第２画像のフレームである第３２５入力フレームＦＩ３２５及び第３２６入力フレームＦＩ３２６等というように、第２画像が対象画像となるように切り替わる。

以上のような構成であると、選択する画像がフレームの途中であっても、画像の入力を停止する等を行わなくても、切り替えができる。

＜第１比較例＞
図１４は、第１比較例を示すタイミングチャートである。以下、第１画像が、第４１１入力フレームＦＩ４１１、第４１２入力フレームＦＩ４１２、第４１３入力フレームＦＩ４１３、第４１４入力フレームＦＩ４１４、第４１５入力フレームＦＩ４１５の順で入力されるとする。一方で、第２画像は、第４２１入力フレームＦＩ４２１が入力されるとする。

以下、最初に対象画像を第１画像とし、その後、対象画像を第１画像から第２画像に切り替える。さらにその後、対象画像を第２画像から第１画像にするように切り替えるとする。このような切り替えは、例えば、第４１タイミングＴ４１及び第４２タイミングＴ４２等で行われる。

すなわち、第１間隔ＴＭ１及び第２間隔ＴＭ２のように、第１画像及び第２画像がどちらも入力されていない間隔（図では、有効信号が「Ｌ」である状態を指す。）で切り替えを行うようにする。

このような方法で切り替えを行うと、第１間隔ＴＭ１及び第２間隔ＴＭ２のように、切り替えを行うことができるタイミングが制約される。そのため、ソフトウェアによる制御がシビアになる場合が多い。

＜第２比較例＞
以下、第１比較例と同様のフレーム及びタイミングで画像を入力する例で説明する。

図１５は、第２比較例を示すタイミングチャートである。第１比較例と比較すると、第２比較例は、センサを停止する等の制御によって、画像の入力が停止する期間（以下「センサ停止期間ＳＦ」という。）がある点が異なる。すなわち、第１比較例では、入力された第４１２入力フレームＦＩ４１２、第４１３入力フレームＦＩ４１３、及び、第４１４入力フレームＦＩ４１４が第２比較例では入力されず、センサ停止期間ＳＦとなる点が第１比較例と異なる。

第２比較例では、切り替えは、例えば、第５１タイミングＴ５１及び第５２タイミングＴ５２等で行われる。すなわち、第１１間隔ＴＭ１１及び第１２間隔ＴＭ１２のように、第１画像及び第２画像がどちらも入力されていない間隔（図では、有効信号が「Ｌ」である状態を指す。）で切り替えを行うようにする。

このような方法では、センサ等を停止できないような場合に切り替えができない場合が多い。さらに、このような方法でも、第１１間隔ＴＭ１１及び第１２間隔ＴＭ１２のように切り替えを行うことができるタイミングが制約される。そのため、ソフトウェアによる制御がシビアになる場合が多い。

＜第３比較例＞
以下、第１比較例と同様のフレーム及びタイミングで画像を入力する例で説明する。

図１６は、第３比較例を示すタイミングチャートである。第３比較例では、画像の切り替えがすぐに反映される例である。

以下、第６１タイミングＴ６１及び第６３タイミングＴ６３で切り替えを行うとする。このような切り替えを行うには、第２１間隔ＴＭ２１及び第２３間隔ＴＭ２３等のように画像処理の対象にするフレームが入力されていない時点で切り替えを行う。

このような切り替えを行うと、例えば、第４１２入力フレームＦＩ４１２及び第４１４入力フレームＦＩ４１４のフレームのように、途中で入力が中止する場合がある。このような場合には、画像処理回路がリセットされるのが望ましい。

具体的には、第６２タイミングＴ６２及び第６４タイミングＴ６４のように、第２２間隔ＴＭ２２及び第２４間隔ＴＭ２４等が画像処理回路のリセットを行うタイミングである。

第２２間隔ＴＭ２２及び第２４間隔ＴＭ２４は、切り替えが行われた後、有効信号が立ち上がるまでの期間である。このような期間にリセットを行うのが望ましいため、リセットを行うタイミングが制約される。

＜変形例＞
図１７は、本発明の一実施形態に係る画像処理回路のハードウェア構成例を示すブロック図である。例えば、画像処理回路１２は、図示するようなラインバッファ１２１等を有するハードウェア構成であるのが望ましい。また、ラインバッファ１２１が記憶する画像のデータに対してあらかじめ設定される画像処理を行う回路（以下「画像処理本体回路１２５」という。）が、ラインバッファ１２１より後段に接続される電子回路構成であるとする。

ラインバッファ１２１は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）（以下「ＳＲＡＭ１２２」という。）等の記憶装置によって実現する。また、この例では、ＳＲＡＭ１２２に対して、データを書き込む回路（以下「書込回路１２３」という。）及びＳＲＡＭ１２２に書き込まれたデータを読み出す回路（以下「読出回路１２４」という。）があるとする。

書込回路１２３は、対象画像、すなわち、入力画像信号ＩＮＩＭＧをＳＲＡＭ１２２に書き込む。

読出回路１２４は、ＳＲＡＭ１２２に書き込まれた入力画像信号ＩＮＩＭＧを読み出す。

例えば、画像の端等であると、画像データの入力が終了した状態等である。このような状態であっても、画像処理の種類によっては、読出回路１２４は、読み出しを行う場合がある。このような読み出しを行うには、水平信号等を基準にタイミング制御を行うため、水平同期信号ＨＤＰ等が入力されるのが望ましい。すなわち、フレームの有効信号がネゲートであっても、水平同期信号ＨＤＰ等は、ラインバッファ１２１に入力されるのが望ましい。このような水平同期信号ＨＤＰがあると、画像のデータが無い状態であっても、読出回路１２４等が水平同期信号ＨＤＰを基準にして、処理を実行することができる。

例えば、ラインバッファ１２１等が用いられると、入力画像信号ＩＮＩＭＧ及び出力画像ＯＵＴＩＭＧは、以下のようなタイミングとなる。

図１８は、本発明の一実施形態に係る入力画像及び出力画像の例を示すタイミングチャートである。以下、入力画像信号ＩＮＩＭＧが、入力画像フレーム有効信号ＩＮＦＶ、入力画像水平信号ＩＮＨＤＰ、入力画像ライン有効信号ＩＮＬＶ、及び、入力画像信号ＩＮＩＭＧを用いる信号構成である例で説明する。また、この例では、出力画像ＯＵＴＩＭＧが、出力画像フレーム有効信号ＯＦＶ、出力画像水平信号ＯＨＤＰ、出力画像ライン有効信号ＯＬＶ、及び、出力画像データＯＩＭＧを用いる信号構成である例で説明する。

ラインバッファ１２１等を用いる画像処理が行われると、例えば、入力画像フレーム有効信号ＩＮＦＶ、入力画像水平信号ＩＮＨＤＰ、入力画像ライン有効信号ＩＮＬＶ、及び、入力画像信号ＩＮＩＭＧに対して、出力画像フレーム有効信号ＯＦＶ、出力画像水平信号ＯＨＤＰ、出力画像ライン有効信号ＯＬＶ、及び、出力画像データＯＩＭＧ等に、水平方向の遅延（図では、第１水平遅延ＤＹ１及び第２水平遅延ＤＹ３等である。）及び垂直方向の遅延（図では、垂直遅延ＤＹ２等である。）が発生する。

このような第１水平遅延ＤＹ１、垂直遅延ＤＹ２及び第２水平遅延ＤＹ３等が押し出し期間ＰＨとなる。

押し出し期間ＰＨは、図示するように、入力画像フレーム有効信号ＩＮＦＶ、入力画像ライン有効信号ＩＮＬＶ、及び、入力画像信号ＩＮＩＭＧ等がネゲートである。このような場合であっても、画像処理の種類によっては、読出回路１２４は、読み出しを行う場合がある。したがって、図示するように、入力画像水平信号ＩＮＨＤＰ等が入力されるのが望ましい。このように、押し出し期間ＰＨであっても、入力画像水平信号ＩＮＨＤＰ等が画像処理回路１２に入力されると、画像の端等がハングアップせず出力できる。

＜機能構成例＞
図１９は、本発明の一実施形態に係る画像処理装置の機能構成例を示す機能ブロック図である。例えば、画像処理装置１００は、記憶部ＦＮ１、生成部ＦＮ２、選択部ＦＮ３及び画像処理部ＦＮ４等を備える機能構成である。

記憶部ＦＮ１は、対象画像を選択するパラメータを記憶する記憶手順を行う。例えば、記憶部ＦＮ１は、第１フリップフロップ回路１０２及び第２フリップフロップ回路１０３等で実現する。

生成部ＦＮ２は、対象画像を選択する、又は、マスク処理のいずれかに切り替える切替信号を生成する生成手順を行う。例えば、生成部ＦＮ２は、切替回路１０４等で実現する。

選択部ＦＮ３は、切替信号に基づいて、対象画像の選択、又は、マスク処理のいずれかを選択する選択手順を行う。例えば、選択部ＦＮ３は、画像セレクタ回路１１等で実現する。

画像処理部ＦＮ４は、選択部ＦＮ３によって対象画像が選択されると、対象画像を画像処理する画像処理手順を行う。例えば、画像処理部ＦＮ４は、画像処理回路１２等で実現する。

＜全体処理例＞
図２０は、本発明の一実施形態に係る画像処理装置による全体処理例を示すフローチャートである。

ステップＳＰ１では、記憶部ＦＮ１は、セレクタ用パラメータを記憶する。例えば、図５に示すように、記憶部が多段構造である場合には、図７等のように、トリガ信号ＴＲＧ等によって、パラメータを更新するタイミングが制御されてもよい。

ステップＳＰ２では、生成部ＦＮ２は、対象画像を切り替えるか否かを判断する。例えば、ステップＳＰ２は、図６に示すようなステートマシンを用いる場合には、第２ステートにおいて、押し出し完了時点等で行われる。したがって、対象画像を切り替えるか否かは、切替信号ＳＩＧＳとセレクタ用パラメータが異なるか否かで判断される。

次に、対象画像を切り替えると判断する場合（ステップＳＰ２でＹＥＳ）には、生成部ＦＮ２は、ステップＳＰ３に進む。一方で、対象画像を切り替えないと判断する場合（ステップＳＰ２でＮＯ）には、生成部ＦＮ２は、ステップＳＰ７に進む。

ステップＳＰ３では、生成部ＦＮ２は、マスク処理を指示する切替信号を生成する。すなわち、ステップＳＰ３は、第３ステートで行われる処理である。

ステップＳＰ４では、選択部ＦＮ３は、マスク処理を行う。例えば、マスク処理が行われると、画像処理部ＦＮ４に入力される画像等は、図７に示すマスク状態ＭＫ等のように処理される。

ステップＳＰ５では、生成部ＦＮ２は、有効信号がネゲートであるか否かを判断する。

次に、有効信号がネゲートであると判断する場合（ステップＳＰ５でＹＥＳ）には、生成部ＦＮ２は、ステップＳＰ６に進む。一方で、有効信号がネゲートでないと判断する場合（ステップＳＰ５でＮＯ）には、生成部ＦＮ２は、ステップＳＰ４に進む。

すなわち、有効信号がアサート中（ステップＳＰ５でＮＯ）は、ステップＳＰ４が引き続き実行される。一方で、図７における第１５タイミングＴ１５のように、有効信号が立ち下がると、生成部ＦＮ２は、ステップＳＰ６に進む。

ステップＳＰ６では、生成部ＦＮ２は、対象画像を選択する切替信号を生成する。すなわち、ステップＳＰ６は、第０ステートで行われる処理である。ゆえに、生成部ＦＮ２は、セレクタ用パラメータを反映させた切替信号を生成する。

ステップＳＰ７では、画像処理部ＦＮ４は、対象画像を画像処理する。

このようにマスク処理等が行われると、複数の画像を切り替えても無効フレームが発生するのを防ぐことができる。

＜その他の実施形態＞
上記の例で示す電子回路は、説明した以外の構成であってもよい。すなわち、実施形態は、上記以外の電子回路構成であってもよい。例えば、上記の例における１つの電子回路は、複数の電子回路等で実現されてもよい。また、画像処理方法（処理の一部でもよい。）は、コンピュータに画像処理方法を実行させるためのプログラムに基づいて演算装置及び記憶装置等が協働して処理することで実現されてもよい。

また、画像処理装置は、１つの装置でなくともよい。すなわち、実施形態は、画像処理装置及び情報処理装置を有する画像処理システム等でもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１０ レジスタ制御回路
１１ 画像セレクタ回路
１２ 画像処理回路
１３ 画像処理用レジスタ回路
２０ リセット制御回路
１００ 画像処理装置
１０１ デコーダ回路
１０２ 第１フリップフロップ回路
１０３ 第２フリップフロップ回路
１０４ 切替回路
１２１ ラインバッファ
１２３ 書込回路
１２４ 読出回路
１２５ 画像処理本体回路
ＤＹ１ 第１水平遅延
ＤＹ２ 垂直遅延
ＤＹ３ 第２水平遅延
ＦＮ１ 記憶部
ＦＮ２ 生成部
ＦＮ３ 選択部
ＦＮ４ 画像処理部
ＦＶ フレーム有効信号
ＨＤＰ 水平同期信号
ＩＭＧ１ 第１画像
ＩＭＧ１ＦＶ 第１画像フレーム有効信号
ＩＭＧ１ＨＤＰ 第１画像水平信号
ＩＭＧ２ 第２画像
ＩＭＧ２ＦＶ 第２画像フレーム有効信号
ＩＭＧ２ＨＤＰ 第２画像水平信号
ＩＭＧＤ 画像データ信号
ＩＮＦＶ 入力画像フレーム有効信号
ＩＮＨＤＰ 入力画像水平信号
ＩＮＩＭＧ 入力画像信号
ＩＮＬＶ 入力画像ライン有効信号
ＬＶ ライン有効信号
Ｍ１ 第１強制モード信号
Ｍ２ 第２強制モード信号
ＭＫ マスク状態
ＯＦＶ 出力画像フレーム有効信号
ＯＨＤＰ 出力画像水平信号
ＯＩＭＧ 出力画像データ
ＯＬＶ 出力画像ライン有効信号
ＰＡ 画像処理用パラメータ
ＰＨ 押し出し期間
Ｒ１ 第１レジスタ選択信号
Ｒ２ 第２レジスタ選択信号
ＲＩＭＧ 画像処理リセット状態信号
ＲＳ リセット通知信号
ＲＴＲＧ 画像処理回路リセット信号
ＳＥＬ セレクト信号
ＳＦ センサ停止期間
ＳＩＧＳ 切替信号
ＳＴ ステート信号
ＴＲＧ トリガ信号
ＶＡ 有効データ

特開２０１７−３７４７０号公報

Claims (10)

1. 複数の画像のうち、いずれかの対象画像に対して画像処理を行う画像処理装置であって、
   前記対象画像を選択するパラメータを記憶する記憶部と、
   前記複数の画像から前記対象画像を選択する、又は、前記対象画像に対する前記画像処理を無効にするマスク処理のいずれかに切り替える切替信号を生成する生成部と、
   前記切替信号に基づいて、前記対象画像の選択、又は、前記マスク処理のいずれかを選択する選択部と、
   前記選択部で前記対象画像が選択されると、前記対象画像を前記画像処理する画像処理部とを備える
   画像処理装置。
2. 前記パラメータを前記切替信号に反映させる第１強制モードが設定でき、
   前記生成部は、
   前記第１強制モードが設定されると、前記対象画像のフレームが途中であっても、前記対象画像を切り替える前記切替信号を生成する
   請求項１に記載の画像処理装置。
3. 前記第１強制モードが設定され、かつ、前記対象画像の切り替えが行われると、
   前記画像処理部をリセットする
   請求項２に記載の画像処理装置。
4. 前記パラメータを前記切替信号に反映させる第２強制モードが設定でき、
   前記生成部は、
   前記第２強制モードが設定されると、前記対象画像のフレームの途中では、前記マスク処理を行い、
   前記画像処理部をリセットし、
   前記画像処理部をリセットすると、前記対象画像を切り替える前記切替信号を生成する
   請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成部は、
   前記対象画像が前記画像処理部で前記画像処理される期間である押し出し期間を判断して前記切替信号を生成する
   請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成部は、
   前記押し出し期間を前記対象画像のフレームの有効信号がネゲートしてから、カウントされる水平信号の数又は経過した時間によって判断する
   請求項５に記載の画像処理装置。
7. 前記画像処理部は、
   前記対象画像を前記画像処理して出力画像を生成し、
   前記生成部は、
   前記出力画像のフレームの有効信号のネゲートを基準にして、押し出し期間を判断する
   請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記記憶部は、多段のレジスタで前記パラメータを記憶する
   請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 複数の画像のうち、いずれかの対象画像に対して画像処理を行う画像処理装置が行う画像処理方法であって、
   画像処理装置が、前記対象画像を選択するパラメータを記憶する記憶手順と、
   画像処理装置が、前記複数の画像から前記対象画像を選択する、又は、前記対象画像に対する前記画像処理を無効にするマスク処理のいずれかに切り替える切替信号を生成する生成手順と、
   画像処理装置が、前記切替信号に基づいて、前記対象画像の選択、又は、前記マスク処理のいずれかを選択する選択手順と、
   画像処理装置が、前記選択手順で前記対象画像が選択されると、前記対象画像を前記画像処理する画像処理手順とを含む
   画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images