JP2019125925A - 画像処理装置及び画像形成装置 - Google Patents

Abstract

【課題】後段への出力に必要となるフレーム等時性を満たすことのできる処理時間に基づいて、画像処理を行いフレーム等時性を満たし続けること。【解決手段】画像処理装置は、入力される画像の一部又は全部を合成してフレームを生成する合成部と、フレーム生成中の所定の時刻から合成されたフレームを出力するまでの時間と、前記所定の時刻からフレームの未処理領域を合成するまでに要する見込み時間とを比較し、前記フレームを出力するまでの時間が、前記見込み時間より少ないか又は同一である場合、前記合成部に時間不足通知を送信する比較部とを有する。【選択図】図４

Description

本発明は、画像処理装置及び画像形成装置に関する。

デジタルカメラ等のレンズにより撮影された画像データは、レンズ収差によって歪んでいる。特に広角レンズ又は魚眼レンズで撮影した画像は、画像データの歪みが一段と強い。広角レンズ又は魚眼レンズでは、レンズの歪面収差特性のため、周辺部ほど歪曲率が大きく、画像の歪みが著しい。歪んだ画像データを歪みが低減された画像データに変換して画像の視認性を向上させる手段として、アフィン変換等の画像の任意画像変形回路がある。また、任意画像変形回路は、３６０度カメラ又はパノラマ画像の場合、センサから入力された複数枚の入力画像から生成される２枚の画像の合成を行う機能によって、大きなサイズの出力画像を生成する。

レンズを通して得られた入力画像を一旦格納しておくフレームメモリには、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate - Synchronous Dynamic Random Access Memory。以下、「ＤＤＲメモリ」という。）が使用される場合が多い。出力画像を生成するために対応する入力画素をＤＤＲメモリから読み出していく処理を、出力画素ごとに順に実行しようとすると、特に任意画像変形ではＤＤＲメモリに対してランダムアクセスが必要となり、膨大な処理時間を必要とするという問題がある。そこで、出力画像を複数のエリアに分割し、それぞれの出力画像エリアで必要とする入力画像の一部の領域を切り出して高速に読み書き可能なＳＲＡＭ（Static RAM）に一旦取り込んだ後、補正演算により出力画素を生成していく手法が既に知られている（例えば特許文献１）。

一般に画像を映像出力するときの要求として、フレーム等時性が要求される場合がある。しかしながら、従来の技術で画像をＳＲＡＭに格納し必要な処理を行う際、時間を要する場合にフレーム遅延が大きくなりフレーム等時性を守れなくなることがあった。フレーム等時性を守れない場合、エラーが発生し後段に画像データを出力できなくなるという問題があった。

本発明は上記の点に鑑みてなされたものであって、後段への出力に必要となるフレーム等時性を満たすことのできる処理時間に基づいて、画像処理を行いフレーム等時性を満たし続けることを目的とする。

そこで上記課題を解決するため、画像処理装置は、入力される画像の一部又は全部を合成してフレームを生成する合成部と、フレーム生成中の所定の時刻から合成されたフレームを出力するまでの時間と、前記所定の時刻からフレームの未処理領域を合成するまでに要する見込み時間とを比較し、前記フレームを出力するまでの時間が、前記見込み時間より少ないか又は同一である場合、前記合成部に時間不足通知を送信する比較部とを有する。

後段への出力に必要となるフレーム等時性を満たすことのできる処理時間に基づいて、画像処理を行いフレーム等時性を満たし続けることができる。

本発明の実施の形態における画像処理装置１００のハードウェア構成例（１）を示す図である。 本発明の実施の形態における画像処理装置１００のハードウェア構成例（２）を示す図である。 本発明の実施の形態における任意画像変形回路及び周辺回路のハードウェア構成例を示す図である。 本発明の実施の形態における補正後画素メモリ２５の構成例を示す図である。 本発明の実施の形態における出力画像の処理を示す図である。 本発明の実施の形態における画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。 本発明の実施の形態における画像合成用の画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。 本発明の実施の形態における任意画像変形回路１２で使用される画像処理パラメータの一例を示す図である。 本発明の実施の形態における外部メモリに画像が格納される一例を示す図である。 本発明の実施の形態における出力画像の一例を示す図である。 本発明の実施の形態における出力画像の合成領域の一例を示す図である。 本発明の実施の形態における１フレーム出力に要する時間及びフレーム等時性を満たすためのリミットを説明するための図である。 本発明の実施の形態における出力画像領域を説明するための図である。 本発明の実施の形態におけるリミット通知受信後の処理を説明するためのフローチャートである。

以下、図面に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態における画像処理装置１００のハードウェア構成例（１）を示す図である。図１に示されるように、画像処理装置１００は、入力Ｉ／Ｆ１０、画像処理回路１１、任意画像変形回路１２、ＣＰＵ１３（Central Processing Unit）、出力Ｉ／Ｆ１４、インターコネクト回路１５及び外部メモリ１６を有する。

入力Ｉ／Ｆ１０は、外部から画像データを取り込み、インターコネクト回路１５を介して外部メモリ１６に格納する。入力Ｉ／Ｆ１０とインターコネクト回路１５の間は、ＤＭＡ（Direct Memory Access）コントローラ、画像処理等の機能を実現する回路が存在してもよい。

画像処理回路１１は、任意画像変形回路１２による画像処理以外の画像処理を行う。画像処理回路１１は、複数の任意の画像処理Ａ、画像処理Ｂ等を含んでもよい。任意画像変形回路１２は、回転、拡大又は縮小等の画像変形を実行する。ＣＰＵ１３は、レジスタのリード又はライトを実行する。ＣＰＵ１３は、各回路のレジスタのリード又はライト等によって回路全体を制御する。出力Ｉ／Ｆ１４は、外部メモリ１６に格納された画像に様々な画像処理を施したのち、画像データを外部に出力するインタフェースである。インターコネクト回路１５は、各回路間の画像データ又は画像処理パラメータ等のやり取りを行う。外部メモリ１６は、入力された画像データ、画像処理が施された画像データ、画像処理に使用されるパラメータ等を記憶する。

図２は、本発明の実施の形態における画像処理装置１００のハードウェア構成例（２）を示す図である。図２は、図１に示される任意画像変形回路１２の配置を変更した構成例である。任意画像変形回路１２は、出力Ｉ／Ｆ１４の前段に配置される。任意画像変形回路１２は、インターコネクト回路１５からの画像データ及び画像処理パラメータ等の入力を受けて、画像変形処理を行い、出力Ｉ／Ｆ１４に画像処理後の画像データを出力する。

図３は、本発明の実施の形態における任意画像変形回路及び周辺回路のハードウェア構成例を示す図である。図３に示されるように、任意画像変形回路１２は、演算回路２１、参照画像メモリＡ２２Ａ、参照画像メモリＢ２２Ｂ、画像処理パラメータメモリ２３、エリア合成判定回路２４、補正後画素メモリ２５、全体制御回路２６、インタフェース回路２７及びレジスタ制御回路２８を有する。ＣＰＵ３１、ＤＤＲコントローラ３２、ＤＤＲメモリ３３及び出力インタフェース３４は、任意画像変形回路１２と連携して動作するハードウェアである。

演算回路２１、全体制御回路２６、インタフェース回路２７及びレジスタ制御回路２８は、ワイヤードロジック回路により実現されてもよいし、ＳｏＣ（System on chip）によるハードウェアで実現されてもよいし、画像処理装置１００にインストールされた１以上のプログラムがＣＰＵ３１に実行させる処理により実現されてもよい。参照画像メモリＡ２２Ａ、参照画像メモリＢ２２Ｂ、画像処理パラメータメモリ２３及び補正後画素メモリ２５は、高速処理及びランダムアクセス処理を実現するため、ＳＲＡＭであってもよい。ＣＰＵ３１は、図１に示されるＣＰＵ１３と同一のプロセッサでもよいし、別途のプロセッサであってもよい。ＤＤＲコントローラ３２及びＤＤＲメモリ３３は、図１に示される外部メモリ１６により実現されてもよい。また、ＤＤＲコントローラ３２は、図１に示されるインターコネクト回路１５に含まれてもよい。出力インタフェース３４は、図１に示される出力Ｉ／Ｆ１４により実現されてもよい。

ＤＤＲメモリ３３には、任意画像変形回路１２が使用する参照画像となる入力画像、出力画像のエリアごとの画像処理パラメータが格納されている。図１に示される画像処理装置１００のハードウェア構成の場合、出力画像もＤＤＲメモリ３３に格納される。

参照画像メモリＡ２２Ａ及び参照画像メモリＢ２２Ｂは、ＤＤＲメモリ３３に格納されている入力画像から取得する参照画像データを格納する領域である。ＲＡＭＲＥＦＡ（１）〜ＲＡＭＲＥＦＡ（Ｎ）は、出力画像に対応する参照画像が格納される。同様に、ＲＡＭＲＥＦＢ（１）〜ＲＡＭＲＥＦＢ（Ｎ）は、出力画像に対応する参照画像が格納される。Ｎは、演算回路２１において並行して演算を行う並列処理数であり、１又は２でもよく、求められる性能に応じてＮは決定される。すなわち、参照画像メモリは、必要な処理速度に基づいて決定された並列処理数を演算回路２１で実行するために、参照画像をＮだけ並列して記憶する。

画像処理パラメータメモリ２３は、ＤＤＲメモリ３３から取得する画像処理パラメータを格納する領域である。ＲＡＭＲＥＦＡに対応する画像処理パラメータが格納される領域がＲＡＭＰＩＸＡであり、ＲＡＭＲＥＦＢに対応する画像処理パラメータが格納される領域がＲＡＭＰＩＸＢである。

演算回路２１は、画像処理パラメータＲＡＭＰＩＸＡ又はＲＡＭＰＩＸＢに基づいて、参照画像ＲＡＭＲＥＦＡ又はＲＡＭＲＥＦＢを読み取って、出力画像の画素ごとに補正演算を実行する。図３に示されるａｆｎ＿ｃａｌ（１）〜ａｆｎ＿ｃａｌ（Ｎ）は、当該補正演算処理を示し、Ｎだけ並行して実行することができる。演算回路２１は、補正演算処理をエリアごとに繰り返して、補正後画素メモリ２５に補正演算後のデータを出力する。

エリア合成判定回路２４は、出力インタフェース３４から入力されるリミット通知信号に基づいて、ブレンド係数の判定又及び合成位置のカウントを行う。ブレンド係数及び合成位置は、補正後画素メモリ２５に入力される。

補正後画素メモリ２５は、補正演算後のデータを格納し、画像処理パラメータに基づいて必要であれば合成処理を実行する（詳細は後述）。ＲＡＭＲＥＶＡ及びＲＡＭＲＥＶＢは、出力画像が格納される領域である。補正後又は合成後の出力画像は、全体制御回路２６及びインタフェース回路２７を介してＤＤＲメモリ３３に書き戻されるか、出力インタフェース３４に出力される。

全体制御回路２６は、各回路の画像データ及び制御データの転送に係る制御を行う。

インタフェース回路２７は、全体制御回路２６及びＤＤＲコントローラ３２と接続され、ＤＤＲメモリ３３に格納されている画像データ及び制御データを全体制御回路２６へ転送する。

レジスタ制御回路２８は、ＣＰＵ３１からの制御により、参照画像の主走査・副走査画像サイズ等の情報をレジスタに保持する。

図４は、本発明の実施の形態における補正後画素メモリ２５の構成を示す図である。補正後画素メモリ２５では、演算回路２１から補正演算後のデータを取得し、画像処理パラメータで設定されるブレンド係数を乗算し、ＲＡＭＲＥＶに格納する。ブレンド係数とは、画素の合成をする際のウエイト情報である。ブレンド係数は、例えば入力画像Ａと入力画像Ｂを合成するときに、入力画像Ａを９０％、第２の入力画像Ｂを１０％のウエイトとして合成する等、合成時の入力画像にそれぞれウエイトを設定可能である。画像処理パラメータのエリア合成設定が有効であれば、格納されたＲＡＭＲＥＶからデータを読み出し、次のエリアの補正演算後のデータと加算を行い、他方のＲＡＭＲＥＶに当該データを格納する。補正後画素メモリ２５は、ＲＡＭＲＥＶＡ又はＲＡＭＲＥＶＢのいずれかの画像データをセレクタにより切り替えて出力する。

図５は、本発明の実施の形態における出力画像の処理を示す図である。任意画像変形回路１２によって出力される出力画像は、図５に示されるようにエリアごとに分割されて、主走査方向にＮ個、副走査方向にＭ個出力される。出力画像において、１〜Ｎを１エリアライン、Ｎ＋１〜２Ｎを２エリアライン、最終のエリアラインをＭエリアラインという。画像の出力順は、図５に示される矢印のように、主走査方向にエリアが１からＮまで出力されたのち、次のエリアラインがＮ＋１から２Ｎまで出力される。Ｍエリアラインが出力
完了すると、エリアは合計ＭＮ個出力されている。

図６は、本発明の実施の形態における画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。図５に示される出力画像の出力順に対応するように、入力画像の使用する部分を指定する参照画像切り出しデータ及び当該参照画像に対する画像処理パラメータを指定する参照画素指定データ（詳細は後述）が、エリアごとに順番に配置される。任意画像変形回路１２は、ＤＤＲメモリ３３上に配置されたエリア１に対応する画像処理パラメータから順番に取得して、出力画像が生成される。

図７は、本発明の実施の形態における画像合成用の画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。入力画像Ａ及び入力画像Ｂが合成される場合、入力画像Ａに対する画像処理パラメータ（エリア１ａ）の次に、入力画像Ｂに対する画像処理パラメータ（エリア１ｂ）が配置されるように、入力画像Ａ又は入力画像Ｂに対する画像処理パラメータが交互に配置される。出力画像の１エリアを生成するために、入力画像Ａ及び入力画像Ｂがそれぞれ対応する計２エリア分の画像処理パラメータに基づいて、補正演算処理が実行される。交互に配置された画像処理パラメータは順番に読み取られるため、任意画像変形回路１２は、重ね合わせを行う入力画像Ａ及び入力画像Ｂに対して連続して補正演算処理を実行することができる。続いて、画像処理パラメータに含まれるエリア合成設定を参照して、合成するか否かが判断され、補正後画素メモリ２５にて合成が行われる。

図８は、本発明の実施の形態における任意画像変形回路１２で使用される画像処理パラメータの一例を示す図である。画像処理パラメータは、入力画像から参照画像を切り出すための参照画像切り出しデータと、出力画像の１画素を生成するための参照画像の画素値及びサブピクセル値を指定する参照画素指定データとから構成される。１画素に対する参照画素指定データは、複数であってもよい。参照画像切り出しデータ及び参照画素指定データは、出力画像の１エリア単位で用意され、エリア出力順に応じて、ＤＤＲメモリ３３に配置されてもよい。入力画像を撮像したレンズのレンズパラメータの歪み率等に基づいて、エリアごとの画像処理パラメータが決定される。

参照画像切り出しデータに含まれる３２ビット長の「参照画像の先頭ＤＤＲアドレス」は、参照画像とする入力画像が格納されているＤＤＲメモリ３３の先頭アドレスである。参照画像切り出しデータに含まれる「エリア合成指定」によって、当該エリアが合成されるか否かが指定される。参照画像切り出しデータに含まれる「エリア飛ばし指定」によって、当該エリアが補正演算処理の対象であるか否かが指定される。「エリア飛ばし指定」がされている場合、当該エリアの画像は補正演算処理されることなく出力画像は生成されない。参照画像切り出しデータに含まれる１０ビット長の「参照画像の主走査画素数」は、参照画像の主走査方向の画素数を示す。参照画像切り出しデータに含まれる１０ビット長の「参照画像の副走査画素数」は、参照画像の副走査方向の画素数を示す。

参照画素指定データに含まれる「Ｘアドレス」及び「Ｙアドレス」は、出力画像の１画素を生成する参照画像の画素を指定する。参照画素指定データに含まれる「Ｘサブピクセル」及び「Ｙサブピクセル」は、出力画像の１画素を生成する参照画像の画素を詳細に指定する情報である。参照画素指定データに含まれる「ブレンド係数」は、図５に示される画素の合成をする際のウエイト情報である。

本発明の実施の形態では、画像処理パラメータは、入出力画像データを格納するフレームメモリであるＤＤＲメモリ３３に格納される。入力画像データ、補正後の出力画像データ及び画像処理パラメータは、それぞれアドレスオフセットが付与されて、ＤＤＲメモリ３３に配置されてもよい。

図９は、本発明の実施の形態におけるＤＤＲメモリ３３に画像が格納される一例を示す図である。ＤＤＲメモリ３３に、魚眼画像である入力画像Ａ及び入力画像Ｂが格納されている。以下、図９に示される魚眼画像である入力画像Ａ及び入力画像Ｂから、１枚の全天球画像を生成する場合の処理について説明する。

図１０は、本発明の実施の形態における出力画像の一例を示す図である。出力画像１は、図９に示される魚眼画像である入力画像Ａ及び入力画像Ｂに補正演算処理を施し、それぞれ左右に並べたものである。入力画像Ａから生成される領域Ａ及び入力画像Ｂから生成される領域Ｂ以外の斜線で示される領域は、入力画像Ａ及び入力画像Ｂを合成して生成した領域である。出力画像２は、出力画像１において、領域Ａを画像の中心に移動させたものである。出力画像３は、出力画像２において、さらに垂直方向に画像の半分だけ移動させたものである。

出力画像１、出力画像２及び出力画像３における差異は、カメラの撮影方向の違いによって入力画像の向きが異なり、それに対して出力画像の位置を補正する等の理由により発生する。出力画像に対する入力画像Ａ及び入力画像Ｂの配置は、図１０に示されるように変化し、合成が必要な画素の位置も変化する。

図１１は、本発明の実施の形態における出力画像の合成領域の一例を示す図である。図１３に示されるひとつの白枠は、１エリアに対応し、図１０に示される各出力画像において合成が必要な領域を示している。領域Ａ及び領域Ｂは、入力画像の合成は不要であり、画像処理パラメータには「エリア飛ばし設定」がされている。

図１３に示されるように、出力画像１及び出力画像２は、出力画像の最初の１エリアライン及び最終のエリアラインに合成が必要なエリアが多く存在する。出力画像３は、出力画像の中央のエリアラインに合成が必要なエリアが多く存在する。すなわち、出力画像に対する入力画像Ａ及び入力画像Ｂの配置によって、合成が必要なエリアを多く含むエリアラインが変化する。入力画像が動画の場合、毎フレーム合成が必要なエリアが多く存在するエリアラインが変化する可能性がある。合成が必要なエリアは、入力画像Ａ及び入力画像Ｂの両方から参照画像を取得し、補正演算処理を行う必要があるため、合成が必要ないエリアと比べた場合、約２倍の処理時間を要する。そのため、１エリアラインの全てのエリアで合成が必要である場合、合成が全く必要ない１エリアラインと比べた場合、約２倍の処理時間を要する。したがって、ライン出力の等時性を保証する場合、合成が全く必要ない１エリアラインに要する処理時間の約２倍の時間をライン出力間に設定する必要があり、処理遅延が大きくなる。

本発明の実施の形態において、エリア合成判定回路２４は、１エリアごとに合成設定されていたエリアをカウントし、１エリアラインで多くエリア合成を要するエリアラインかを判定する。出力画像１又は出力画像２においては、最上位の１エリアラインと最終のエリアラインが多くのエリア合成を要するエリアラインであることがわかる。出力画像３においては、中央のエリアラインが多くのエリア合成を要するエリアラインであることがわかる。すなわち、当該カウントに基づいて、あるエリアラインの処理に要する時間を判定することができる。

図１２は、本発明の実施の形態における１フレーム出力に要する時間及びフレーム等時性を満たすためのリミットを説明するための図である。図１２は、１エリアの副走査ライン数が３２ラインである場合の出力完了ライン数と、残り時間との関係をプロットしたものである。縦軸は、残り時間を示し、横軸は、出力完了ライン数を示す。

任意画像変形回路１２以降の後段出力には、フレーム等時性を満たすため、所定の期間に一定のライン数を出力する必要がある。そこで、１フレームの残出力ライン数に対し、出力すべきリミット時間を設定する。図１２における「出力完了時間」を示す線が、縦軸のフレーム等時性を満たすための１フレーム全体を出力完了するまでの残り時間０を下回ると、フレーム等時性が満たされなくなる。最初の３２ラインを出力完了した時点において、「出力完了時間」を示す線の「最初の３２ライン分の出力に要した時間」の分だけ、残り時間が減少する。

任意画像変形回路１２は、縦軸の残り時間が「リミット」で示す線を下回らないように、「出力完了時間」を制御する。エリアごとに「出力完了時間」は、画像合成の処理量によって変化する。「リミット」で示す線と「出力完了時間」で示す線との間で示される時間が、図１２に示されるように「実際の出力に要した時間とフレーム等時性を保つためのリミットとの差分の時間」である。「リミット」に「出力完了時間」が到達する直前に、出力インタフェース３４に含まれる判定回路から任意画像変形回路１２にリミット通知が送信される。当該判定回路を図１３、リミット通知時の処理を図１４で説明する。

図１３は、本発明の実施の形態における出力画像領域を説明するための図である。フレーム等時性を満たすため、出力画像を後段に出力する必要がある最終の出力期限を算出する方法を、出力画像領域を用いて説明する。

図１３に示されるように、出力画像領域以外に、画像データを出力しない格子線領域の主走査方向の１ラインごとのブランク期間「Ｈ ｂｌａｎｋ」期間と、副走査方向下端の斜線領域のブランク期間「Ｖ ｂｌａｎｋ」が存在する。ブランク期間「Ｈ ｂｌａｎｋ」期間をｈ＿ｂｌａｎｋ、ブランク期間「Ｖ ｂｌａｎｋ」をｖ＿ｂｌａｎｋ、後段の要求に基づく１フレームの出力に要してもよい時間をｔとする。

ここで、任意変形画像回路１２において、１エリアサイズは３２×３２であるとして、３２ラインごとに１フレーム１９２０ラインの画像を生成する場合を説明する。任意変形画像回路１２の１エリアの処理に要する時間は、演算時間と参照画像取得時間等の和であり、ａｒｅａ＿ｔとする。したがって、１エリアラインを出力するのに必要となる時間は、図５に示されるように１エリアラインはＮエリアで構成されるとすると、ａｒｅａ＿ｔ×Ｎとなる。１フレームに対応する６０エリアラインを出力するために必要な見込み時間の下限は、ｖ＿ｂｌａｎｋ＋（ａｒｅａ＿ｔ×Ｎ＋ｈ＿ｂｌａｎｋ×３２）×６０となる。

さらに、１フレームを出力するために必要な時間として、任意変形画像回路１２において発生する処理待ち時間が必要であり、レジスタ等の設定により１エリアライン出力するときの処理待ち時間ｕが設定される。ｕの設定により、実際のタイムリミットよりも早くリミットを通知することが可能である。

現在の出力中エリアラインｋ（１≦ｋ≦６０）以前の出力に要した時間をｓとすると、現在の出力中のエリアラインｋから１フレーム出力完了するまでに費やすことのできる出力残り時間はｔ−ｓであり、
ｖ＿ｂｌａｎｋ＋（ａｒｅａ＿ｔ×Ｎ＋ｈ＿ｂｌａｎｋ×３２＋ｕ）×（６０−ｋ）≧ｔ−ｓ
上記式の条件を満たした場合、すなわち１フレームの出力に要してもよい残り時間が、最低限画像処理に要する見込み時間であるリミット時間に到達又は下回った場合、出力インタフェース３４は、任意画像変形回路１２にリミット通知を送信する。

図１４は、本発明の実施の形態におけるリミット通知受信後の処理を説明するためのフローチャートである。図１４において、出力インタフェース３４からリミット通知を受信した場合の任意画像変形回路１２の処理を説明する。

ステップＳ１において、リミット対応を行うか否かを判定する。リミット対応を行う場合、ステップＳ２に進み、リミット対応を行わない場合、ステップＳ５に進む。ステップＳ１においてリミット対応をするか否かは、必要に応じて設定することができる。

ステップＳ２において、全ての合成設定を無視するか否かを判定する。全ての合成設定を無視する場合、ステップＳ３に進み、全ての合成設定を無視しない場合、ステップＳ４に進む。ステップＳ２においてすべての合成設定を無視するか否かは、必要に応じて設定することができる。

ステップＳ３において、読み込んだパラメータのエリア合成設定をすべて無視して、参照画像メモリＡ２２Ａ又は参照画像メモリＢ２２Ｂの画像のみに補正演算を行う。

ステップＳ４において、エリア内のブレンド係数の閾値判定を行う。図８に示されるブレンド係数［７：０］について、例えば参照画像メモリＡ２２Ａ［７：０］が８'ｂ１１１１＿１１１０、参照画像メモリＢ２２Ｂ［７：０］が８'ｂ００００＿００１０であり、ブレンド係数の閾値［７：０］が８'ｂ０１００＿００００の場合、参照画像メモリＢ２２Ｂが閾値よりも小さいため、参照画像メモリＡ２２Ａのみ補正演算を行う。

また例えば、例えば参照画像メモリＡ２２Ａ［７：０］が８'ｂ１１１１＿１１１０、参照画像メモリＢ２２Ｂ［７：０］が８'ｂ００００＿００１０であり、ブレンド係数の閾値［７：０］が８'ｂ０１００＿００００の場合、参照画像メモリＡ２２Ａが閾値よりも小さいため、参照画像メモリＢ２２Ｂのみ補正演算を行う。

また例えば、例えば参照画像メモリＡ２２Ａ［７：０］が８'ｂ０１１１＿１１１１、参照画像メモリＢ２２Ｂ［７：０］が８'ｂ１０００＿０００１であり、ブレンド係数の閾値［７：０］が８'ｂ０１００＿００００の場合、参照画像メモリＡ２２Ａ及び参照画像メモリＢ２２Ｂ共に閾値よりも大きいため、参照画像メモリＡ２２Ａ及び参照画像メモリＢ２２Ｂ共に補正演算を行い、合成設定通りに合成を行う。

上記のように図８に示される参照画像指定データごとのブレンド係数を閾値で比較し判定するほか、１エリア全体の平均のブレンド係数を閾値で比較し判定してもよいし、１エリア全体の最大のブレンド係数を閾値で比較し判定してもよい。

１フレーム内においてリミット通知を受けたとき、図１１に示されるエリア合成が多い領域の処理を既に終えているかどうかを判定し、エリア合成が多いエリアラインの処理を終えている場合はブレンド係数の閾値を変更してもよいし、エリア合成が少ないエリアラインの処理を終えている場合は全ての合成設定を無視してもよい。エリア合成が多い又は少ないとする判定は、所定の閾値によって判定してもよいし、フレーム内で相対的に判定してもよい。

また例えば、１フレーム内においてリミット通知を受けたとき、フレーム内の未処理領域について、エリア合成が多いエリアラインが含まれている場合はブレンド係数の閾値により合成処理判定を行い、エリア合成が少ないエリアラインが残っている場合はすべての合成設定を無視してもよい。

ステップＳ５において、パラメータ設定に従った動作を行い、ブレンド係数に基づいて合成処理を行う。

上述したように、本発明の実施の形態によれば、画像処理装置１００は、１フレームの出力に要してもよい残り時間が、最低限画像処理に要する時間であるリミット時間に到達又は下回った場合、リミット通知を行うことで、１フレームの残りの画像処理に要する時間を制御するために画像の合成設定を変更することができる。すなわち、後段への出力に必要となるフレーム等時性を満たすことのできる処理時間を算出し、当該処理時間以内で画像処理を行ってフレーム等時性を満たし続けることができる。

なお、本発明の実施の形態において、任意画像変形回路１２は、合成部の一例である。出力インタフェース３４は、比較部の一例である。リミット通知は、時間不足通知の一例である。

なお、本発明は、プロジェクタ、医療用機器又はテレビ会議システム等の画像処理装置又は画像処理システムに適用可能である。また、本発明は、撮像した画像を処理する装置又はシステムとなり得る、携帯電話、携帯型情報端末、車載機器等の通信端末又は情報処理装置に適用可能である。また、本発明の画像処理装置は、一つの装置にすべての機能を含んで構成されてもよいし、複数の装置によって構成されてもよい。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 画像処理装置
１０ 入力Ｉ／Ｆ
１１ 画像処理回路
１２ 任意画像変形回路
１３ ＣＰＵ
１４ 出力Ｉ／Ｆ
１５ インターコネクト回路
１６ 外部メモリ
２１ 演算回路
２２Ａ 参照画像メモリＡ
２２Ｂ 参照画像メモリＢ
２３ 画像処理パラメータメモリ
２４ エリア合成判定回路
２５ 補正後画素メモリ
２６ 全体制御回路
２７ インタフェース回路
２８ レジスタ制御回路
３１ ＣＰＵ
３２ ＤＤＲコントローラ
３３ ＤＤＲメモリ
３４ 出力インタフェース

特開２０１５−０９９９５９号公報

Claims (7)

1. 入力される画像の一部又は全部を合成してフレームを生成する合成部と、
   フレーム生成中の所定の時刻から合成されたフレームを出力するまでの時間と、前記所定の時刻からフレームの未処理領域を合成するまでに要する見込み時間とを比較し、前記フレームを出力するまでの時間が、前記見込み時間より少ないか又は同一である場合、前記合成部に時間不足通知を送信する比較部とを有する画像処理装置。
2. 前記時間不足通知を受信した前記合成部は、画像の合成処理を停止し、画像を合成しないでフレームを生成する請求項１記載の画像処理装置。
3. 前記時間不足通知を受信した前記合成部は、合成される複数の画像にそれぞれ設定される重み係数が所定の閾値よりも大である画像を合成に使用する請求項１記載の画像処理装置。
4. 前記重み係数は、フレームの一部の領域の平均値又は最大値である請求項３記載の画像処理装置。
5. 前記時間不足通知を受信した前記合成部は、フレームの処理済み領域のうち、画像が合成された領域が所定の領域よりも少ない場合、画像の合成処理を停止し、画像が合成された領域が所定の領域よりも多い場合、合成される複数の画像にそれぞれ設定される重み係数が所定の閾値よりも大である画像を合成に使用する請求項１の画像処理装置。
6. 前記時間不足通知を受信した前記合成部は、フレームの未処理領域のうち、画像が合成される領域が所定の領域よりも少ない場合、画像の合成処理を停止し、画像が合成される領域が所定の領域よりも多い場合、合成される複数の画像にそれぞれ設定される重み係数が所定の閾値よりも大である画像を合成に使用する請求項４の画像処理装置。
7. 入力される画像の一部又は全部を合成してフレームを生成する合成部と、
   フレーム生成中の所定の時刻から合成されたフレームを出力するまでの時間と、前記所定の時刻からフレームの未処理領域を合成するまでに要する見込み時間とを比較し、前記フレームを出力するまでの時間が、前記見込み時間より少ないか又は同一である場合、前記合成部に時間不足通知を送信する比較部とを有する画像形成装置。

Images