JP2000048189A

JP2000048189A - 画像処理装置

Info

Publication number: JP2000048189A
Application number: JP10215342A
Authority: JP
Inventors: Yoshiharu Kanzaki; 義春神前; Mikiyasu Okamoto; 幹泰岡本; Morihito Shiobara; 守人塩原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-07-30
Filing date: 1998-07-30
Publication date: 2000-02-18
Also published as: US6546156B1

Abstract

(57)【要約】【課題】画像処理速度を向上させ、対象物の存在を高
速に検知する。【解決手段】ライン間隔拡張手段１１は、画像信号の
フレーム処理を行った場合、リアルタイムに処理するた
めにフレームを間引いた際に、画像信号のラインの間隔
をフレームを間引いた数だけ拡張する。画像処理手段１
２ａ〜１２ｎは、間隔が拡張されたラインのライン処理
をパイプライン制御で行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置に関
し、特に画像信号をリアルタイムに処理して対象物の存
在を検知し、画像認識を行う画像処理装置に関する。

【０００２】

【従来の技術】画像認識技術は、ＣＣＤカメラ等で撮像
された画像から対象物の存在を検知し、その画像内容を
解析する技術である。

【０００３】ＩＴＳ（Intelligent Transport Systems:
高速道路交通システム）では、道路上の車両停止の検知
や落下物の検知等に、画像認識技術を利用している。ま
た、電力設備の短絡・地絡の事故検知、さらにはゴミ焼
却場の火災検知等、幅広い分野で利用されている。

【０００４】一方、画像認識を行うアルゴリズムとして
は、例えば、背景画像を記憶しておき、一定周期で入力
する画像との差分から物体を検知する背景差分、画像か
ら特徴事項を抽出して物体を検知する特徴抽出等、その
他多様なアルゴリズムがある。

【０００５】一般に画像認識技術では、これらアルゴリ
ズムの内容が大きい場合、１つの画像処理プロセッサで
は処理できないので、フレーム単位に間引きを行った
後、フレーム単位のパイプライン制御を行って処理速度
を上げている。

【０００６】また、処理速度を上げるために、プロセッ
サでは、画像データの入力／出力及び画像認識の処理に
対して、同時に並列処理を行っている。さらに、画像処
理アルゴリズムは、画像をいくつかに分割し、通常は分
散処理されている。

【０００７】

【発明が解決しようとする課題】しかし、上記のような
従来のパイプライン制御は、未処理データが処理済みデ
ータに変換されるまでに、複数のプロセッサによる時間
的遅れを生じながら処理結果が連続して得られるので、
遅延時間が発生する。

【０００８】この遅延時間は、プロセッサの接続段数に
比例して大きくなるため、高速で動く画像から早い事象
を検知する際には問題となる。例えば、ＩＴＳで開発が
進められているドライバを介さない無人自動運転では、
事故防止のために落下物や異常事態を、事象が発生して
から即座に検知しなければならない。このように車載の
画像認識では、高速検知は必須である。

【０００９】また、従来の画像データの並列処理では、
バスが１系統しかなく、このバスを通じて、入力／出力
及び画像認識の処理を行っていた。このため、バス上に
コンフリクトが頻繁に発生していまい、装置の品質及び
信頼性を落とすといった問題があった。

【００１０】さらに、従来のアルゴリズム分散処理で
は、分散処理後、画像を合成する際にデータ転送能力の
低いシリアル通信ポートが使われていたために、リアル
タイム（１／３０秒）の合成ができず、高速検知の障害
となっていた。

【００１１】本発明はこのような点に鑑みてなされたも
のであり、画像処理速度を向上させ、対象物の存在を高
速に検知する画像処理装置を提供することを目的とす
る。

【００１２】

【課題を解決するための手段】本発明では上記課題を解
決するために、図１に示すような画像信号をリアルタイ
ムで処理する画像処理装置１において、画像信号のフレ
ーム処理を行った場合、リアルタイムに処理するために
フレームを間引いた際に、画像信号のラインの間隔をフ
レームを間引いた数だけ拡張するライン間隔拡張手段１
１と、間隔が拡張されたラインのライン処理をパイプラ
イン制御で行う複数の画像処理手段１２ａ〜１２ｎと、
を有することを特徴とする画像処理装置１が提供され
る。

【００１３】ここで、ライン間隔拡張手段１１は、画像
信号のフレーム処理を行った場合、リアルタイムに処理
するためにフレームを間引いた際に、画像信号のライン
の間隔をフレームを間引いた数だけ拡張する。画像処理
手段１２ａ〜１２ｎは、間隔が拡張されたラインのライ
ン処理をパイプライン制御で行う。

【００１４】また、図１２に示すような画像信号を処理
する画像処理装置２において、入力された画像信号を格
納して、入力画像データＤ１として出力する入力画像信
号格納手段２１と、入力画像データＤ１を画像処理し
て、画像処理データＤ２を生成する画像信号処理手段２
２と、画像処理データＤ２を格納して、出力画像データ
Ｄ３として外部出力する出力画像信号格納手段２３と、
入力画像信号格納手段２１と入力バスＢｉで接続され、
一方が入力画像データＤ１を格納している場合は、他方
が格納済みの入力画像データＤ１を画像信号処理手段２
２に出力するダブルバッファ構造の入力側格納領域部２
４−１と、出力画像信号格納手段２３と出力バスＢｏで
接続され、一方が画像処理データＤ２を格納している場
合は、他方が格納済みの画像処理データＤ２を出力画像
信号格納手段２３に出力するダブルバッファ構造の出力
側格納領域部２４−２と、から構成される格納領域制御
手段２４と、を有することを特徴とする画像処理装置２
が提供される。

【００１５】ここで、入力画像信号格納手段２１は、入
力された画像信号を格納して、入力画像データＤ１とし
て出力する。画像信号処理手段２２は、入力画像データ
Ｄ１を画像処理して、画像処理データＤ２を生成する。
出力画像信号格納手段２３は、画像処理データＤ２を格
納して、出力画像データＤ３として外部出力する。格納
領域制御手段２４は、入力画像信号格納手段２１と入力
バスＢｉで接続され、一方が入力画像データＤ１を格納
している場合は、他方が格納済みの入力画像データＤ１
を画像信号処理手段２２に出力するダブルバッファ構造
の入力側格納領域部２４−１と、出力画像信号格納手段
２３と出力バスＢｏで接続され、一方が画像処理データ
Ｄ２を格納している場合は、他方が格納済みの画像処理
データＤ２を出力画像信号格納手段２３に出力するダブ
ルバッファ構造の出力側格納領域部２４−２と、から構
成される。

【００１６】さらに、図１６に示すような画像信号を処
理する画像処理装置４において、画像信号を分割する画
像信号分割手段４１と、分割された画像信号の一方を画
像処理して、第１の分割処理信号Ｄａを生成する第１の
分割処理信号生成手段４２ａと、分割された画像信号の
他方を画像処理して、第２の分割処理信号Ｄｂを生成す
る第２の分割処理信号生成手段４２ｂと、一方が第１の
分割処理信号Ｄａを格納している場合は、他方が格納済
みの第１の分割処理信号Ｄａを出力するダブルバッファ
構造の第１の分割処理信号格納手段４３ａと、一方が第
２の分割処理信号Ｄｂを格納している場合は、他方が格
納済みの第２の分割処理信号Ｄｂを出力するダブルバッ
ファ構造の第２の分割処理信号格納手段４３ｂと、第１
及び第２の分割処理信号格納手段４３ａ、４３ｂから出
力された出力信号Ｄａ１、Ｄｂ１をハードウェアで合成
してフォーマット変換を行うフォーマット変換手段４４
と、を有することを特徴とする画像処理装置４が提供さ
れる。

【００１７】ここで、画像信号分割手段４１は、画像信
号を分割する。第１の分割処理信号生成手段４２ａは、
分割された画像信号の一方を画像処理して、第１の分割
処理信号Ｄａを生成する。第２の分割処理信号生成手段
４２ｂは、分割された画像信号の他方を画像処理して、
第２の分割処理信号Ｄｂを生成する。第１の分割処理信
号格納手段４３ａは、一方が第１の分割処理信号Ｄａを
格納している場合は、他方が格納済みの第１の分割処理
信号Ｄａを出力するダブルバッファ構造で構成される。
第２の分割処理信号格納手段４３ｂは、一方が第２の分
割処理信号Ｄｂを格納している場合は、他方が格納済み
の第２の分割処理信号Ｄｂを出力するダブルバッファ構
造で構成される。フォーマット変換手段４４は、第１及
び第２の分割処理信号格納手段４３ａ、４３ｂから出力
された出力信号Ｄａ１、Ｄｂ１をハードウェアで合成し
てフォーマット変換を行う。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は第１の実施の形態の画像処
理装置の原理図である。画像処理装置１は、画像信号を
リアルタイム（１／３０秒）で処理して、対象物の存在
を検知し、画像認識を行う。

【００１９】ライン間隔拡張手段１１は、画像信号のフ
レーム処理を行った場合、リアルタイムに処理するため
にフレームを間引いた際に、画像信号のラインの間隔を
フレームを間引いた数だけ拡張する。

【００２０】例えば図では、フレーム処理時は２フレー
ム間引いており、その場合にはラインの間隔を２ライン
分空けて拡張する。画像処理手段１２ａ〜１２ｎは、間
隔が拡張されたラインのライン処理をパイプライン制御
で行う。

【００２１】ここでフレーム処理、ライン処理及び間引
きの意味について説明する。フレーム処理は、１フレー
ム（１画面）全体の画像を対象として処理を行うもの
で、複雑な特徴を有する画像処理や環境変化のある状態
での検知に使用できる。

【００２２】フレーム処理を行う画像処理手段のアルゴ
リズムとしては、特徴抽出やラベリング等がある。ライ
ン処理は、基本的に画面の１水平ライン（６４０ピクセ
ル）の画像信号を対象として行うもので、処理対象ピク
セルは、１ピクセル単位、周辺の数ピクセル単位、１ラ
イン単位及び近傍の数ライン単位等である。

【００２３】これらの小単位処理でも、単純画像で環境
条件のあまり変化しない状態であれば、ライン処理での
検知は十分可能である。また、ライン処理を行う画像処
理手段のアルゴリズムとしては、マスク、背景差分、投
影、２値化等がある。

【００２４】間引きとは、ＣＣＤカメラ等から１／３０
秒毎に入力される画像信号を１フレーム単位で間引くも
のである。間引きにより、その分の情報量が削減される
が、低速な動画像でＳ／Ｎ比が高い場合や、検知までに
時間を要しても構わない場合等では、間引いても問題は
ない。

【００２５】次に動作について説明する。画像処理手段
１２ａ〜１２ｎのそれぞれのフレーム処理が１／３０×
３秒かかるとすると、リアルタイムでフレーム処理を行
うためには、２フレーム間引いた画像信号を入力する必
要がある。

【００２６】したがって、画像処理手段１２ａ〜１２ｎ
でフレーム処理のパイプライン制御を行うと、１フレー
ムが処理されるまでに、１／３０×３×ｎ（ｎ：画像処
理手段１２ａ〜１２ｎの数）秒の処理時間の遅延とな
る。

【００２７】一方、本発明では、ライン間隔拡張手段１
１により、フレームのライン間隔を拡張（ここでは２ラ
イン分）する。そして、画像処理手段１２ａ〜１２ｎで
拡張されたラインを入力して、ライン単位のパイプライ
ン制御を行う。これにより、１ラインが処理されるまで
に、１／３０×３秒以内でライン単位の処理を終わらせ
ることができる。

【００２８】このように、単純画像で環境条件のあまり
変化しない画像等に対しては、フレーム処理ではなく、
ライン処理で対象物の検知を十分行うことができるの
で、ライン間隔を拡張してのライン処理をパイプライン
制御で行えば、処理時間を大幅に削減でき、対象物の高
速検知が可能になる。

【００２９】次にライン間隔拡張手段１１でライン間隔
が拡張された波形のタイムシーケンスについて説明す
る。図２はライン間隔拡張波形のタイムシーケンスを示
す図である。

【００３０】波形Ｌａは、通常のライン構成を持つ波形
である。波形Ｌｂは、ライン間隔が拡張されたライン波
形であり、２ライン分間隔が拡張されている。図３はラ
イン間隔が拡張された場合のフレーム波形のタイムシー
ケンスを示す図である。

【００３１】波形Ｆａは通常のフレーム構成を持つ波形
である。波形Ｆｂはライン間隔が２ライン分拡張された
場合のフレーム波形であり、もとのフレームの３倍に拡
大される。また、この場合、垂直ブンランキング期間も
３倍に拡大される。

【００３２】次にフレーム間引き後にフレーム処理のパ
イプライン制御を行う従来の画像処理について図４、図
５を用いて説明する。図４はフレーム処理を行う場合の
画像処理構成を示す図であり、図５は図４のタイムシー
ケンスを示す図である。

【００３３】図４では、入力する画像信号は、フレーム
間引き部１０１でフレームの間引きが行われる。そし
て、画像処理手段１２ａ〜１２ｅで画像処理が施され、
対象物が検知された場合には、検知出力部１０２からそ
の旨を通知する検知通知信号Ｗ１ｋが出力される。

【００３４】ここでの画像処理として、画像処理手段１
２ａ〜１２ｅは、それぞれマスク、背景差分、投影、２
値化及び特徴抽出を行って、画像認識を行うものとす
る。また、各画像処理手段１２ａ〜１２ｅのフレーム処
理時間は、１／３０×３秒である。

【００３５】図５では、波形Ｗ１ａは垂直同期信号であ
る。波形Ｗ１ｂは事象発生信号であり、図の示す位置に
事象が発生したものとする（事象発生から次のフレーム
までの間隔が０．０３秒）。波形Ｗ１ｃはフレームであ
る。波形Ｗ１ｄは間引き後の垂直同期信号である。波形
Ｗ１ｅは間引き後のフレームｆ１〜ｆ５である。

【００３６】そして、このフレームｆ１〜ｆ５が、画像
処理手段１２ａ〜１２ｅでのパイプライン制御により、
画像処理が順次施されていく。波形Ｗ１ｆ〜Ｗ１ｊは、
それぞれ画像処理手段１２ａ〜１２ｅの出力信号であ
る。図のようにフレームのパイプラインの多段処理を行
うと、検知通知信号Ｗ１ｋが出力するまでに（１／３
０）×３×５＋０．０３≒５３０ｍＳの遅延時間とな
る。

【００３７】次にライン間隔拡張後にライン処理のパイ
プライン制御を行う本発明の画像処理について図６、図
７を用いて説明する。図６はライン処理を行う場合の画
像処理構成を示す図であり、図７は図６のタイムシーケ
ンスを示す図である。

【００３８】図６では、入力する画像信号は、ライン間
隔拡張手段１１でライン間隔が拡張される。そして、画
像処理手段１２ａ〜１２ｅで画像処理が施され、対象物
が検知された場合には、検知出力部１０２からその旨を
通知する検知通知信号Ｗ２ｋが出力される。また、ここ
での画像処理の内容は図４と同様である。

【００３９】図７では、波形Ｗ２ｃは事象発生信号であ
り、図の示す位置に事象が発生したものとする。波形Ｗ
２ｄはライン間隔拡張後の垂直同期信号である。波形Ｗ
２ｅはライン間隔が拡張されたフレームＦ１〜Ｆ５であ
る。

【００４０】そして、このフレームＦ１〜Ｆ５の拡張ラ
インが、画像処理手段１２ａ〜１２ｅでのパイプライン
制御により、画像処理が順次施されていく。波形Ｗ２ｆ
〜Ｗ２ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出
力信号である。図のようにラインのパイプラインの多段
処理を行うと、検知通知信号Ｗ２ｋが出力するまでに
（１／３０）×３＋０．０３≒１３０ｍＳの遅延時間と
なる。

【００４１】このように、ライン間隔を拡張してのライ
ン処理をパイプライン制御で行うことにより、処理時間
を大幅に削減することができる。次に画像信号をフレー
ムメモリに蓄積してからライン間隔拡張処理を行う場合
について説明する。図８はライン間隔拡張を行う際のフ
レームメモリを示す図である。

【００４２】フレームメモリ１１ａは、Ａ面、Ｂ面に対
し、交互に書き込み及び読み出しを行うダブルバッファ
構造のメモリであり、画像信号をフレーム単位で一旦、
格納した後、ラインの間隔を拡張しながら出力する。

【００４３】このため例えば、フレームＡが書き込まれ
てから読み出されるまでには、１フレーム分の遅延が発
生し、その遅延にライン間隔拡張分の遅延が加算される
ことになる。

【００４４】したがって、フレームメモリ１１ａに蓄積
してからライン間隔拡張を行った場合の遅延時間は、１
／３０（１フレーム時間）＋（１＋ライン間隔拡張数）
／３０（秒）となる。

【００４５】次に画像信号を１フレームのＦＩＦＯ（Fi
rst-In First-Out) に蓄積してからライン間隔拡張処理
を行う場合について説明する。図９はライン間隔拡張を
行う際の内部データメモリを示す図である。

【００４６】図８で示したフレームメモリ１１ａの代わ
りに、１フレーム分の内部データメモリ１２３ａを設
け、内部データメモリ１２３ａに入力してくる画像信号
をライン間隔拡張の時間だけ遅延しながら順次出力す
る。

【００４７】外部のフレームメモリに一旦蓄積する必要
がなくなるので、１フレーム分の遅延がなくなる。した
がって、内部データメモリ１２３ａに蓄積してからライ
ン間隔拡張処理を行う場合の遅延時間は、（１＋ライン
間隔拡張数）／３０（秒）となる。

【００４８】次にライン処理とフレーム処理を複合した
場合について図１０、図１１を用いて説明する。図１０
はライン処理とフレーム処理を複合して行う場合の画像
処理構成を示す図であり、図１１は図１０のタイムシー
ケンスを示す図である。

【００４９】図１０では、入力する画像信号は、ライン
間隔拡張手段１１でライン間隔が拡張される。そして、
画像処理手段１２ａ〜１２ｅで画像処理が施され、対象
物が検知された場合には、検知出力部１０２からその旨
を通知する検知通知信号Ｗ３ｋが出力される。

【００５０】また、ここでの画像処理は、画像処理手段
１２ａ〜１２ｃのマスク、背景差分及び投影までがライ
ン処理であり、画像処理手段１２ｄ、１２ｅの２値化、
特徴抽出をフレーム処理で行うものとする。

【００５１】図１１では、波形Ｗ３ｃは事象発生信号で
あり、図の示す位置に事象が発生したものとする。波形
Ｗ３ｄはライン間隔拡張後の垂直同期信号である。波形
Ｗ３ｅはライン間隔が拡張されたフレームＦ１〜Ｆ５で
ある。

【００５２】そして、このフレームＦ１〜Ｆ５の拡張ラ
インが、画像処理手段１２ａ〜１２ｅでのパイプライン
制御により、画像処理が順次施されていく。波形Ｗ３ｆ
〜Ｗ３ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出
力信号である。

【００５３】また、ここでは、波形Ｗ３ｆ〜Ｗ３ｈがラ
イン処理、Ｗ３ｉ、Ｗ３ｊがフレーム処理である。した
がって、図のようにパイプラインの多段処理を行うと、
検知通知信号Ｗ３ｋが出力するまでに（１／３０）×３
×３＋０．０３≒３３０ｍＳの遅延時間となる。

【００５４】このように、ライン処理に向いているマス
クや背景差分等のアルゴリズムや、フレーム処理に向い
ている特徴抽出等のアルゴリズムを複合して、効率よく
画像処理することが可能になる。

【００５５】以上説明したように、第１の実施の形態の
画像処理装置１は、画像信号のラインの間隔を拡張し
て、ライン処理をパイプライン制御で行う構成とした。
これにより、画像処理速度を向上させ、対象物の存在を
高速に検知することが可能になる。

【００５６】次に第２の実施の形態の画像処理装置につ
いて説明する。図１２は第２の実施の形態の画像処理装
置の原理図である。ホスト２００を除く図の各構成要素
からなる画像処理装置２は、画像入力処理、画像処理、
画像出力処理の同時並列処理を行う。

【００５７】入力画像信号格納手段２１は、入力された
画像信号を格納して、入力画像データＤ１として出力す
る。画像信号処理手段２２は、入力画像データＤ１を画
像処理して、画像処理データＤ２を生成する。

【００５８】出力画像信号格納手段２３は、画像処理デ
ータＤ２を格納して、出力画像データＤ３として外部出
力する。格納領域制御手段２４は、入力側格納領域部２
４−１と出力側領域部２４−２を持つ。入力側格納領域
部２４−１は、入力画像信号格納手段２１と入力バスＢ
ｉで接続され、一方が入力画像データＤ１を格納してい
る場合は、他方が格納済みの入力画像データＤ１を画像
信号処理手段２２に出力するダブルバッファ構造のメモ
リである。また、後述する設定データＤ４と通知データ
Ｄ５の格納制御も行う。

【００５９】図ではメモリＡが入力画像データＤ１を格
納、メモリＢからは格納済みの入力画像データＤ１を出
力している。切替え後は、互いに逆の処理となる。ま
た、出力側領域部２４−２は、出力画像信号格納手段２
３と出力バスＢｏで接続され、一方が画像処理データＤ
２を格納している場合は、他方が格納済みの画像処理デ
ータＤ２を出力画像信号格納手段２３に出力するダブル
バッファ構造のメモリである。

【００６０】図ではメモリＣが画像処理データＤ２を格
納、メモリＤからは格納済みの画像処理データＤ２を出
力している。切替え後は、互いに逆の処理となる。ま
た、データ切替え制御手段２５は、画像信号処理手段２
２へ送信される、入力画像データＤ１またはワークステ
ーション等のホスト２００からの設定データＤ４の切替
え制御を行う。さらに、画像処理手段２２からホスト２
００への通知データＤ５の送信制御を行う。

【００６１】設定データＤ４とは、例えば、プログラム
やマスクデータ等に該当する。また、通知データＤ５と
は、画像信号処理手段２２で対象物を検知した検知結果
通知データ等に該当する。

【００６２】次に画像処理装置２の具体的な構成及び動
作について説明する。図１３は画像処理装置２の構成を
示す図である。画像信号処理手段２２と格納領域制御手
段２４が、１つのＤＳＰ（ディジタルシグナルプロセッ
サ）内２０に含まれる。

【００６３】ＣＰＵ２２ａは画像信号処理手段２２に該
当し、内部データメモリ２４ａとＨＰＩ（ホストポート
インタフェース）２４ｂとＩ／Ｆ２４ｃは格納領域制御
手段２４に該当する。

【００６４】また、入力ＦＩＦＯ２１ａと入力ＦＩＦＯ
制御部２１ｂは入力画像信号格納手段２１に該当し、出
力ＦＩＦＯ２３ａと出力ＦＩＦＯ制御部２３ｂは出力画
像信号格納手段２３に該当する。さらに、データ切替え
制御手段２５は、ゲート回路２５ａで構成される。

【００６５】ＤＳＰ２０の内部データメモリ２４ａが複
数バンク構成（メモリＡ〜Ｄ）になっており、それぞれ
独立してアクセス可能である。ここでは、メモリＡ、Ｂ
を画像入力のラインメモリとして交互に切り替えて、画
像ライン信号の入出力を行う。

【００６６】すなわち、メモリＡがＨＰＩ２４ｂを介し
て、画像ライン信号を入力して格納している場合は、メ
モリＢは画像ライン信号をＣＰＵ２２ａに出力して、Ｃ
ＰＵ２２ａは画像処理を行う。このような動作をメモリ
Ａ／Ｂ交互に行うことで、画像ライン信号の入力及び画
像処理を平行して行うことができる。

【００６７】また、メモリＣ／Ｄでは、メモリＣが画像
処理データを入力して格納している場合は、メモリＤは
画像処理データをＩ／Ｆ２４ｃを介して、出力ＦＩＦＯ
２３ａに出力する。このような動作をメモリＣ／Ｄ交互
に行う。

【００６８】また、入力ＦＩＦＯ制御部２１ｂは、ライ
ン単位の動作の基準となる水平同期信号を割り込み信号
としてＤＳＰ２０に入力する。なお、上記の説明では、
メモリＡ／Ｂ、Ｃ／Ｄを、ライン単位のダブルバッファ
構造のメモリとしたが、フレーム単位のダブルバッファ
構造のメモリにして、フレーム処理を行ってもよい。

【００６９】次に画像信号の流れについて説明する。画
像信号は、入力ＦＩＦＯ２１ａ、ゲート回路２５ａ、Ｄ
ＳＰ２０内のＨＰＩ２４ｂ及び内部データメモリＡ／Ｂ
へと送信される。

【００７０】画像信号の出力は、ＤＳＰ２０の内部デー
タメモリＣ／Ｄ、出力ＦＩＦＯ２３ａへと送信される。
ここで、画像信号処理は、ＤＳＰ２０内のＣＰＵ２２ａ
が、内部データメモリＡ／Ｂのいずれかから画像信号を
読み出して行い（画像信号が入力されるメモリとは別の
メモリをアクセスする）、その結果を内部データメモリ
Ｃ／Ｄ（同様に出力されるメモリとは別のメモリをアク
セスする）へ格納する。

【００７１】次に動作について詳しく説明する。入力Ｆ
ＩＦＯ２１ａは、ライン単位の画像信号を１ラインずつ
受け取る。入力ＦＩＦＯ制御部２１ｂは、入力ＦＩＦＯ
２１ａが１ライン分受け取った時点で、ＤＳＰ２０に対
して割り込みを上げるとともに、入力ＦＩＦＯ制御部２
１ｂの制御により、ＨＰＩ２４ｂを経由して内部データ
メモリＡ／Ｂへ送信する。

【００７２】内部データメモリＡ／Ｂいずれに転送する
かは、入力ＦＩＦＯ制御部２１ｂで発生した転送アドレ
スで指定する。そして、内部データメモリＡに入力画像
データ転送中は、ＣＰＵ２２ａは内部データメモリＢと
の間で画像処理を行い、次のライン入力タイミングでは
内部データメモリＢに入力画像データは転送され、ＣＰ
Ｕ２２ａと内部データメモリＡとの間で画像処理を行
う。

【００７３】画像処理結果は、内部データメモリＣまた
はＤ（必ず出力されているメモリとは別のメモリへアク
セスする）へ保存する。そして、出力ＦＩＦＯ２３ａか
らの出力では、出力画像データＤ３のタイミングをピク
セルクロックで制御しながら画像バスへ出力する。

【００７４】以上説明したように、第２の実施の形態の
画像処理装置２は、入力バスＢｉで接続されて入力画像
データＤ１を格納制御し、出力バスＢｏで接続されて画
像処理データＤ２を格納制御する格納領域制御手段２４
を用いて、画像処理を行う構成とした。これにより、入
出力のバスを分離できるので、コンフリクトの発生をな
くし、装置の品質及び信頼性の向上を図ることが可能に
なる。

【００７５】次に第３の実施の形態の画像処理装置につ
いて説明する。図１４は第３の実施の形態の画像処理装
置の原理図である。ホスト２００を除く図の各構成要素
からなる画像処理装置３は、画像入力処理、画像処理、
画像出力処理の同時並列処理を行う。

【００７６】入力画像信号格納手段３１は、入力された
画像信号を格納して、入力画像データＤ１として時分割
で出力する。画像信号処理手段３２は、入力画像データ
Ｄ１を時分割で画像処理して画像処理データＤ２を生成
し、画像処理データＤ２を出力する。

【００７７】出力画像信号格納手段３３は、画像処理デ
ータＤ２を格納して、出力画像データＤ３として外部出
力する。入力画像データ格納手段３６は、一方が入力画
像データＤ１を格納している場合は、他方が格納済みの
入力画像データＤ１を画像信号処理手段３２に出力する
ダブルバッファ構造をとる。

【００７８】入出力インタフェース手段３７は、入力画
像データ格納手段３６から画像信号処理手段３２への入
力画像データＤ１の入力インタフェース、画像信号処理
手段３２から出力画像信号格納手段３３への画像処理デ
ータＤ２の出力インタフェースを行う。

【００７９】また、データ切替え制御手段３５は、画像
信号処理手段３２へ送信される、入力画像データＤ１ま
たはワークステーション等のホスト２００からの設定デ
ータＤ４の切替え制御を行う。さらに、画像処理手段３
２からホスト２００への通知データＤ５の送信制御を行
う。

【００８０】次に画像処理装置３の具体的な構成及び動
作について説明する。図１５は画像処理装置３の構成を
示す図である。ＤＳＰ３０は、画像信号処理手段３２に
該当するＣＰＵ３２ａを内部に含み、図１３で説明した
内部データメモリ２４ａを内部に持たない。そして、フ
レームメモリＡ／Ｂ３６ａは、入力画像データ格納手段
３６に該当する。

【００８１】また、入力ＦＩＦＯ３１ａと入力ＦＩＦＯ
制御部３１ｂは入力画像信号格納手段３１に該当し、出
力ＦＩＦＯ３３ａと出力ＦＩＦＯ制御部３３ｂは出力画
像信号格納手段３３に該当する。さらに、データ切替え
制御手段３５は、ゲート回路３５ａで構成される。

【００８２】第３の実施の形態では、内部データメモリ
２４ａの代わりに、フレーム単位でダブルバッファ可能
なフレームメモリＡ／Ｂ３６ａに変更して、フレーム単
位での並列動作をする。

【００８３】この場合、入出力インタフェース手段３７
でコンフリクトの発生の可能性があるため、画像入出力
データの転送速度を２〜３倍に上げ、時分割で転送する
ことによりコンフリクトを避ける。

【００８４】例えば、画像入力をフレーム時間の最初の
１／３の時間で転送し、次の１／３でＤＳＰ３０の画像
処理を行い、最後の１／３の時間で出力ＦＩＦＯ３３ａ
へ出力するようにタイミングをプログラムして動作させ
る。

【００８５】このように、第３の実施の形態では、内部
データメモリ２４ａを持たないＤＳＰ３０に対し、時分
割で動作させることにより、インタフェース部でのコン
フリクトを発生させずに高速に動作させることが可能に
なる。

【００８６】次に第４の実施の形態について説明する。
図１６は第４の実施の形態の画像処理装置の原理図であ
る。画像処理装置４は、画像処理の速度が要求性能に間
に合わない場合に、画像信号の分割処理及び合成を行っ
て処理速度を高める。

【００８７】画像信号分割手段４１は、画像信号を分割
する。ここでは２系統の分割を行うものとする。第１の
分割処理信号生成手段４２ａは、２系統に分割された画
像信号の一方を画像処理して、第１の分割処理信号Ｄａ
を生成する。

【００８８】第２の分割処理信号生成手段４２ｂは、２
系統に分割された画像信号の他方を画像処理して、第２
の分割処理信号Ｄｂを生成する。第１の分割処理信号格
納手段４３ａは、一方が第１の分割処理信号Ｄａを格納
している場合は、他方が格納済みの第１の分割処理信号
Ｄａを出力するダブルバッファ構造（フレームメモリＡ
１／Ｂ１）で構成される。

【００８９】第２の分割処理信号格納手段４３ｂは、一
方が第２の分割処理信号Ｄｂを格納している場合は、他
方が格納済みの第２の分割処理信号Ｄｂを出力するダブ
ルバッファ構造（フレームメモリＡ２／Ｂ２）で構成さ
れる。

【００９０】フォーマット変換手段４４は、第１及び第
２の分割処理信号格納手段４３ａ、４３ｂから出力され
た出力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフ
ォーマット変換を行う。

【００９１】次に従来の画像信号の分割処理及び合成に
ついて説明する。図１７は従来の画像信号の分割処理及
び合成を示す図である。２系統に分割された画像分割信
号は、画像処理部４２０ａ、４２０ｂで画像処理が行わ
れる。

【００９２】合成部４４０は、画像処理部４２０ａで処
理された信号と、画像処理部４２０ｂで処理され、１ビ
ットのシリアルの通信ポートＰを介して送信された信号
と、を合成して出力する。

【００９３】このように、従来の合成処理では、１ビッ
トのシリアル通信ポートＰを利用して行っているため
に、データ転送能力が低く、リアルタイムの画像処理を
行うことができなかった。

【００９４】次に本発明の第１及び第２の分割処理信号
格納手段４３ａ、４３ｂ及びフォーマット変換手段４４
について説明する。図１６に示すように、フレームメモ
リＡ１／Ｂ１を交互に切り替えて、第１の分割処理信号
Ｄａの入出力を行う。

【００９５】例えば、フレームメモリＡ１が第１の分割
処理信号Ｄａを入力して格納している場合は、フレーム
メモリＢ１は格納済みの第１の分割処理信号Ｄａをフォ
ーマット変換手段４４に出力する。このような動作をフ
レームメモリＡ１／Ｂ１交互に行う。

【００９６】また、同様にフレームメモリＡ２／Ｂ２を
交互に切り替えて、第２の分割処理信号Ｄｂの入出力を
行う。例えば、フレームメモリＡ２が第１の分割処理信
号Ｄｂを入力して格納している場合は、フレームメモリ
Ｂ２は格納済みの第１の分割処理信号Ｄｂをフォーマッ
ト変換手段４４に出力する。このような動作をフレーム
メモリＡ２／Ｂ２交互に行う。

【００９７】そして、フォーマット変換手段４４は、出
力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフォー
マット変換を行う。なぜなら、画像処理を行うＤＳＰチ
ップで画像信号の合成を行うと、ＤＳＰチップに負担が
かかり、処理速度が遅くなるためである。

【００９８】このように、第１及び第２の分割処理信号
Ｄａ、Ｄｂをそれぞれダブルバッファ構造の第１及び第
２の分割処理信号格納手段４３ａ、４３ｂで格納し、そ
の出力信号Ｄａ１、Ｄｂ１の合成及びフォーマット変換
をハードウェアで行う構成とした。これにより、画像合
成時のフォーマット変換を高速に行うことが可能にな
る。

【００９９】次にフォーマット変換について図１８〜図
２１を用いて説明する。分割された画像信号を合成する
際には、分割パターンに対応したフォーマット変換を行
って、元の画像に戻す必要がある。

【０１００】図１８は分割を行わない場合のフォーマッ
ト変換を示す図である。分割を行わない場合は、出力信
号Ｄａ１のライン配列は図に示すようになる。なお、以
降の説明では、１フレームは４８０本のラインからな
り、奇数フィールドのライン番号を中括弧で囲み、偶数
フィールドのライン番号を小括弧で囲んで表示する。

【０１０１】第１の分割処理信号格納手段４３ａからの
出力信号Ｄａ１を奇数ラインを出力した後に偶数ライン
を出力する。この場合、第２の分割処理信号格納手段４
４ｂからの出力信号Ｄｂ１は無視される。

【０１０２】図１９は１ライン毎に分割した場合のフォ
ーマット変換を示す図である。奇数フィールドを１ライ
ン毎に分割し、その後偶数フィールドを１ライン毎に分
割した場合は、出力信号Ｄａ１、Ｄｂ１のライン配列は
図に示すようになる。

【０１０３】第１の分割処理信号格納手段４３ａからの
出力信号Ｄａ１と、第２の分割処理信号格納手段４３ｂ
からの出力信号Ｄｂ１と、を１ライン毎に交互に出力す
る。図２０は奇数／偶数フィールドに分割した場合のフ
ォーマット変換を示す図である。第１の分割処理信号格
納手段４３ａからの出力信号Ｄａ１を出力し、第２の分
割処理信号格納手段４３ｂからの出力信号Ｄｂ１を出力
して合成する。

【０１０４】図２１は１フレーム画面を上下に分割した
場合のフォーマット変換を示す図である。第１及び第２
の分割処理信号格納手段４３ａ、４３ｂからの出力信号
Ｄａ１、Ｄｂ１の奇数ラインを出力した後に、偶数ライ
ンを出力する。

【０１０５】なお、上記のようなフォーマット変換を行
わず、出力信号Ｄａ１、Ｄｂ１のいずれかだけをそのま
ま出力してもよい。すなわち、第１及び第２の分割処理
信号格納手段４３ａ、４３ｂのいずれか一方からの出力
信号Ｄａ１、Ｄｂ１をライン毎に出力する。

【０１０６】以上説明したように、第４の実施の形態の
画像処理装置４は、２つの分割処理信号をそれぞれダブ
ルバッファ構造の第１及び第２の分割処理信号格納手段
４３ａ、４３ｂで格納し、その出力信号Ｄａ１、Ｄｂ１
の合成及びフォーマット変換をハードウェアで行う構成
とした。これにより、画像合成時のフォーマット変換を
リアルタイムに行うことが可能になる。

【０１０７】次に本発明の画像処理装置を適用した画像
処理ボードについて図２２、２３を用いて説明する。図
２２は画像処理ボードのビデオ部を示す図であり、図２
３は画像処理ボードの画像処理部を示す図である。画像
処理ボード１００は、ビデオ部１１０と画像処理部１２
０からなる。

【０１０８】ビデオ部１１０に対し、ビデオデコーダ１
１１ａはビデオ入力のＡ／Ｄ変換を行い、ビデオエンコ
ーダは１１１ｂはＤ／Ａ変換を行って、処理後の信号を
出力する。

【０１０９】フレームメモリ１１３は、フレーム間引き
部１１２でフレーム間引きされたディジタル画像データ
を２画面分交互に蓄積する。モード選択部１１４は、蓄
積した画像データをフレームメモリ１１３から画像バス
Ｂ１へ出力する形式を１／３０秒毎のノーマル出力／フ
レーム単位での間引き出力／ライン間隔拡張出力の３種
類のモードを選択して出力する。

【０１１０】分割処理信号格納部１１５は、画像バスＢ
２、Ｂ３を通じて２系統からなる画像データを、各２画
面のフレームメモリＡ１／Ｂ１、Ａ２／Ｂ２へ交互に蓄
積する。

【０１１１】フォーマット変換部１１６は、分割処理信
号格納部１１５から出力された画像データからライン毎
に選択してフォーマット変換する。ビデオコントロール
部１１７は、ビデオ部１１０を構成する各処理部の全体
制御を行う。

【０１１２】画像処理部１２０に対し、入力ＦＩＦＯ１
２１ａは、画像バスＢ４からの画像データを１ライン分
入力する。入力ＦＩＦＯ制御部１２１ｂは、入力ＦＩＦ
Ｏ１２１ａを制御するとともにＤＳＰ１２３へ水平／垂
直同期割り込みを行う。

【０１１３】出力ＦＩＦＯ１２２ａは、処理後の画像デ
ータを１ライン分入力して画像バスＢ５へ出力する。出
力ＦＩＦＯ制御部１２２ｂは、出力ＦＩＦＯ１２２ａを
制御する。

【０１１４】ＤＳＰ１２３は、複数バンクの内部データ
メモリ１２３ａとＨＰＩ１２３ｂを有し画像処理を実行
する。ワーク／プログラムメモリ１２４は、プログラム
の記憶、ワーク領域またはフレームメモリＡ／Ｂとして
使用できる。

【０１１５】ゲート回路１２５はＤＳＰ１２３のＨＰＩ
１２３ｂへアクセスするポートを入力ＦＩＦＯ１２１ａ
側またはホスト２００側に切り替える。ＤＳＰコントロ
ール部１２６は、画像処理部１２０を構成する各処理部
の全体制御を行う。

【０１１６】以上説明したように、本発明の画像処理装
置を適用した画像処理ボード１００は、対象物の高速検
知、画像バス上に発生するコンフリクトの低減及び画像
の高速合成処理を行うことが可能になる。

【０１１７】

【発明の効果】以上説明したように、本発明の画像処理
装置は、画像信号のラインの間隔を拡張して、ライン処
理をパイプライン制御で行う構成とした。これにより、
画像処理速度を向上させ、対象物の存在を高速に検知す
ることが可能になる。

【０１１８】また、本発明の画像処理装置は、入力バス
で接続されて入力画像データを格納制御し、出力バスで
接続されて画像処理データを格納制御する格納領域制御
手段を用いて、画像処理を行う構成とした。これによ
り、入出力のバスを分離できるので、コンフリクトの発
生をなくし、装置の品質及び信頼性の向上を図ることが
可能になる。

【０１１９】さらに、本発明の画像処理装置は、２つの
分割処理信号をそれぞれダブルバッファ構造の第１及び
第２の分割処理信号格納手段で格納し、その出力信号の
合成及びフォーマット変換をハードウェアで行う構成と
した。これにより、画像合成時のフォーマット変換を高
速に行うことが可能になる。

【図面の簡単な説明】

【図１】第１の実施の形態の画像処理装置の原理図であ
る。

【図２】ライン間隔拡張波形のタイムシーケンスを示す
図である。

【図３】ライン間隔が拡張された場合のフレーム波形の
タイムシーケンスを示す図である。

【図４】フレーム処理を行う場合の画像処理構成を示す
図である。

【図５】図４のタイムシーケンスを示す図である。

【図６】ライン処理を行う場合の画像処理構成を示す図
である。

【図７】図６のタイムシーケンスを示す図である。

【図８】ライン間隔拡張を行う際のフレームメモリを示
す図である。

【図９】ライン間隔拡張を行う際の内部データメモリを
示す図である。

【図１０】ライン処理とフレーム処理を複合して行う場
合の画像処理構成を示す。

【図１１】図１０のタイムシーケンスを示す図である。

【図１２】第２の実施の形態の画像処理装置の原理図で
ある。

【図１３】画像処理装置の構成を示す図である。

【図１４】第３の実施の形態の画像処理装置の原理図で
ある。

【図１５】画像処理装置の構成を示す図である。

【図１６】第４の実施の形態の画像処理装置の原理図で
ある。

【図１７】従来の画像信号の分割処理及び合成を示す図
である。

【図１８】分割を行わない場合のフォーマット変換を示
す図である。

【図１９】１ライン毎に分割した場合のフォーマット変
換を示す図である。

【図２０】奇数／偶数フィールドに分割した場合のフォ
ーマット変換を示す図である。

【図２１】１フレーム画面を上下に分割した場合のフォ
ーマット変換を示す図である。

【図２２】画像処理ボードのビデオ部を示す図である。

【図２３】画像処理ボードの画像処理部を示す図であ
る。

【符号の説明】

１画像処理装置１１ライン間隔拡張手段１２ａ〜１２ｎ画像処理手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者塩原守人神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内Ｆターム(参考） 5B057 BA02 CA12 CA16 CB12 CB16 CC01 CD07 CH05 CH11 CH14 5B061 FF01 GG01 RR03

Claims

【特許請求の範囲】

【請求項１】画像信号をリアルタイムで処理する画像
処理装置において、前記画像信号のフレーム処理を行った場合、リアルタイ
ムに処理するためにフレームを間引いた際に、前記画像
信号のラインの間隔を前記フレームを間引いた数だけ拡
張するライン間隔拡張手段と、間隔が拡張された前記ラインのライン処理をパイプライ
ン制御で行う複数の画像処理手段と、を有することを特徴とする画像処理装置。
【請求項２】前記ライン間隔拡張手段は、ダブルバッ
ファ構造のフレームメモリで前記画像信号を格納した
後、前記ラインの間隔を拡張して出力することを特徴と
する請求項１記載の画像処理装置。
【請求項３】前記ライン間隔拡張手段は、１フレーム
を格納できるＦＩＦＯで前記画像信号を格納した後、前
記ラインの間隔を拡張して出力することを特徴とする請
求項１記載の画像処理装置。
【請求項４】前記画像処理手段は、前記ライン処理と
前記フレーム処理を複合して行うことを特徴とする請求
項１記載の画像処理装置。
【請求項５】画像信号を処理する画像処理装置におい
て、入力された前記画像信号を格納して、入力画像データと
して出力する入力画像信号格納手段と、前記入力画像データを画像処理して、画像処理データを
生成する画像信号処理手段と、前記画像処理データを格納して、出力画像データとして
外部出力する出力画像信号格納手段と、前記入力画像信号格納手段と入力バスで接続され、一方
が前記入力画像データを格納している場合は、他方が格
納済みの前記入力画像データを前記画像信号処理手段に
出力するダブルバッファ構造の入力側格納領域部と、前
記出力画像信号格納手段と出力バスで接続され、一方が
前記画像処理データを格納している場合は、他方が格納
済みの前記画像処理データを前記出力画像信号格納手段
に出力するダブルバッファ構造の出力側格納領域部と、
から構成される格納領域制御手段と、を有することを特徴とする画像処理装置。
【請求項６】前記画像信号処理手段と前記格納領域制
御手段は、１つのプロセッサ内に含まれることを特徴と
する請求項５記載の画像処理装置。
【請求項７】前記画像信号処理手段へ送信される、前
記入力画像データまたはホストからの設定データの切替
え制御、あるいは前記画像信号処理手段から前記ホスト
へ送信される通知データの送信制御を行うデータ切替え
制御手段をさらに有することを特徴とする請求項５記載
の画像処理装置。
【請求項８】画像信号を処理する画像処理装置におい
て、入力された前記画像信号を格納して、入力画像データと
して時分割で出力する入力画像信号格納手段と、前記入力画像データを時分割で画像処理して画像処理デ
ータを生成して出力する画像信号処理手段と、前記画像処理データを格納して、出力画像データとして
外部出力する出力画像信号格納手段と、一方が前記入力画像データを格納している場合は、他方
が格納済みの前記入力画像データを前記画像信号処理手
段に出力するダブルバッファ構造の入力画像データ格納
手段と、前記入力画像データ格納手段から前記画像信号処理手段
への前記入力画像データの入力インタフェース、前記画
像信号処理手段から前記出力画像信号格納手段への前記
画像処理データの出力インタフェースを行う入出力イン
タフェース手段と、を有することを特徴とする画像処理装置。
【請求項９】前記画像信号処理手段へ送信される、前
記入力画像データまたはホストからの設定データの切替
え制御、あるいは前記画像信号処理手段から前記ホスト
へ送信される通知データの送信制御を行うデータ切替え
制御手段をさらに有することを特徴とする請求項８記載
の画像処理装置。
【請求項１０】画像信号を処理する画像処理装置にお
いて、前記画像信号を分割する画像信号分割手段と、分割された前記画像信号の一方を画像処理して、第１の
分割処理信号を生成する第１の分割処理信号生成手段
と、分割された前記画像信号の他方を画像処理して、第２の
分割処理信号を生成する第２の分割処理信号生成手段
と、一方が前記第１の分割処理信号を格納している場合は、
他方が格納済みの前記第１の分割処理信号を出力するダ
ブルバッファ構造の第１の分割処理信号格納手段と、一方が前記第２の分割処理信号を格納している場合は、
他方が格納済みの前記第２の分割処理信号を出力するダ
ブルバッファ構造の第２の分割処理信号格納手段と、前記第１及び第２の分割処理信号格納手段から出力され
た出力信号をハードウェアで合成してフォーマット変換
を行うフォーマット変換手段と、を有することを特徴とする画像処理装置。
【請求項１１】前記フォーマット変換手段は、前記第
１及び第２の分割処理信号格納手段のいずれか一方から
の前記出力信号をライン毎に出力することを特徴とする
請求項１０記載の画像処理装置。
【請求項１２】前記フォーマット変換手段は、前記第
１及び第２の分割処理信号格納手段のいずれか一方から
の前記出力信号に対し、奇数ラインを出力した後に偶数
ラインを出力して、前記フォーマット変換を行うことを
特徴とする請求項１０記載の画像処理装置。
【請求項１３】前記フォーマット変換手段は、前記第
１の分割処理信号格納手段からの前記出力信号と、前記
第２の分割処理信号格納手段からの前記出力信号と、を
ライン毎に交互に出力して、前記フォーマット変換を行
うことを特徴とする請求項１０記載の画像処理装置。
【請求項１４】前記フォーマット変換手段は、前記第
１の分割処理信号格納手段からの前記出力信号をライン
毎に出力した後、前記第２の分割処理信号格納手段から
の前記出力信号をライン毎に出力して、前記フォーマッ
ト変換を行うことを特徴とする請求項１０記載の画像処
理装置。
【請求項１５】前記フォーマット変換手段は、前記第
１及び第２の分割処理信号格納手段の両方からの前記出
力信号に対し、奇数ラインを出力した後に偶数ラインを
出力して、前記フォーマット変換を行うことを特徴とす
る請求項１０記載の画像処理装置。