JP2000123154A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ニューラルネット画像処理部を有する画像処
理装置において、得られた画像情報について正確且つ伝
達情報量の多い画像を提供すべく性能の高い画像処理を
行うことを可能とする。 【解決手段】 複数の人工的神経素子を層構造をなすよ
うに結合してニューラルネットワークを構成し、原画像
供給部１からの画像データを入力して画像処理を行うニ
ューラルネット画像処理部２で処理され出力された画像
情報を、該ニューラルネット画像処理部２の入力部へ再
び取り込み、この画像情報を用いて画像処理をさせるこ
とにより、光或いはＸ線などを含めた電磁波又は超音波
などの情報キャリアを物体に照射或いは透入し、この情
報キャリアの変化を計測して得られた画像情報につい
て、正確且つ伝達情報量の多い画像を提供すべく性能の
高い画像処理を行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光或いはＸ線など
を含めた電磁波又は超音波などの情報キャリアを物体に
照射或いは透入し、この情報キャリアの変化を計測して
画像情報を得る各種の医用画像診断装置、放送用映像処
理装置、産業用画像処理装置又は民生用画像撮影表示装
置などの画像処理装置に関し、特に、上記得られた画像
情報について正確且つ伝達情報量の多い画像を提供すべ
く性能の高い画像処理を行うことができる画像処理装置
に関する。

【０００２】

【従来の技術】従来のこの種の画像処理装置は、対象画
像の画像データを出力する原画像供給部と、複数の人工
的神経素子を層構造をなすように結合してニューラルネ
ットワークを構成し上記原画像供給部からの画像データ
を入力して画像処理を行うニューラルネット画像処理部
と、このニューラルネット画像処理部で処理された画像
情報を入力して表示又は記憶する画像表示記憶部と、を
有して成っていた。そして、上記原画像供給部から処理
対象の画像データが出力され、その画像データは予め学
習により画像処理動作が決定されたニューラルネット画
像処理部に入力され、このニューラルネット画像処理部
において予め学習により決定された画像処理動作により
上記画像データについて画像処理が行われ、処理後の画
像データが画像表示記憶部で表示又は記憶されるように
なっていた。

【０００３】

【発明が解決しようとする課題】しかし、このような従
来の画像処理装置においては、上記ニューラルネット画
像処理部に供給される画像データは原画像供給部から出
力される画像データのみであり、また該ニューラルネッ
ト画像処理部から出力される画像データは画像表示記憶
部に供給されて表示又は記憶されるのみであった。即
ち、上記ニューラルネット画像処理部から出力された画
像データを再度用いて画像処理することはなかった。こ
のように、上記ニューラルネット画像処理部では、原画
像供給部から出力される画像データのみを利用した画像
処理を行っていたため、入力される情報量が少なく画像
処理の性能が高いとは言えなかった。

【０００４】例えば、ニューラルネット画像処理部が原
画像供給部から出力される画像データのノイズを低減す
る画像処理を行うものとして学習により実現され、該ニ
ューラルネット画像処理部が入力画像のデータのノイズ
を二分の一に低減するものとすると、従来の画像処理装
置を用いた場合は、画像データのノイズは常に二分の一
にしかならず、ノイズがまだ残った画像データのまま画
像表示記憶部に供給されて表示又は記憶されていた。こ
のように、ノイズがまだ残った画像では、その伝達情報
量は少なく、正確に画像情報を伝えることができないも
のであった。

【０００５】そこで、本発明は、このような問題点に対
処し、得られた画像情報について正確且つ伝達情報量の
多い画像を提供すべく性能の高い画像処理を行うことが
できる画像処理装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明による画像処理装置は、対象画像の画像デー
タを出力する原画像供給部と、複数の人工的神経素子を
層構造をなすように結合してニューラルネットワークを
構成し上記原画像供給部からの画像データを入力して画
像処理を行うニューラルネット画像処理部と、このニュ
ーラルネット画像処理部で処理された画像情報を入力し
て表示又は記憶する画像表示記憶部と、を有して成る画
像処理装置において、上記ニューラルネット画像処理部
で処理され出力された画像情報を該ニューラルネット画
像処理部の入力部へ再び取り込み、この画像情報を用い
て画像処理をさせるようにしたものである。

【０００７】また、上記ニューラルネット画像処理部の
入力部へ取り込む画像情報は、該ニューラルネット画像
処理部へ入力された時系列画像データにおいて隣接する
画像間の時間間隔だけずれた過去の画像データとしたも
のである。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を添付
図面に基づいて説明する。図１は本発明による画像処理
装置の実施の形態を示すブロック図である。この画像処
理装置は、光或いはＸ線などを含めた電磁波又は超音波
などの情報キャリアを物体に照射或いは透入し、この情
報キャリアの変化を計測して画像情報を得るもので、例
えば各種の医用画像診断装置、放送用映像処理装置、産
業用画像処理装置又は民生用画像撮影表示装置などであ
り、図１に示すように、原画像供給部１と、ニューラル
ネット画像処理部２と、画像表示記憶部３とを有し、更
に出力画像記憶部４を備えて成る。

【０００９】上記原画像供給部１は、対象画像の画像デ
ータを出力するもので、例えばＸ線撮影装置又は超音波
断層装置又はＸ線ＣＴ装置又は核医学イメージング装置
或いは磁気共鳴イメージング装置などの医用画像診断装
置、放送用映像処理装置、産業用画像処理装置又は民生
用画像撮影表示装置等において物体を計測又は撮影する
計測部、或いは物体について計測した画像データを記憶
しておき必要に応じて読み出す記憶部などである。

【００１０】また、ニューラルネット画像処理部２は、
上記原画像供給部１から出力された画像データを入力し
て画像処理を行うもので、複数の人工的神経素子を層構
造をなすように結合してニューラルネットワークに構成
されている。

【００１１】さらに、画像表示記憶部３は、上記ニュー
ラルネット画像処理部２で処理された画像情報を入力し
て表示又は記憶するするもので、例えばテレビモニタ又
はプリンタ或いは画像情報を記憶しておき必要に応じて
読み出す記憶装置等から成る。

【００１２】ここで、本発明においては、上記ニューラ
ルネット画像処理部２と並列に出力画像記憶部４が設け
られている。この出力画像記憶部４は、上記ニューラル
ネット画像処理部２で処理され出力された画像情報を該
ニューラルネット画像処理部２の入力部へ再び取り込
み、この画像情報を用いて画像処理をさせるためのもの
で、ニューラルネット画像処理部２からの出力画像デー
タを記憶しておき、予め定められた規則に基づき該ニュ
ーラルネット画像処理部２へ入力するように構成されて
おり、例えばデータを記憶し保持し読み出す記憶装置か
ら成る。

【００１３】図２は、図１で示した本発明の構成の一部
を更に詳細に示した説明図である。図２において、符号
２はニューラルネット画像処理部の内部構成を示してお
り、符号４は出力画像記憶部を示し、符号５は原画像供
給部１から出力された原画像データを示し、符号６は上
記ニューラルネット画像処理部２で画像処理され出力さ
れた処理画像データを示している。

【００１４】上記原画像供給部１から出力された原画像
データ５は、この例では時系列画像データが示してあ
り、図中の符号ｘは画像の横軸座標、符号ｙは画像の縦
軸座標、符号ｔは時間軸座標を示しており、符号Ｔは隣
接する画像同士の間の時間間隔、即ち画像フレームの間
隔を示している。なお、上記原画像データ５は、２次元
画像データの時間的な並びである時系列画像データ（横
軸と縦軸と時間軸とを持つ情報）とは限らない。即ち、
２次元画像データを奥行き方向に並べた３次元画像（横
軸と縦軸と奥行き軸とを持つ情報）や、センサの特性
（例えば解像度や濃度特性）を変えて撮影した２次元画
像の並びや、異種センサにより撮影された複数の２次元
画像を含むものである。

【００１５】上記ニューラルネット画像処理部２は、入
力画像記憶部７，７，…と、ニューラルネットワーク８
と、制御部９とから成る。入力画像記憶部７は、前記原
画像供給部１から出力された原画像データ５を記憶して
おき、制御部９による制御により定められた画像データ
を適宜読み出すもので、例えば記憶装置から成る。

【００１６】ニューラルネットワーク８は、上記原画像
供給部１から少なくとも注目画素を含む所定領域の時系
列画像データを入力して画像処理を行うと共に上記注目
画素に対応するデータを出力するもので、複数の人工的
神経素子（以下「ニューロンモデル」という）１０を入
力層１１及び中間層１２並びに出力層１３の層構造をな
すように結合してネットワークを構成しており、信号処
理及び情報処理の機能を実現するように構成されてい
る。

【００１７】なお、図２において、入力層１１の各ニュ
ーロンモデル１０は中間層１２の全てのニューロンモデ
ル１０とそれぞれ結合されている。また、中間層１２の
各ニューロンモデル１０は出力層１３の全てのニューロ
ンモデル１０とそれぞれ結合されている。そして、入力
層１１の各ニューロンモデル１０には、入力画像記憶部
７から出力された画像データが供給され、この画像デー
タが各ニューロンモデル１０の変換作用により変換処理
されるようになっている。

【００１８】図３は上記ニューラルネットワーク８を構
成するニューロンモデル１０を示す説明図である。図に
示すように、ニューロンモデル１０は生物の神経素子
（ニューロン）の働きを模した多入力一出力の素子で、
入力数をｎとすると、入力Ｉi（Ｉ₁〜Ｉn）と結合係数
Ｗij（Ｗ₁j〜Ｗnj）の積和により出力Ｏjが決定され
る。即ち、応答関数ｆ(ｘ）を用いて次式のように出力
が決定される。 ただし、Ｗ₀jはしきい値に相当する応答関数のオフセッ
トである。

【００１９】図４は上記ニューロンモデル１０の構成を
示す説明図である。このニューロンモデル１０は、複数
個のメモリ１４，１４，…と、複数個の乗算器１５，１
５，…と、加算器１６と、関数変換部１７とから成る。
メモリ１４は、結合係数Ｗijを記憶するもので、この記
憶した結合係数Ｗijを乗算器１５又は加算器１６に出力
するようになっている。乗算器１５は、入力Ｉiと上記
メモリ１４から出力される結合係数Ｗijとの積を計算す
るもので、その計算結果を加算器１６に出力するように
なっている。また、加算器１６は、一つのメモリ１４か
ら出力された結合係数Ｗ₀jと複数個の乗算器１５，１
５，…からの出力とを加算するもので、その加算結果を
関数変換部１７に出力するようになっている。さらに、
関数変換部１７は、上記加算器１６からの出力データを
前記応答関数ｆ(ｘ）に基づいて変換するもので、その
応答関数ｆ(ｘ）の入出力の変換関係を記憶しておくテ
ーブルメモリ等の記憶装置又は演算器から成る。

【００２０】このように構成されたニューロンモデル１
０は、入力信号Ｉiを変換処理して出力Ｏjを出力し、こ
のニューロンモデル１０が集まったニューラルネットワ
ーク８は、上記個々のニューロンモデル１０の複合作用
により複雑な情報処理や信号処理を行うようになってい
る。

【００２１】ここで、図２に示すニューラルネットワー
ク８の入力層１１及び出力層１３において、応答関数ｆ
(ｘ）として次式に示すような恒等関数が用いられてい
る。 ｆ(ｘ）＝ｘ これにより、入力がそのまま出力される。なお、この恒
等関数の代わりに線形関数や他の関数を用いて入力デー
タに変調をかけてもよい。

【００２２】また、上記ニューラルネットワーク８の中
間層１２の応答関数ｆ(ｘ）として次式のシグモイド関
数が用いられている。 このように、中間層１２にシグモイド関数などの非線形
関数を用いることにより、ニューラルネットワーク８
は、複雑な非線形変換処理をも扱うことができる。

【００２３】図２に示す制御部９は、前記入力画像記憶
部７及び出力画像記憶部４に接続され、該入力画像記憶
部７及び出力画像記憶部４に記憶されている画像データ
から定められた画像データを同期してニューラルネット
ワーク８に供給するように制御するものである。

【００２４】そして、図２において、出力画像記憶部４
は、上記ニューラルネットワーク８から出力される処理
画像データ６を記憶しておき、この処理画像データ６を
予め定められた規則に基づき、ニューラルネット画像処
理部２内の一つの入力画像記憶部７へ再び取り込み、ニ
ューラルネットワーク８の入力層１１内の一つのニュー
ロンモデル１０へ入力するように構成されている。この
ように、処理画像データ６を再びニューラルネットワー
ク８に入力するように構成することにより、上記ニュー
ラルネットワーク８で変換処理された出力画像データ及
び原画像供給部１から供給される画像データの両方を用
いることができ、ニューラルネットワーク８へ入力され
る情報量が増えるため、多くの情報を利用した高い性能
の画像処理を行うことができる。更に、この構成によ
り、上記出力された処理画像データ６に施される画像処
理効果が、その処理画像データ６の再度の利用によりそ
の後の出力画像に蓄積され、より性能の高い画像処理を
行うことができる。

【００２５】次に、このように構成された画像処理装置
において、性能の高い変換処理を行う動作について説明
する。まず、図１において、原画像供給部１から情報キ
ャリアを対象の物体に照射或いは透入し、この情報キャ
リアの変化を計測して得られた画像情報が上記原画像供
給部１から出力される。これは、例えばＸ線撮影装置又
は超音波断層装置又はＸ線ＣＴ装置又は核医学イメージ
ング装置或いは磁気共鳴イメージング装置などの医用画
像診断装置、放送用映像処理装置、産業用画像処理装置
又は民生用画像撮影表示装置等により、実際に計測され
たデータでもよいし、或いは対象の物体について計測し
た画像データを記憶しておき必要に応じて読み出しても
よい。

【００２６】次に、上記原画像供給部１から出力された
画像データは、ニューラルネット画像処理部２へ入力さ
れる。このニューラルネット画像処理部２では、予め学
習されたニューラルネットワーク８により画像処理が行
われる。次に、上記ニューラルネット画像処理部２から
出力された画像データは、画像表示記憶部３及びに出力
画像記憶部４に供給される。画像表示記憶部３では、上
記ニューラルネット画像処理部２で処理され出力された
画像情報を表示又は記憶する。記憶した場合は、その記
憶された画像データを他の装置に適宜供給して利用に供
する。また、出力画像記憶部４では、上記ニューラルネ
ット画像処理部２で処理され出力された画像情報を記憶
しておき、その画像情報を定められた規則に基づき該ニ
ューラルネット画像処理部２の入力部へ再び入力する。

【００２７】次に、上記ニューラルネット画像処理部２
及び出力画像記憶部４の詳しい動作を、図２を参照して
説明する。まず、入力画像記憶部７では、前記原画像供
給部１から出力された原画像データ５が記憶され、制御
部９により予め定められた規則に基づき原画像データ５
が制御される。この例では、少なくとも注目画素１８を
含む所定領域１９の画像データをニューラルネットワー
ク８に供給する。

【００２８】ここで、上記原画像データ５において、座
標ｘ，ｙ，ｔにおける注目画素１８の画像データをｇ
(x,y,t)とし、少なくとも注目画素１８を含む所定領域
１９をＲkとすると、上記ニューラルネットワーク８に
供給される少なくとも注目画素１８を含む所定領域１９
の画像データＩＯx,y,tは、次式のベクトルとして表す
ことができる。 ＩＯx,y,t＝{ｇ(x-i,y-j,t-k)|i,j,k∈Ｒk}

【００２９】そして、上記ニューラルネットワーク８
は、入力画像記憶部７からの画像データＩＯx,y,tを入
力し、予め学習により決定された結合係数及び応答関数
の変換作用により、信号処理及び情報処理の機能を実現
し、入力された画像データＩＯx,y,tに画像処理が施さ
れ、処理画像データ６として出力される。

【００３０】次に、出力画像記憶部４では、上記ニュー
ラルネットワーク８から出力される処理画像データ６を
記憶しておき、この処理画像データ６を予め定められた
規則に基づき、ニューラルネット画像処理部２内の一つ
の入力画像記憶部７へ再び取り込み、ニューラルネット
ワーク８の入力層１１内の一つのニューロンモデル１０
へ入力する。この例では、原画像供給部１から出力され
る原画像データ５は時系列画像データであり、ニューラ
ルネット画像処理部２では動画像処理が行われるため、
ここでは動画像処理のための出力データの供給規則を例
に説明する。

【００３１】上記出力画像記憶部４で記憶される画像デ
ータは、一定時間Ｔだけ記憶され上述のようにしてニュ
ーラルネットワーク８に供給される。即ち、ニューラル
ネットワーク８には、次式の入力ベクトルが供給され
る。Ｉx,y,t＝{ｇ(x-i,y-j,t-k),ＮＮ(Ｉx,y,t-T,Ｗ)|
i,j,k∈Ｒk}ただし、ＮＮ(Ｉx,y,t-T,Ｗ)は、Ｉx,y,t-T
を入力ベクトル、Ｗを結合係数ベクトルとするニューラ
ルネットワーク８の出力であり、言い換えれば、出力画
像記憶部４によりある一定時間Ｔだけ記憶された画像デ
ータである。

【００３２】そして、制御部９では、上記入力画像記憶
部７及び出力画像記憶部４に記憶されている画像データ
のうちから定められた画像データを、上記ニューラルネ
ットワーク８に供給するように制御する。定められた画
像データとは、少なくとも注目画素１８を含む所定領域
１９の画像データ及びそれに対し一定時間Ｔだけずれた
過去の（１フレーム前の）ニューラルネットワーク８の
出力である。ここで、上記定められた画像データを入力
ベクトルＩx,y,tとし、予め学習により決定された結合
係数ベクトルをＷとしたとき、ニューラルネットワーク
８は、次式の出力画像データｆ(x,y,t)を出力する。 ｆ(x,y,t)＝ＮＮ(Ｉx,y,t，Ｗ)

【００３３】この出力画像データｆ(x,y,t)を用いて、
ニューラルネットワーク８への入力ベクトルＩx,y,tを
書き直すと、次式のようになる。Ｉx,y,t＝{ｇ(x-i,y-
j,t-k),ｆ(x,y,t-T)|i,j,k∈Ｒk}つまり、注目画素１８
のデータと、時空間的近接画素の時空間画像データと、
一定時間Ｔだけ過去の（１フレーム前の）ニューラルネ
ットワーク８の出力ｆ(x,y,t-T)とを入力し、上記注目
画素１８に対応する画素２０の画像データｆ(x,y,t)を
出力する。なお、上記の一定時間Ｔは、図２に示すよう
に、時系列画像データにおいて隣接する２次元画像間の
時間的間隔である。

【００３４】このように、１フレーム間隔だけ過去の画
像処理された後の出力画像データを再度ニューラルネッ
トワーク８に入力することにより、該ニューラルネット
ワーク８で既に処理された画像データ６及び原画像供給
部１から供給される画像データ５の両方を用いるため、
情報量が増し高い性能の画像処理を行うことができる。
さらに、処理時間が経過するにしたがって、画像処理効
果がニューラルネットワーク８から出力される処理画像
データ６に蓄積し、より性能の高い画像処理を行うこと
ができる。

【００３５】その後、上記ニューラルネットワーク８に
より画像処理された画像データは、制御部９により位置
及び時間が制御され、注目画素１８に対応する画素２０
の画像データが出力され、図１に示す画像表示記憶部３
に供給される。

【００３６】

【発明の効果】本発明は以上のように構成されたので、
複数の人工的神経素子を層構造をなすように結合してニ
ューラルネットワークを構成し、原画像供給部からの画
像データを入力して画像処理を行うニューラルネット画
像処理部で処理され出力された画像情報を、該ニューラ
ルネット画像処理部の入力部へ再び取り込み、この画像
情報を用いて画像処理をさせることにより、光或いはＸ
線などを含めた電磁波又は超音波などの情報キャリアを
物体に照射或いは透入し、この情報キャリアの変化を計
測して得られた画像情報について、正確且つ伝達情報量
の多い画像を提供すべく性能の高い画像処理を行うこと
ができる。

【図面の簡単な説明】

【図１】本発明による画像処理装置の実施の形態を示す
ブロック図である。

【図２】図１で示した本発明の構成の一部を更に詳細に
示した説明図である。

【図３】ニューラルネットワークを構成するニューロン
モデルを示す説明図である。

【図４】上記ニューロンモデルの構成を示す説明図であ
る。

【符号の説明】

１…原画像供給部 ２…ニューラルネット画像処理部 ３…画像表示記憶部 ４…出力画像記憶部 ５…原画像データ ６…処理画像データ ７…入力画像記憶部 ８…ニューラルネットワーク ９…制御部 １０…人工的神経素子（ニューロンモデル） １１…入力層 １２…中間層 １３…出力層 １８…注目画素

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA08 AA09 BA02 BA03 BA05 BA06 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CE20 5L096 BA06 DA01 HA11

Claims (2)

【特許請求の範囲】
1. 【請求項１】 対象画像の画像データを出力する原画像
   供給部と、 複数の人工的神経素子を層構造をなすように結合してニ
   ューラルネットワークを構成し上記原画像供給部からの
   画像データを入力して画像処理を行うニューラルネット
   画像処理部と、 このニューラルネット画像処理部で処理された画像情報
   を入力して表示又は記憶する画像表示記憶部と、を有し
   て成る画像処理装置において、 上記ニューラルネット画像処理部で処理され出力された
   画像情報を該ニューラルネット画像処理部の入力部へ再
   び取り込み、この画像情報を用いて画像処理をさせるこ
   とを特徴とする画像処理装置。
2. 【請求項２】 上記ニューラルネット画像処理部の入力
   部へ取り込む画像情報は、該ニューラルネット画像処理
   部へ入力された時系列画像データにおいて隣接する画像
   間の時間間隔だけずれた過去の画像データであることを
   特徴とする請求項１記載の画像処理装置。