JP2010142464A - 画像処理装置および画像入力装置 - Google Patents

Abstract

【課題】電気メスが動作していることを電気メス動作検出回路が検出したときには、必ずカメラモジュールの通信を停止させる。しかし、電気メスが動作していても、カメラモジュールの正常な画像取得には影響を生じない場合もあり、カメラモジュールの通信に対する制御が過剰なものとなっている。正常な画像取得に悪影響を与えないにもかかわらず、カメラモジュールの通信を不必要に停止させてしまう。
【解決手段】撮像素子１１で得られる画像信号をデジタル化するＡＦＥ２２と、ＡＦＥとの間で通信を行い、ＡＦＥによるデジタル画像信号に対して画像処理を行うＤＳＰ２３とを備える。ＤＳＰは、ＡＦＥとの通信を行うもので通信禁止信号を入力したときに通信停止する第１の通信回路２６と、デジタル画像信号に重畳される画像ノイズを検出する画像ノイズ検出回路５０と、画像ノイズが所定の閾値を超えるときに通信禁止信号を第１の通信回路に与える通信制御回路５３とを備える。
【選択図】図２

Description

本発明は、高電圧高周波信号の発生源の近傍で使用されることが予想される機器に搭載される画像処理装置にかかわり、高電圧高周波信号に起因するノイズの悪影響を回避するための技術に関する。特には、高電圧高周波信号を発生する電気メス付きの内視鏡や通信電波の影響を受けやすい携帯電話内蔵カメラに搭載される画像処理装置に関する。

デジタルのカメラモジュール（撮像素子・ＡＦＥ・ＤＳＰ）は、撮像部の小型化に伴って医療・監視など広い分野へ適用されつつある。近年、高画素化・高機能化が進んできており、モジュール内部において、撮像素子で得られたアナログ画像信号をデジタル画像信号に変換するＡＦＥ（アナログフロントエンド）と画像信号処理を行うＤＳＰ（デジタルシグナルプロセッサ）との間の制御信号（露出時間、フレームレートなど）の通信が高速化している。また、カメラモジュールと搭載機器との間の通信も高速化している。

ところで、医療用カメラ（内視鏡）においては、体内へ挿入するカメラモジュールの近傍に高電圧・高周波の電気メスが配置されており、この電気メスの動作によって発生する高電圧高周波信号が、ＤＳＰ−ＡＦＥ間、ＤＳＰ−撮像素子間、ＤＳＰ−プロセッサ間の通信エラーを引き起こす原因になっている。

また、携帯電話内蔵カメラにおいても、携帯電話の発生する高周波電波がカメラモジュール・携帯電話本体間またはカメラモジュール内の通信エラーの原因となっている。

図７は従来の技術における電気メス付き内視鏡の構成を示すブロック図である（例えば特許文献１参照）。この電気メス付き内視鏡は、撮像素子１１が搭載され体内に挿入される撮像部１０と、医師が撮像部１０の挿入やプロセッサ動作を操作する操作部２０と、内視鏡カメラシステム本体としてのプロセッサ３０と、電気メス駆動部４０とから構成されている。撮像素子１１で得られる撮像信号は挿入ケーブル１２を介してＡＦＥ２２へ伝達され、デジタル化される。そのデジタル画像信号はＤＳＰ２３により画像処理されるとともに、延長ケーブル３１を経由してプロセッサ３０へ送信される。ＤＳＰ２３は、プロセッサ３０または操作部２０からの通信によって得られた制御信号（露出時間、フレームレートなど）に応じてＤＳＰ２３自身の動作を調整するとともに、通信によってＡＦＥ２２または撮像素子１１へ制御信号を送信して絶えず最適な制御を行う。

電気メス駆動部４０が動作して電気メス４２の高電圧高周波信号によって患部の切除を実施すると、ＡＦＥ−ＤＳＰ間、ＤＳＰ−撮像素子間、ＤＳＰ−プロセッサ間の通信に高周波信号に起因するノイズが混入し、カメラモジュールが制御不能状態になったり、誤った制御が行われてしまう。最悪の場合、手術中の画像信号が途絶えることにもなりかねない（ブラックアウト）。

撮像部１０・操作部２０・プロセッサ３０からなる内視鏡部分の動作は、電気メス駆動部４０の動作とは非同期であり、内視鏡部分から電気メス４２の動作状態を知ることはできない。したがって、電気メスケーブル４１を通る高周波信号によりモジュール要素間の通信信号にノイズが発生した場合、ＡＦＥ２２や撮像素子１１の誤動作、場合によっては動作停止が生じ、内視鏡から画像出力を得ることができなくなる。

そこで、上記の不都合を回避するため、図７の従来技術では、操作部２０に電気メス動作検出回路８０を設けている。この電気メス動作検出回路８０は、ＤＳＰ２３の近傍の電気信号回路（例えば通信回路）を直接モニタし、電気信号に混入したパルス信号のカウントを通じて電気メス４２の動作・非動作を判定し、電気メス４２が動作していると判定したときにはカメラモジュールの通信を停止させるものである。
特願昭５５−１８５９５２号公報

特許文献１に開示の技術は、電気メス４２が動作していることを電気メス動作検出回路８０が検出したときには、必ずカメラモジュールの通信を停止させるものである。しかし、電気メス４２が動作していても、カメラモジュールの正常な画像取得には影響を生じない場合もある。したがって、従来技術の場合は、カメラモジュールの通信に対する制御が過剰なものとなっているといえる。正常な画像取得に悪影響を与えないにもかかわらず、カメラモジュールの通信を不必要に停止させてしまうからである。

また、操作部２０において新たに搭載した電気メス動作検出回路８０は、操作部２０の大型化を招いている。

本発明は、このような事情に鑑みて創作したものであり、近傍で高周波信号が発生していても、画像信号に影響がないレベルの高周波信号である場合には、可能な限り最適制御を実施できるようにすることを目的としている。

本発明による画像処理装置は、
撮像素子で得られる画像信号をデジタル化するＡＦＥ（アナログフロントエンド）と、
前記ＡＦＥとの間で通信を行い、前記ＡＦＥによるデジタル画像信号に対して画像処理を行うＤＳＰ（デジタルシグナルプロセッサ）とを備え、
前記ＤＳＰは、
前記ＡＦＥとの通信を行うもので通信禁止信号を入力したときに通信を停止する第１の通信回路と、
前記ＡＦＥによるデジタル画像信号に重畳される画像ノイズを検出する画像ノイズ検出回路と、
前記画像ノイズ検出回路が検出する画像ノイズが所定の閾値を超えるときに前記通信禁止信号を生成して前記第１の通信回路に与える通信制御回路とを備えたものである。

この構成において、通信制御回路が通信禁止信号を第１の通信回路に与えるのは、画像ノイズ検出回路が検出した画像ノイズが所定の閾値を超えるときである。これは、電気メス駆動の高周波信号によって電気メスの動作を検出することとは、その意味合いを異にする。不都合なのは、画像信号に画像ノイズが混入して、画像が乱れることである。電気メスが動作しているときに画像ノイズが発生することがあることは経験的に知られていることである。しかし、電気メスが動作しているときは必ず画像ノイズが発生するというものでもない。電気メスが動作していても、画像ノイズが発生しない場合もある。従来技術の場合は、電気メスの動作検出をもって直截に通信を停止させていたがために、過剰な制御となり、不必要に通信を停止させてしまっていた。これに対して、本発明では、画像ノイズを検出したときに限って通信を停止させるという制限を設けているため、画像ノイズが発生しない状態での電気メスの動作は許容することになる。すなわち、画像信号に影響がない高周波信号が発生している場合には、通信の停止が実施されないため、可能な限りの最適制御を実施することが可能である。もちろん、画像ノイズが発生したときには通信を停止して、ＡＦＥの制御を確実なものとすることが可能である。

上記構成の画像処理装置において、前記ＤＳＰは、当該のＤＳＰを制御するプロセッサとの通信を行う第２の通信回路を備えており、前記第２の通信回路は、前記通信制御回路の通信禁止信号によってその動作が禁止されるという態様がある。このように構成すれば、ＡＦＥの制御をさらに確実なものとすることが可能となる。

また上記構成の画像処理装置において、前記ＤＳＰは、当該のＤＳＰを制御するプロセッサとの通信を行う第２の通信回路を備えており、前記通信制御回路は、前記通信禁止信号の出力を前記第２の通信回路を介して前記プロセッサに伝達するという態様がある。この構成によれば、第２の通信回路は、通信の停止を行う前に、電気メス駆動の高周波信号に起因するノイズが発生したことをプロセッサに伝えることが可能となる。

また上記構成の画像処理装置において、前記画像ノイズ検出回路は、注目画素の周辺画素の画素値平均値を算出する周辺画素平均回路と、前記注目画素の画素値と前記周辺画素平均回路による画素値平均値との差分を算出する差分回路とから構成されているという態様がある。この構成によれば、電気メス駆動の高周波信号に起因するノイズの発生を、比較的簡単な構成により、高精度に検出することが可能となる。

また上記構成の画像処理装置において、前記通信制御回路は、前記差分回路による差分が所定の閾値を上回る回数をカウントし、そのカウント値が所定のカウント閾値を超えたときに前記通信禁止信号を出力するという態様がある。この構成によれば、通信禁止信号の信頼性を高いものにすることが可能となる。

また上記構成の画像処理装置において、前記ＤＳＰは、注目画素について前記画像ノイズ検出回路が検出したノイズに相当する画素値を周辺画素の画素値平均値で置き換えることで画像ノイズを除去するノイズ除去回路を備えているという態様がある。この構成によれば、電気メス駆動の高周波信号に起因するデジタル画像信号上のノイズをノイズ除去回路によって除去することができ、その画像ノイズの除去が良好に行われれば、通信の停止は行わなくてもよくなり、作業性を改善することが可能となる。

また上記構成の画像処理装置において、前記通信制御回路は、前記画像ノイズ検出回路によって画像ノイズが検出されなくなったときには、前記通信禁止信号の生成を停止させるとともに、前記第１の通信回路または／および前記第２の通信回路による通信を再開させるという態様がある。この構成によれば、電気メスの動作停止と同時に、第１の通信回路や第２の通信回路の動作再開が可能となり、カメラモジュール（撮像素子・ＡＦＥ・ＤＳＰ）の制御が速やかに再開されるようになる。

なお、上記は、撮像素子で得られる画像信号をデジタル化するＡＦＥと、前記ＡＦＥとの間で通信を行い、前記ＡＦＥによるデジタル画像信号に対して画像処理を行うＤＳＰとを備えた画像処理装置についてであったが、それ以外に、前記ＡＦＥの構成を外したところの、上記のいずれかの構成のＤＳＰを備えた画像入力装置も本発明の対象となる。

なお、上記では、電気メス駆動に起因するノイズに対する有効性を例に挙げたが、携帯電話内蔵カメラにおいて携帯電話の発生する高周波電波に起因するノイズに対しても、本発明は有効である。

本発明によれば、近傍で高周波信号が発生していても、画像信号に影響がないレベルの高周波信号である場合には、通信の停止が実施されないため、可能な限り最適制御を実施することができる。また、カメラモジュール以外に回路搭載の必要がなく、カメラモジュールを搭載した画像処理装置の小型化を図ることができる。

以下、本発明にかかわる画像処理装置の実施の形態を図面を用いて詳細に説明する。なお、以下で説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。

（実施の形態１）
図１は本発明の実施の形態１におけるカメラモジュールを医療用の内視鏡として構成した電気メス付き内視鏡の概略構成を示すブロック図である。この電気メス付き内視鏡は、大きな構成要素として、撮像素子１１を内蔵した撮像部１０と、内視鏡の各部を操作するための操作部２０と、撮像素子１１で得られた画像信号に各種の画像処理を施すプロセッサ３０と、電気メス駆動部４０とを備えている。

撮像部１０に内蔵の撮像素子１１は、被写体の光学像をとらえて画像情報を示す電気信号に変換するもので、ＣＣＤ(Charge Coupled Device)やＭＯＳ（Metal Oxide Semiconductor）のイメージセンサで構成されている。操作部２０は、内視鏡の各部を操作するための操作部材２１と、撮像素子１１で得られたアナログ画像信号をデジタル画像信号に変換するＡＦＥ（アナログフロントエンド）２２と、ＡＦＥ２２および撮像素子１１を制御するＤＳＰ（デジタルシグナルプロセッサ）２３とを備え、ＤＳＰ２３には画像ノイズ検出回路５０が内蔵されている。

操作部２０とプロセッサ３０とは延長ケーブル３１で接続されており、プロセッサ３０は、ＤＳＰ２３を制御して画像信号を表示モニタ（図示せず）へ出力したり、記録媒体（図示せず）に画像データを記録するための制御を行うように構成されている。

撮像部１０と操作部２０とは挿入ケーブル１２で接続されており、撮像素子１１とＡＦＥ２２を結ぶ信号ラインが挿入ケーブル１２に通線されている。電気メス駆動部４０から延出された電気メスケーブル４１が挿入ケーブル１２に通線され、さらに撮像部１０を通ってその先へ患部を切断するためのループ状の電気メス４２が突出する状態で形成されている。電気メスケーブル４１は、電気メス駆動部４０から電気メス４２に対して高周波信号を伝達するものである。電気メス駆動部４０は、フットペダルなどのスイッチ（図示せず）の操作によって数百キロボルトの高電圧高周波信号を発生させ、電気メスケーブル４１を介して電気メス４２に導くようになっている。

ＤＳＰ２３は、常時的にＡＦＥ２２との間で通信を行い、撮像素子１１からＡＦＥ２２を介して出力されるデジタル画像信号を処理するとともに、撮像素子１１による画像信号を最適な状態に保つようにＡＦＥ２２を制御している。例えば、被写体が暗く画像信号のレベルが低い場合には、ＡＦＥ２２に内蔵されたゲイン回路を制御して画像信号のレベルを増大するように制御し、逆に被写体が明るく画像信号のレベルが高い場合には、撮像素子１１の電荷蓄積時間が短くなるようにＡＦＥ２２および撮像素子１１を制御する。これらＡＦＥ２２、撮像素子１１に対する制御信号はプロセッサ３０で生成され、延長ケーブル３１を介してＤＳＰ２３に伝達される場合もある。

電気メス駆動部４０の動作は、撮像部１０・操作部２０・プロセッサ３０からなる内視鏡部分の動作と非同期であり、内視鏡部分から電気メス４２の動作状態を知ることはできない。電気メスケーブル４１を通る高電圧高周波信号により、内視鏡部分の通信信号にノイズが発生した場合、ＡＦＥ２２や撮像素子１１の誤動作、場合によっては動作停止が起き、内視鏡から画像データを得ることができなくなる。この対策のために、画像ノイズ検出回路５０をＤＳＰ２３に内蔵させてある。電気メス駆動部４０の動作で発生する高電圧高周波信号が処理中の画像信号にノイズを混入させることを監視し、画像ノイズ検出結果に応じてＤＳＰ２３の通信回路の制御を行う。

図２は実施の形態１におけるＤＳＰ２３の詳細な構成を示すブロック図である。２４はＣＰＵ（Central Processing Unit）、２５はデジタル画像信号から表示用のデータを生成したり記録用の符号データを生成する画像処理回路、２６はＡＦＥ２２との間の通信を行う第１の通信回路、２７はプロセッサ３０との間の通信を行う第２の通信回路、５１，５２は画像ノイズ検出回路５０の構成要素であって、５１は注目画素について、その周辺画素の画素値平均値を算出する周辺画素平均回路、５２は注目画素の画素値と周辺画素の画素値平均値との差分を表す信号を生成する差分回路、５３は差分信号のレベルに応じて通信禁止信号の生成を制御する通信制御回路である。

ＡＦＥ２２からＤＳＰ２３に入力されたデジタル画像信号は、画像処理回路２５を経由してプロセッサ３０へ伝達される。同時に、画像ノイズ検出回路５０へ入力され、電気メス４２の駆動に起因する画像ノイズの検出が行われる。すなわち、ＤＳＰ２３に入力されたデジタル画像信号は、まず画像ノイズ検出回路５０の前端の周辺画素平均回路５１に入力される。周辺画素平均回路５１によって、図３に示すように、注目画素６０について、その周辺に市松状に配置された同色の画素６１の画素値の平均値が算出される。次に、差分回路５２によって、注目画素６０の画素値と周辺画素６１の平均値との差分信号が生成される。この差分信号は通信制御回路５３に入力され、図４に示すように、その差分信号のレベルに応じて通信禁止信号の生成出力が制御される。すなわち、差分信号が所定レベル未満の場合には電気メス駆動に起因する画像ノイズは発生していないものと判定し、差分信号が所定の閾値以上の場合には電気メス駆動に起因する画像ノイズが発生していると判定する。画像ノイズが検出されると、通信制御回路５３により発生した通信禁止信号が、ＤＳＰ２３に設けられたＡＦＥ２２に対する第１の通信回路２６の動作と、プロセッサ３０に対する第２の通信回路２７の動作を停止させる。これにより、電気メス駆動部４０の動作期間の通信を停止させ、ＡＦＥ２２の制御を確実なものとする。第２の通信回路２７は、通信禁止信号により動作の停止を行う前に、プロセッサ３０に対して電気メス駆動に起因して画像ノイズが発生したことを伝達する。

ＤＳＰ２３に内蔵されたＣＰＵ２４は、プロセッサ３０からの通信信号に応じて、ＡＦＥ・撮像素子の制御信号を生成し、第１の通信回路２６を通じて制御するとともに、撮像素子１１・ＡＦＥ２２・ＤＳＰ２３の動作状態を第２の通信回路２７を経由してプロセッサ３０側へ伝達している。

図５は電気メス駆動部４０の動作中における画像信号出力の概念図である。ここでは、分かりやすくするために、黒い被写体を撮影しているものする。電気メス駆動部４０が高電圧・高周波で動作し、それに起因してノイズが発生したとする。すると、画像信号に電気メス駆動に起因する画像ノイズが重畳され、黒いモニタ画像７０に白い画像ノイズ７１が重畳される。この電気メス駆動に起因する画像ノイズを画像ノイズ検出回路５０によって検出することで、ＡＦＥ２２の制御を確実なものとするのである。

なお、通信制御回路５３は、差分回路５２による差分が所定の閾値を上回る回数をカウントし、そのカウント値が所定のカウント閾値を超えたときに通信禁止信号を生成するように構成されていてもよい。その回数は、１回以上の任意の値であってよい。

通信制御回路５３は、差分回路５２による差分（または所定の閾値を上回る回数のカウント値）が所定以下になった場合、通信禁止信号の発生を停止する。これにより、電気メス４２の動作停止と同時に、第１の通信回路２６と第２の通信回路２７の動作再開が可能となり、再び、カメラモジュール（撮像素子・ＡＦＥ・ＤＳＰ）の制御が実行されるようになる。このとき、ＤＳＰ２３は第２の通信回路２７を経由して、通信禁止信号の停止をプロセッサ３０に伝達してもよい。

（実施の形態２）
図６は本発明の実施の形態２におけるＤＳＰ２３の詳細な構成を示すブロック図である。図６において、実施の形態１の図２におけるのと同じ符号は同一構成要素を指している。図６において、５４はノイズ除去回路であり、このノイズ除去回路５４は、注目画素について画像ノイズ検出回路５０が検出したノイズに相当する画素値を、周辺画素平均回路５１による周辺画素の画素値平均値で置き換えることで画像ノイズを除去するように構成されている。その他の構成については、実施の形態１と同様であるので、説明を省略する。

本実施の形態においては、電気メス４２の動作によって生じたデジタル画像信号上のノイズをノイズ除去回路５４によって除去することができる。その画像ノイズの除去が良好に行われれば、通信の停止は行わなくてもよくなり、作業性を改善することが可能となる。

本発明によって、カメラモジュールにおけるＡＦＥ−ＤＳＰ間の通信、あるいはカメラモジュールと制御用プロセッサ間の通信において、外部要因による通信ノイズによる制御不能状態を回避できることが可能になる。特に、電気メス付き内視鏡において有効である。また、携帯電話内蔵カメラにおいても、外部との高周波無線によるカメラモジュールの誤動作を避けることが可能になる。

本発明の実施の形態１における電気メス付き内視鏡の概略構成を示すブロック図 実施の形態１におけるＤＳＰの詳細な構成を示すブロック図 実施の形態１における画像ノイズ検出回路での注目画素と周辺画素の図 実施の形態１における画像ノイズ検出回路での注目画素値と周辺画素平均値の差分の図 本発明の実施の形態における電気メス動作時の表示モニタ画像の概念図 本発明の実施の形態２におけるＤＳＰの詳細な構成を示すブロック図 従来の技術における電気メス付き内視鏡の概略構成を示すブロック図

符号の説明

１０ 撮像部
１１ 撮像素子
１２ 挿入ケーブル
２０ 操作部
２１ 操作部材
２２ ＡＦＥ（アナログフロントエンド）
２３ ＤＳＰ（デジタルシグナルプロセッサ）
２４ ＣＰＵ
２５ 画像処理回路
２６ 第１の通信回路
２７ 第２の通信回路
３０ プロセッサ
３１ 延長ケーブル
４０ 電気メス駆動部
４１ 電気メスケーブル
４２ 電気メス
５０ 画像ノイズ検出回路
５１ 周辺画素平均回路
５２ 差分回路
５３ 通信制御回路
５４ ノイズ除去回路
６０ 注目画素
６１ 周辺画素
７０ モニタ画像
７１ 電気メス駆動に起因する画像ノイズ

Claims (9)

1. 撮像素子で得られる画像信号をデジタル化するＡＦＥ（アナログフロントエンド）と、
   前記ＡＦＥとの間で通信を行い、前記ＡＦＥによるデジタル画像信号に対して画像処理を行うＤＳＰ（デジタルシグナルプロセッサ）とを備え、
   前記ＤＳＰは、
   前記ＡＦＥとの通信を行うもので通信禁止信号を入力したときに通信を停止する第１の通信回路と、
   前記ＡＦＥによるデジタル画像信号に重畳される画像ノイズを検出する画像ノイズ検出回路と、
   前記画像ノイズ検出回路が検出する画像ノイズが所定の閾値を超えるときに前記通信禁止信号を生成して前記第１の通信回路に与える通信制御回路とを備えた画像処理装置。
2. 前記ＤＳＰは、当該のＤＳＰを制御するプロセッサとの通信を行う第２の通信回路を備えており、前記第２の通信回路は、前記通信制御回路の通信禁止信号によってその動作が禁止される請求項１に記載の画像処理装置。
3. 前記ＤＳＰは、当該のＤＳＰを制御するプロセッサとの通信を行う第２の通信回路を備えており、前記通信制御回路は、前記通信禁止信号の出力を前記第２の通信回路を介して前記プロセッサに伝達する請求項１に記載の画像処理装置。
4. 前記画像ノイズ検出回路は、注目画素の周辺画素の画素値平均値を算出する周辺画素平均回路と、前記注目画素の画素値と前記周辺画素平均回路による画素値平均値との差分を算出する差分回路とから構成されている請求項１から請求項３までのいずれかに記載の画像処理装置。
5. 前記通信制御回路は、前記差分回路による差分が所定の閾値を上回る回数をカウントし、そのカウント値が所定のカウント閾値を超えたときに前記通信禁止信号を出力する請求項４に記載の画像処理装置。
6. 前記ＤＳＰは、注目画素について前記画像ノイズ検出回路が検出したノイズに相当する画素値を周辺画素の画素値平均値で置き換えることで画像ノイズを除去するノイズ除去回路を備えている請求項１から請求項５までのいずれかに記載の画像処理装置。
7. 前記通信制御回路は、前記画像ノイズ検出回路によって画像ノイズが検出されなくなったときには、前記通信禁止信号の生成を停止させるとともに、前記第１の通信回路による通信を再開させる請求項１に記載の画像処理装置。
8. 前記通信制御回路は、前記画像ノイズ検出回路によって画像ノイズが検出されなくなったときには、前記通信禁止信号の生成を停止させるとともに、前記第２の通信回路による通信を再開させる請求項２、請求項３または請求項７に記載の画像処理装置。
9. 請求項１から請求項８までのいずれかに記載のＤＳＰを備えた画像入力装置。

Images