JP2023007599A - 画像処理装置、方法及び画像処理システム - Google Patents

Abstract

【課題】画像内の対象物体を高精度かつ高速に識別する装置、方法およびシステムを提供する。【解決手段】入力画像を受付ける画像入力部２０１と、前記入力画像から特徴量抽出のための画像を生成する画像生成部２０２と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部２０３と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部２０５と、前記識別部が出力する識別結果を出力する出力部２０６と、前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部２０４とを備える。【選択図】図２

Description

本発明は、画像中の物体を識別する画像処理装置、方法及び画像処理システムに関する。

近年、カメラや顕微鏡で撮像した画像の解析のために、深層学習等の機械学習を用いた領域分割や識別が多く利用される。機械学習を用いた識別は、高い識別精度を実現できる一方で、手動設計した特徴量を用いた識別よりも一般的に処理コストが高いという課題がある。リアルタイム性や計算能力の低いデバイスでの実行が求められる場合には、計算量の削減が必要となる。例えば特許文献１には「解像度の低い画像に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域を処理対象領域として解像度の高い画像に対する領域分割を行う」との記載がある。

特開２０１５－１７６２８１号公報

特許文献１に記載の技術では低解像度画像に対する領域分割結果の境界を、高解像度画像から抽出した特徴量を用いて高精度化する手法であるため、低解像度画像の段階で各領域を正しいクラスに分割する必要がある。しかし、入力画像を正しく領域分割あるいは特定のクラスに識別するためには高解像度画像が必要な場合が多々ある。例えば顕微鏡画像による細胞や細菌解析において、各細胞や細菌の状態を正しく推定するためには低解像度画像のみでは判断が難しい。また、顕微鏡画像による半導体向け検査においても、低解像度画像だけでは判断できない異常が含まれる可能性がある。可視光画像を用いた検査においても、例えば局所的に存在する文字やパターンの有無によって領域全体のクラスが決定される場合がある。これらの場合には低解像度画像のみを用いて領域を正しいクラスに分割することは難しく、高解像度画像の特徴を用いて初めてクラスを特定することが可能となる。

そこで本発明は、識別に必要な最低限の特徴量を高速に抽出することで、高精度かつ高速に領域分割や識別処理を行う画像処理装置、方法およびシステムを提供することを目的とする。

上記目的を達成するために本発明で開示される画像処理装置は、画像内の物体を識別する画像処理装置であって、入力画像を受付ける画像入力部と、前記入力画像から特徴量抽出のための画像を生成する画像生成部と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部と、前記識別部が出力する識別結果を出力する出力部と、前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部とを備える。
また、本発明で開示される画像処理方法は、画像内の物体を識別する画像処理方法であって、入力画像を受付ける画像入力ステップと、前記入力画像から特徴量抽出のための画像を生成する画像生成ステップと、前記画像生成ステップにより生成された生成画像から特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにて算出した特徴量を用いて、画像内の物体を検出あるいは識別する識別ステップと、前記識別ステップにて算出した識別結果を出力する出力ステップと、を含み、前記特徴量抽出ステップが出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成ステップにより行わせるとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出ステップによる処理に反映させる特徴量マップ生成ステップをさらに含む。

本発明によれば、画像内の対象物体を高精度かつ高速に識別する装置、方法およびシステムを提供可能となる。

実施例１に係る画像処理装置のハードウェア構成の一例を示す図である。 実施例１に係る画像処理装置の機能ブロック図の一例を示す図である。 特徴量抽出マップの一例を示す図である。 画素単位識別処理の一例を示す図である。 実施例１に係る画像処理方法の処理フローの一例を示す図である。 実施例３に係る画像処理システムのハードウェア構成の一例を示す図である。 物体配置判定における画像処理装置の入力と出力の一例を示す図である。 物体配置検証結果の表示例を示す図である。 物体配置検証結果の表示例を示す図である。 物体配置検証結果の表示例を示す図である。 実施例４に係る画像処理システムのハードウェア構成の一例を示す図である。 実施例３に係る画像処理装置１００への入力画像例を示す図である。 実施例３に係る画像処理装置１００への入力画像例を示す図である。 確信度を用いた物体配置検証結果の表示例を示す図である。 実施例２に係る画像処理システムのハードウェア構成の一例を示す図である。 実施例４に係る領域分割結果の一例を示す図である。 実施例４に係る領域分割結果の一例を示す図である。 カップ種別および底上げ容器と容器種別の対応表の一例を示す図である。 底上げ容器の長さ算出方法の一例を示す図である。

以下、添付図面に従って本発明に係る画像処理装置、方法およびシステムの実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜画像処理装置のハードウェア構成＞
図１を用いて実施例１に係る画像処理装置のハードウェア構成について説明する。画像処理装置１００は、インターフェース部１１０と、演算部１１１と、メモリ１１２と、バス１１３とを備え、インターフェース部１１０、演算部１１１、メモリ１１２はバス１１３を介して情報の送受信を行う。

画像処理装置１００の各部について説明する。
インターフェース部１１０は、画像処理装置１００の外部にある装置と信号の送受信を行う通信装置である。インターフェース部１１０と通信を行う装置としてはカメラや顕微鏡などの撮像装置１２０、モニタやプリンタ等の表示装置１２１がある。

演算部１１１は、画像処理装置１００内での各種の処理を実行する装置であり、例えばＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等である。演算部１１１によって実行される機能については、図２を用いて後述する。
メモリ１１２は、演算部１１１が実行するプログラムや、パラメタ、係数、処理結果等を保存する装置であり、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等である。

＜画像処理装置の機能構成＞
図２は画像処理装置１００の第一の実施例に係る機能ブロック図の一例である。これらの各機能部は、演算部１１１上で動作するソフトウェアで実現しても良いし、専用のハードウェアで実現しても良い。

画像処理装置１００は、機能部として画像入力部２０１と、画像生成部２０２と、特徴量抽出部２０３と、特徴量マップ生成部２０４と、識別部２０５と、出力部２０６と、を含む。以下、各機能部について説明する。

画像入力部２０１は、インターフェース部１１０から入力される可視光画像や顕微鏡画像等の入力画像を受付ける。

画像生成部２０２は、前記入力画像を用いて特徴量抽出のための画像を生成する。尚、画像生成部２０２は後述する特徴量マップ生成部２０４から生成画像信号を受付けた場合には、生成画像信号に基づいて生成する画像を決定する。生成画像信号の入力が無い場合には予め定めた設定で画像を抽出する。

特徴量抽出部２０３は、前記画像生成部２０２が生成した画像から特徴量を抽出する。尚、特徴量抽出部２０３は、後述する特徴量マップ生成部２０４から特徴量抽出マップを受付けた場合には、特徴量抽出マップ内の領域や特徴量種別の内、予め設定された閾値以上の値を有する領域や特徴量に対してのみ特徴量を抽出する。特徴量抽出マップの入力が無い場合には、画像全体から全種別の特徴量を抽出する、あるいは予め定めた領域および特徴量のみを抽出する。

特徴量マップ生成部２０４は、前記特徴量抽出部２０３が出力する特徴量を用いて、特徴量抽出マップを生成する。特徴量抽出マップは、画像生成部２０２が次に生成する画像と、特徴量抽出部２０３にて次に特徴量を抽出する領域や特徴量の種別を指定する。

識別部２０５は、特徴量抽出部２０３が出力した全てあるいは一部の特徴量を用いて識別処理を行う。識別処理は入力画像を予め定めたクラスに分類する画像単位の識別処理、画素単位の識別処理（領域分割）、物体の位置を矩形で検出する処理等を含む。この識別処理により、物体の存在の検出や、物体の種類の判別が可能である。

出力部２０６は、前記識別部２０５が出力する識別結果を装置外部に出力する。識別結果が画像単位である場合には、画像毎のクラス情報や尤度情報を数値データの形で出力しても良いし、それらの情報を文字列等の視覚的に理解できる形で出力しても良い。識別結果が画素単位である場合には、画素毎のクラスや尤度の情報を数値データの形で出力しても良いし、クラスを固有の色で表現した画像として出力しても良い。識別結果が矩形情報である場合には、各矩形のクラスや尤度、矩形情報を数値データの形で出力しても良いし、画像上に矩形とクラス情報を枠線と色等で表現した画像として出力しても良い。

尚、上記の各機能は、図２の機能部の通りに構成される必要はなく、各機能ブロックの動作を実現する処理が実現できればよい。図５に実施例１に係る処理フロー図の一例を示す。各ステップは図２に示した機能ブロック図の各要素と対応している。

画像入力ステップ５０１は、インターフェース部１１０から入力される可視光画像や顕微鏡画像等の入力画像を受付ける。

画像生成ステップ５０２は、前記入力画像を用いて特徴量抽出のための画像を生成する。尚、画像生成ステップ５０２は後述する特徴量マップ生成ステップ５０４にて生成される生成画像信号を受付けた場合には、生成画像信号に基づいて生成する画像を決定する。生成画像信号の入力が無い場合には予め定めた設定で画像を生成する。

特徴量抽出ステップ５０３は、前記画像生成ステップ５０２にて生成した画像から特徴量を抽出する。尚、特徴量抽出ステップ５０３は、後述する特徴量マップ生成ステップ５０４から特徴量抽出マップを受付けた場合には、特徴量抽出マップ内の領域や特徴量種別の内、予め設定された閾値以上の値を有する領域や特徴量に対してのみ特徴量を抽出する。特徴量抽出マップの入力が無い場合には、画像全体から全種別の特徴量を抽出する、あるいは予め定めた領域および特徴量のみを抽出する。

特徴量マップ生成ステップ５０４は、前記特徴量抽出ステップ５０３にて算出した特徴量を用いて、特徴量抽出マップを生成する。特徴量抽出マップは、画像生成ステップ５０２にて次に生成する画像と、特徴量抽出ステップ５０３にて次に抽出する特徴量の種別や領域を指定する。

識別ステップ５０５は、特徴量抽出ステップ５０３にて出力する全てあるいは一部の特徴量を用いて識別処理を行う。識別処理は入力画像を予め定めたクラスに分類する画像単位の識別処理、画素単位の識別処理（領域分割）、物体の位置を矩形で特定する検出処理等を含む。

出力ステップ５０６は、前記識別ステップ５０５にて算出した識別結果を装置外部に出力する。識別結果が画像単位である場合には、画像毎のクラス情報や尤度情報を数値データの形で出力しても良いし、それらの情報を文字列等の視覚的に理解できる形で出力しても良い。識別結果が画素単位である場合には、画素毎のクラスや尤度の情報を数値データの形で出力しても良いし、クラスを固有の色で表現した画像として出力しても良い。識別結果が矩形情報である場合には、各矩形のクラスや尤度、矩形情報を数値データの形で出力しても良いし、画像上に矩形とクラス情報を枠線と色等で表現した画像として出力しても良い。

以降、各機能部を主語として詳細な動作について説明するが、各機能部に対応する各ステップを主語として読み替えても差し支えない。

＜各部の構成と動作＞
以下、機能部の内、画像生成部２０２、特徴量抽出部２０３、特徴量マップ生成部２０４、識別部２０５の動作について詳しく説明する。

画像生成部２０２は、入力画像を用いて特徴量抽出のための画像を生成する。画像生成部は後述する特徴量マップ生成部２０４から生成画像信号を受付けているか否かで動作が異なる。生成画像信号を受付けている場合、生成画像信号に基づいて画像を生成する。生成画像信号は例えば画像の縮小率や画像サイズが指定される。尚、指定される画像はローパスフィルタやハイパスフィルタ、バンドパスフィルタ等を用いた特定の周波数成分を有する画像、補正・強調・ノイズ除去等の画像処理を適用した画像、後述する特徴量抽出マップを用いたマスキング処理を施した画像等を候補としても良い。また、これらの画像処理を組合せた画像を候補としても良い。尚、候補画像の種類は予め定めておくものとする。

また、生成画像信号の入力が無い場合、画像生成部２０２は予め定めた初期設定で画像を設定する。例えば予め定めた縮小率や画像サイズで入力画像を縮小した画像を生成する。生成画像の初期設定は、上記候補画像の内、一つを表していれば良い。

特徴量抽出部２０３は、前記画像生成部２０２が出力する生成画像から特徴量を抽出する。抽出する特徴量はＨＯＧやＨａａｒ－Ｌｉｋｅ特徴などのハンドクラフト特徴量でも良いし、深層学習やランダムフォレスト等の機械学習により自動的に求めたものでも良い。また、生成画像信号に基づいて抽出する特徴量や特徴量のパラメタを変更しても良い。

特徴量抽出部２０３は、後述する特徴量マップ生成部２０４から特徴量抽出マップを受付けた場合、特徴量抽出マップに基づいて、特徴量を抽出する領域や特徴量の種類を限定する。特徴量抽出マップは特徴量の種類や領域に対応した配列であり、特徴量抽出マップ内の値が予め設定した閾値よりも高い場合、該当する特徴量や領域に対して特徴抽出を行う。

図３に特徴量抽出マップの一例を示す。画像３００は画像生成部２０２より入力された特徴抽出対象の画像、特徴量抽出マップ３０１、３０２、３０３はそれぞれ特徴量Ａ，Ｂ，Ｃに対する特徴量抽出マップである。特徴量抽出マップ３０１、３０２、３０３内の白の領域は特徴量抽出マップ内の値が予め設定した閾値以上の領域を表しており、黒は閾値未満の領域を表している。対象物体３０４は検出対象の物体であり、ここではボトルを例示している。対象物体３０４はボトル本体とキャップ、そしてラベルから構成されているとする。領域３０５、３０６は特徴抽出マップ内で閾値以上の値を持つ領域である。

例えば特徴量抽出マップ３０１では領域３０５のみが閾値以上であるため、生成画像内の領域３０５に対応する領域のみから特徴量Ａを抽出する。すなわち特徴量Ａはボトル周辺の領域のみに適用され、背景や床の領域に対しては適用されない。また、特徴量抽出マップ３０２では領域３０６のみが閾値以上であるため、生成画像内の領域３０６に対応する領域のみから特徴量Ｂを抽出する。すなわち特徴量Ｂはラベル領域のみに適用され、その他の領域には適用されない。また、特徴量抽出マップ３０３は全ての領域が閾値未満であるため、特徴抽出処理を実行しない。この特徴抽出マップは、一つ前の生成画像から抽出した特徴量に基づいて決定されるため、特徴量によって有効化される領域は変化する。

また、特徴量抽出マップは全特徴量に共通の特徴量マップを指定しても良い。すなわち特徴抽出する領域のみを示したマップである。例えば図３の特徴量抽出マップ３０１が、全特徴量の共通の特徴量マップとして入力された場合、領域３０５に対して特徴量Ａ，Ｂ，Ｃの抽出を行い、その他の領域に対しては特徴量抽出を行わない。

また、特徴量抽出マップは抽出する領域を指定せず、抽出する特徴量だけを指定しても良い。例えば特徴抽出マップは特徴量Ａ、Ｂ、Ｃに対応した三つの配列を有し、特徴量マップ算出の結果、閾値以上となった特徴量のみを抽出し、その他の特徴量は抽出しないという方式でも良い。

このように特徴量抽出部２０３は、特徴量抽出マップに基づいて特徴量を抽出する領域や特徴量の種類を限定することで特徴抽出処理を削減し、識別部２０５での高速な識別処理を実現する。

特徴量マップ生成部２０４は、画像生成部２０２が生成する画像の種類を指定する生成画像信号と、特徴量抽出部２０３が特徴量を抽出する領域や特徴量の種類を限定するために用いる特徴量抽出マップを生成する。

生成画像信号の生成方法について説明する。生成画像信号は特徴量抽出部２０３が出力した特徴量に基づいて画像生成部２０２が次に生成する画像を決定する。例えば特徴量抽出部２０３にて生成画像に含まれる周波数成分量を特徴量として算出し、周波数成分の分布に基づいて生成する画像を決定する。また機械学習等により決定しても良い。例えば次に生成する画像の候補をＮ個用意し、特徴量抽出部２０３から出力された特徴量を入力、出力ユニット数をＮとした深層学習のネットワークを設計する。入力された特徴量に基づいて識別に有効な特徴量を抽出する生成画像が選択されるように学習することで、次の生成画像を選択する選択器を生成可能である。

次に特徴量抽出マップの生成方法について説明する。例えば、現在までに抽出した特徴量を用いて仮の識別を行い、識別の確信度に基づいて特徴量抽出マップを生成する方法がある。すなわち、これまでに抽出した特徴量のみを用いて高い確信度で識別している領域に対しては新たな特徴抽出を行わず、確信度が低い領域に対しては確信度向上のために新たな特徴抽出を行う。また、どの特徴量あるいは領域から識別に有効な特徴量を抽出できるかを機械学習により推定しても良い。方法は前述の生成画像信号と同様であり、特徴量種別や領域を候補として、そこから抽出される特徴がどの程度識別に有効かを推定する。

尚、特徴量マップ生成部２０４は識別部２０５に対して特徴量抽出処理の終了を示す、抽出終了信号を出力する。特徴量抽出処理の終了条件は予めユーザーにより決定されるものとし、例えば上記仮の識別の確信度や、生成した画像数、抽出した特徴量数、処理時間等に基づいて決定する。確信度による終了条件は、例えば画素単位識別では、全領域に対する確信度が一定以上の場合、あるいは確信度の平均が一定以上の場合等がある。画像単位識別では、一画像に対して出力される識別の確信度が一定以上になった場合、あるいは識別スコアが一定以上になった場合等がある。生成画像数、抽出特徴量数、処理時間等に対して上限を定めて、いずれかの上限あるいは全ての上限に達した場合に終了する方法でも良い。また、生成画像数、抽出特徴量数、処理時間と、識別の確信度から総合的に終了を判定しても良い。

識別部２０５は、特徴量マップ生成部２０４が出力する抽出終了信号の入力を受けて、特徴量抽出部２０３が抽出した特徴量の内、全てあるいは一部を用いて最終的な識別を行い、識別結果を出力する。

図４に画素単位識別処理の一例を示す。図４は生成画像として複数の縮小画像を用いた場合の例である。生成画像４００、４０１、４０２はそれぞれ１／４縮小画像、１／２縮小画像、非縮小画像である。特徴量４１０、４１１、４１２はそれぞれ生成画像４００、４０１、４０２から特徴量抽出部２０３が抽出した特徴量である。原画像単位特徴量４２０、４２１はそれぞれ特徴量４１０、４１１を４倍、２倍に拡大した特徴量である。生成画像信号４３０、４３１は特徴量マップ生成部２０４が出力する生成画像信号である。特徴量抽出マップ４４０、４４１は特徴量マップ生成部２０４が出力する特徴量抽出マップである。結合後特徴量４５０は特徴量４１２および原画像単位特徴量４２０、４２１を結合した特徴量である。識別結果４６０は結合後特徴量４５０を識別部２０５に入力して得られる画素単位の識別結果の例である。ここで、生成画像４００、４０１、４０２は垂直方向ｙ、水平方向ｘ、チャンネルｃｈの次元を有する。また、特徴量４１０、４１１、４１２、原画像単位特徴量４２０、４２１、特徴量抽出マップ４４０、４４１および結合後特徴量４５０は、垂直方向ｙ、水平方向ｘ、特徴量種別ｃｈの次元を有する。また、識別結果４６０は、垂直方向ｙ、水平方向ｘ、クラスｃｈの次元を有する。

図４の例では、まず、特徴量抽出部２０３が生成画像４００を受付け、特徴量４１０を出力する。尚、生成画像４００は画像生成部２０２が生成画像信号の入力が無い場合に入力画像から生成する画像であり、図４の例では１／４縮小画像を生成している。次に、特徴量マップ生成部２０４が特徴量４１０を受付け、生成画像信号４３０および特徴量抽出マップ４４０を出力する。生成画像信号４３０は前述のとおり、特徴量マップ生成部２０４が画像生成部２０２に対して出力する、次に生成すべき画像を決定するための信号である。図４の例では生成画像信号として画像縮小率を選択する。生成画像信号４３０、４３１内の丸印が選択可能な画像縮小率を表しており、黒丸は特徴量マップ生成部２０４が選択した画像縮小率を表す。生成画像信号４３０では縮小率１／２が選択されているものとし、画像生成部２０２は生成画像信号４３０に基づいて生成画像４０１（１／２縮小画像）を出力する。また、特徴量抽出マップ４４０は、特徴量抽出部２０３が生成画像４０１から特徴量抽出すべき領域を示している。図４の例では特徴量抽出マップ４４０内の白で示した領域のみから特徴量を抽出する。特徴量抽出部２０３は、生成画像４０１および特徴量抽出マップ４４０を受付けて、特徴量４１１を出力する。特徴量４１１は特徴量抽出マップ４４０が白の領域のみから抽出されており、それ以外の領域からは抽出されていない。特徴量４１１内の特徴量抽出対象外の領域には例えば０などの予め定めた値が格納される。

同様に、特徴量マップ生成部２０４が特徴量４１１を受付け、生成画像信号４３１および特徴量抽出マップ４４１を出力する。画像生成部２０２は生成画像信号４３１に基づいて生成画像４０２（非縮小画像）を出力する。また、特徴量抽出マップ４４１は、特徴量抽出部２０３が生成画像４０２から特徴量抽出すべき領域を示している。特徴量抽出部２０３は、生成画像４０２および特徴量抽出マップ４４１を受付けて、特徴量４１２を出力する。特徴量４１２は特徴量抽出マップ４４１内の白で示した領域のみから抽出されており、それ以外の領域からは抽出されていない。

特徴量４１０、４１１はそれぞれ特徴抽出元である生成画像と同じ倍率で縮小されているため、そのままでは各画素に対する特徴量として割り当てることができない。そこで例えば原画像単位特徴量４２０、４２１のように、特徴量４１０、４１１を原画像の各画素に割り当て可能な形に変換する。例えば図４の例では特徴量４１０および４１１を４倍および２倍に拡大している。その後、結合後特徴量４５０のように全ての特徴量を結合することで各画素に対応する総括的な特徴量を得ることができる。最後に識別部２０５が結合後特徴量４５０を入力として、識別結果４６０を出力する。識別結果４６０は画素毎のクラス情報を表す。

上述した原画像単位特徴量４２０、４２１の作成方法は一例であり、各特徴量を原画像内の各画素に割り当てることができればその他の方法でも構わない。例えば特徴量４１０を２倍拡大した特徴量と特徴量４１１を結合し、結合した特徴量に基づいて新たな特徴量を生成した後に更に２倍拡大する等、段階的に特徴量を原画像に割り当てる方法でも良い。

画像単位識別の場合は、特徴量を画素に割り当てるステップを省き、得られた全特徴量を用いて識別を行っても良いし、例えば領域毎の最大値を取るなどの方法で更に間引いた特徴量を用いて識別を行ってもよい。

出力部２０６は、識別部２０５が出力する識別結果を装置外部に出力する。識別結果の配列や数値をそのまま出力しても良いし、領域分割の場合は各画素を識別結果に応じて色付けした画像を出力しても良い。また画像単位識別の場合は識別結果を文字列等のユーザーが理解しやすい形で出力しても良い。

以上により、画像内の対象物体を高精度かつ高速に検出あるいは識別する装置および方法を提供可能となる。

実施例２は実施例１に記載の画像処理装置が出力する領域分割結果または識別結果と、検出に関する設定や情報を指定する検出関連指定信号とに基づいて高速に物体を検出する画像処理システムである。

実施例２に係るハードウェア構成図を図１２に示す。実施例２に係る画像処理システム１２００は、撮像装置１２０１と、画像処理装置１００と、物体検出装置１２０２と、表示装置１２０３と、記憶装置１２０４から構成される。

撮像装置１２０１は、対象物体を撮像するための装置であり、例えばカメラ等である。
画像処理装置１００は、実施例１に記載の画像処理装置であり、前記撮像装置１２０１で撮像した画像から特定の物体領域の領域分割または識別結果、あるいはその両方を算出する。
物体検出装置１２０２は、前記画像処理装置１００が出力する領域分割結果または識別結果と、記憶装置１２０４が出力する検出関連指定信号の内、検出対象を指定する信号である検出対象指定信号に基づいて物体の検出情報を出力する。
表示装置１２０３は、前記物体検出装置１２０２による物体検出結果をユーザーに提示する。

記憶装置１２０４は、ユーザーにより予め設定された検出関連指定信号を保持している。検出関連指定信号は検出に関連する種々の設定・情報を指定するための信号である。実施例２における検出関連指定信号は、物体検出装置１２０２における検出対象を指定する検出対象指定信号を含む。記憶装置１２０４は検出対象指定信号を物体検出装置１２０２に対して出力する。尚、図１２には特に図示していないが、画像処理システム１２００はキーボード等のユーザーインターフェース装置を含み、システム運用中に記憶装置１２０４に記録した検出関連指定信号をユーザーが書き換え可能な構成としても良い。

＜各装置の動作＞
撮像装置１２０１、表示装置１２０３、および記憶装置１２０４の動作は上述の通りである。また、画像処理装置１００の動作は実施例１にて説明した通りである。そのためここでは物体検出装置１２０２について説明する。

画像処理装置１００が領域分割結果を出力する場合について説明する。図７に撮像装置１２０１が撮像した画像と、画像処理装置１００が出力した領域分割結果の一例を示す。画像７０１は複数の薬品ボトルを撮像した画像の例、領域分割結果７０２は画像７０１を画像処理装置１００により領域分割した結果の一例である。ボトル７０３，７０４，７０５はそれぞれ薬品Ａ，Ｂ，Ｃのボトルであり、ボトル領域７０６，７０７，７０８は領域分割により得た薬品Ａ，Ｂ，Ｃのボトル領域である。ボトル領域７０６，７０７，７０８はそれぞれ異なるクラスとして領域分割されており、テクスチャの違いはクラスの違いを表している。

領域分割結果７０２はユーザーが視覚的に状況を確認するためには有効である。しかし、ユーザーが物体単位の情報（例えば特定の種類のボトルの有無や、画像内にボトルが何個あるか、ボトルはどのような順番で配置されているかといった情報）を必要とする場合には、別の処理が必要となる。そこで物体検出装置１２０２は記憶装置１２０４から検出対象指定信号を受付け、検出対象指定信号に基づいて物体情報を抽出し、検出結果として出力する。

物体検出装置１２０２は、各クラスに属する物体の有無、個数、座標情報、配置情報、あるいはそれらの組合せによって決定される情報を検出結果として出力することが可能であり、どの情報を出力するかは前記の検出対象指定信号により指定する。以降、各情報の抽出方法について説明する。

まず、物体検出装置１２０２が各クラスに属する物体の有無を検出する方法を説明する。領域分割結果内の結合領域を抽出し、各クラスに属する結合領域が存在するか否かを判定することで、各クラスに属する物体の有無を検出できる。このとき、領域分割結果には誤識別領域を含む可能性があるため、結合領域の状態に基づいて誤識別領域を除外した後で結合領域を抽出してもよい。誤識別領域の除外方法の一例としては、予め結合領域のサイズに対する閾値を設定しておき、結合領域のピクセル数が閾値を下回る場合、誤識別領域と判定して除外する方法がある。これは誤識別領域の結合領域のサイズが、正解領域の結合領域のサイズよりも小さい傾向があることを利用した除外方法である。他にも画像の幾何学変換（収縮・膨張処理等）やメディアンフィルタ等のノイズ除去処理を用いて除外してもよいし、各画素あるいは結合領域内の識別結果の確信度に基づいて算出した定量値に対して閾値処理を行う方法等で除外してもよい。

また、物体検出装置１２０２は前記の手法により領域分割結果内の各クラスに属する結合領域を抽出し、各クラスの結合領域の数をカウントすることで、各クラスに属する物体の個数を算出可能である。

また、物体検出装置１２０２は、前記の手法により各クラスの結合領域を抽出し、結合領域の代表点（例えば上端、下端、左端、右端、重心等）を算出することで、代表点の座標位置を検出結果として出力することが可能である。

また、物体検出装置１２０２は、領域分割結果内の各結合領域の配置位置を検出結果として出力することが可能である。例えば前記の手法により領域分割結果内の各結合領域から代表点の座標情報を抽出し、各結合領域のクラス情報と紐づけて記録する。その後、水平方向(あるいは垂直方向)の座標情報に基づいてソートし、ソート結果からクラス情報を抽出することで、画像内の物体の水平方向(あるいは垂直方向)の配置順を配置情報として得ることが可能である。他にも画像をグリッド状に分割して、各グリッドにおける結合領域の専有面積に基づき、グリッド内の各クラスの物体有無を決定することで、グリッド状の物体配置情報を得るなどしてもよい。

また、上述の各クラスに属する物体の有無、個数、座標情報、配置情報を組合せて一つあるいは複数の物体の総合的な状態を検出してもよい。
以上により、画像内の対象物体を高速に検出する画像処理システムを提供可能となる。

実施例３は実施例２に記載の画像処理システムを用いて、対象物体の配置が予め定めた位置関係にあるか否かを判定する画像処理システムである。
実施例３に係るハードウェア構成図を図６に示す。実施例２に係る画像処理システム６００は、撮像装置１２０１と、画像処理装置１００と、物体検出装置１２０２と、物体配置検証装置６０２と、表示装置１２０３と、記憶装置１２０４と、から構成される。

撮像装置１２０１、画像処理装置１００、物体検出装置１２０２、表示装置１２０３は実施例２に記載の装置と同様であるため、説明を省略する。尚、実施例２にて説明した通り、物体検出装置１２０２は検出対象を指定する検出対象指定信号を記憶装置１２０４から受付ける。本実施例においては検出対象指定信号として領域分割結果内の各結合領域の配置情報を指定する。物体検出装置１２０２は実施例２で説明した方法により物体の配置情報を抽出する。

＜各装置の動作＞
記憶装置１２０４の動作について説明する。本実施例において、記憶装置１２０４に保持されている検出関連指定信号は、検出対象を指定する検出対象指定信号と、対象物体の正しい配置状態を表す正配置状態指定信号の二つを含む。記憶装置１２０４は検出対象指定信号を物体検出装置１２０２に出力し、正配置状態指定信号を物体配置検証装置６０２に出力する。尚、検出対象指定信号および正配置状態指定信号は予めユーザーにより設定されているものとする。

物体配置検証装置６０２の動作について説明する。
物体配置検証装置６０２は、物体検出装置１２０２が出力する物体の配置情報と、記録装置１２０４が出力する正配置状態指定信号を受付け、両者が一致しているか否かに基づいて、撮像装置１２０１が撮像した画像内の物体が正しく配置されているかを検証する。

図７を用いてボトルの配置検証の一例を説明する。ここでは水平方向のボトルの配置順序を判定する例を説明する。まず、正配置状態指定信号として正しい配置状態における薬品の種類を左から順に登録しておく（例えば“ＡＢＣ”）。実施例２にて説明した方法により、物体検出装置１２０２は領域分割結果７０２から各物体領域の水平方向の配置情報を取得する。その結果、領域分割結果７０２の例ではラベルの配置情報は“ＡＢＣ”と算出され、前記ユーザーにより登録されたボトルの正しい配置と照合することで全てのボトルが正しく配置されていることを判定できる。

物体配置検証装置６０２は、上記配置の正誤判定結果をユーザーに提示するための画像を作成する。図８Ａ、８Ｂ、８Ｃに物体配置検証結果の表示例を示す。ウィンドウ８０１はユーザーに提示される結果表示ウィンドウ、総合検証結果８０２は総合的な配置検証結果、個別検証結果８０３、８０４、８０５は各対象物体の配置検証結果を表している。図８の例では総合検証結果８０２は全ての対象物体が正しく配置されている場合に“ＯＫ”と表示され、そうでない場合には“Ｅｒｒｏｒ”と表示される。

図８Ａの例では各ボトルは正しく配置されているため、個別検証結果８０３、８０４、８０５および総合検証結果８０２は全て“ＯＫ”と表示される。
図８Ｂの例では左から二番目と三番目のボトルの配置が正しくないため、個別検証結果８０４および８０５は“Ｅｒｒｏｒ”と表示されており、総合検証結果８０２も“Ｅｒｒｏｒ”となっている。
図８Ｃの例は、右端のボトルが想定と異なるボトルであるため正しく検出できなかった例である。左と真ん中のボトルの配置は正しいため、個別検証結果８０３および８０４は“ＯＫ”と表示されている。しかし、配置情報の算出結果は“ＡＢ”となり登録されたボトルの正しい配置“ＡＢＣ”とは一致しない。そのため総合検証結果８０２には“Ｅｒｒｏｒ”と表示されている。また“Ｅｒｒｏｒ”という表示ではなく、検出されるべき数の対象物体が検出されなかった旨の表示、あるいは検出した対象物体の数を表示する等しても良い。

また、図８Ａ、８Ｂ、８Ｃでは“ＯＫ”と“Ｅｒｒｏｒ”という表示で各物体の配置正誤を表したが、例えば検出した対象物体の種類等を併記しても良い。また領域の配置の正誤や対象物体の種類等は文字だけでなく、検出枠や領域の色、線種、アイコン等で示しても良く、対象物体の配置情報をユーザーに伝達可能な表示であればどのような表示でも良い。また、上記では左からの配置を例として説明したが、対象物体の相対的な配置を定義できれば上下左右、入れ子構造等を判定しても良い。また、総合検証結果および個別検証結果は必ずしも両方を表示する必要はなく、必要に応じてどちらか一方を表示しても良い。

また、物体配置検証装置６０２は画像処理装置１００が出力する領域分割結果の確信度を併用して各ボトルの個別検証結果を決定しても良い。確信度とは、画像処理装置１００が各画素をどの程度の確信をもって領域分割したかを表す値である。例えば領域分割により各画素に対して背景、ボトルＡ、ボトルＢ、ボトルＣに対する識別スコアを得る場合、識別スコアの最大値を確信度として使用する方法がある。このとき、各識別スコアの値域が０．０から１．０、かつ、識別スコアの全クラスの総和が１．０になるように正規化することが望ましい。物体配置検証装置６０２は例えば十分な確信度をもって検出できていないボトル領域について、確信度不十分あるいは誤検出と判定して個別検証結果に表示する。また、確信度を物体配置検証結果画面に重畳する等して、ユーザーに提示しても良い。

図１１に確信度を用いた物体配置検証の一例を示す。結果表示ウィンドウ１１０１は、ユーザーに提示される結果表示ウィンドウ、領域分割結果１１０２は画像処理装置１００による領域分割結果、確信度重畳結果１１１３は画像処理装置１００が出力する領域分割結果の画素毎の確信度を結果表示ウィンドウ１１０１に重畳した例を示している。結果表示ウィンドウ１１０１はボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５を含んでおり、各ボトルの個別検証結果１１０６、１１０７、１１０８および総合検証結果１１０９を表示している。ここでボトルＣ１１０５は薬品名の書かれたラベルが無く、薬品名が視認できないとする。領域分割結果１１０２はボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５に対する領域分割結果として領域分割結果Ａ１１１０、領域分割結果Ｂ１１１１、領域分割結果Ｃ１１１２を示している。尚、ボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５はそれぞれ正しく、ボトルの種別を識別されているとする。確信度重畳結果１１１３は領域分割結果Ａ１１１０、領域分割結果Ｂ１１１１、領域分割結果Ｃ１１１２の確信度として確信度Ａ１１１３、確信度Ｂ１１１４、確信度Ｃ１１１５を、結果表示ウィンドウ１１０１に重畳する形で表示している。確信度重畳結果１１１３では、画素毎の確信度が輝度値として表示されており、白に近づくほど高い確信度、黒に近づくほど低い確信度を表している。尚、画像処理装置１００は実施例１で説明したとおり、複数の生成画像から特徴抽出マップに基づいて特徴抽出するため、確信度にこの特徴抽出方法が反映される。具体的には、例えば図１１の確信度重畳結果１１１３は、複数の倍率で縮小した画像から特徴抽出した例を示しており、局所的に確信度の解像度が異なっている。例えばラベル内の文字の領域やボトルの輪郭部分は高解像度で特徴抽出されているため高解像度な確信度が得られているが、ラベルやボトルの輪郭から離れるにしたがって確信度の解像度が低下している。

画像処理装置１００は前述のとおりボトルＡ１１０３、ボトルＢ１１０４、ボトルＣ１１０５のボトル種別を正しく識別しているが、その確信度には違いがある。ここでは、確信度に基づく個別判定結果の決定方法の一例として、確信度に対する閾値を予め定めておき、各結合領域内の最大確信度が前記閾値以上であるか未満であるかに基づいて個別判定結果を決定する方法を説明する。ボトルのラベルが視認可能なボトルＡ１１０３およびボトルＢ１１０４に対する確信度Ａ１１１３および確信度Ｂ１１１４では、特にラベルの周辺に前記閾値を超える確信度が得られており、一方、ラベルが視認不可能なボトルＣ１１０５に対する確信度Ｃ１１１５では、前記閾値以上の確信度は得られていないとする。この場合、ボトルＡ１１０３およびボトルＢ１１０４は確信度が十分であると判定し、領域分割により得られたボトル種別をそのまま検出結果として採用する。ボトルＡ１１０３およびボトルＢ１１０４はボトル種別および配置が正しいため、個別検証結果１１０６、１１０７として“ＯＫ”が表示される。一方、ボトルＣ１１０５は前記閾値以上の確信度で領域分割できていないため、個別検証結果１１０８として確信度が不十分であることを示す“Ｌｏｗ Ｃｏｎｆ”が表示される。また、ボトルＣ１１０５が正しく検出できなかったため、総合検証結果１１０９は“Ｅｒｒｏｒ”と表示される。尚、確信度が不十分と判定された場合の表示内容は一例であり、例えば誤配置を示す“Ｅｒｒｏｒ”を表示するなどしても良い。

上記の様に確信度が高い場合のみ配置の検証を行うことで、物体配置検証結果の信頼性を高め、ボトルの誤配置リスクを更に低減することが可能となる。また、確信度を物体配置検証結果画面あるいは入力画像に重畳する等して、ユーザーに提示することで、ユーザーは画像処理装置１００がどの領域に基づいてボトル種別を識別したか、あるいは識別のための特徴の不足について、情報を得ることが可能となる。

以上により、画像内の対象物体が予め定めた位置関係にあるか否かを判定する画像処理システムを提供可能となる。

実施例４は実施例２に記載の画像処理システムを用いて、分析対象の試料を格納した容器の種別を高速かつ高精度に判別する機能を含む、血液自動分析向けの画像処理システムである。前記血液分析には生化学分析や免疫分析を含む。画像処理システムに入力された容器の種別を自動的に判定することで、容器種別に応じた検体状態判定機能（例えば分析に影響を与える気泡や異物の有無検知等）の適用が可能となり、血液分析の信頼性が向上する。

実施例４に係るハードウェア構成図を図９に示す。実施例４に係る画像処理システム９００は、撮像装置１２０１と、画像処理装置１００と、物体検出装置１２０２と、検体状態判定装置９０２と、試料採取装置９０３と、分析装置９０４と、表示装置１２０３と、記憶装置１２０４と、から構成される。
撮像装置１２０１、表示装置１２０３は実施例２にて説明した各装置と同様であるため説明を省略する。ただし、撮像装置１２０１は、試料を格納した容器（以下、検体）を横から撮像するものとする。画像処理装置１００は容器種別を識別するための領域分割を行い、物体検出装置１２０２は領域分割結果に基づいて容器種別を判定し、出力する。詳細は後述する。

＜各装置の動作＞
以下では画像処理装置１００、物体検出装置１２０２、検体状態判定装置９０２、試料採取装置９０３、分析装置９０４の動作について詳細を説明する。

記憶装置１２０４の動作について説明する。本実施例において、記憶装置１２０４に保持されている検出関連指定信号は、検出対象を指定する検出対象指定信号と、検体状態判定装置９０２における状態判定対象を指定する試料及び／又は容器状態判定対象指定信号の二つを含む。記憶装置１２０４は検出対象指定信号を物体検出装置１２０２に出力し、試料及び／又は容器状態判定対象指定信号を検体状態判定装置９０２に出力する。検出対象指定信号としては各クラスに属する物体の有無とその座標位置に基づいて決定される容器の種別情報を指定する。試料及び／又は容器状態判定対象指定信号としては、例えば試料内に存在する気泡や異物の有無、容器の傾き等、ユーザーが判定したい試料及び／又は容器の状態を指定する。尚、検出対象指定信号と、試料状態及び／又は容器状態判定対象指定信号は予めユーザーにより設定されているものとする。

実施例４に係る画像処理装置１００および物体検出装置１２０２の動作について説明する。実施例４に係る画像処理装置１００への入力画像例を図１０Ａおよび図１０Ｂに示す。図１０Ａおよび図１０Ｂの入力画像１０００は、底上げ容器１００１および１００２の上に、カップＡ１００３およびカップＢ１００４を載せた状態を撮像した例を示している。また、カップＡ１００３およびカップＢ１００４の中に試料１００５が格納されている。底上げ容器１００１および１００２とカップＡ１００３およびカップＢ１００４は分離しており、どのように組合せても良いとする。ここではカップの種類と底上げ容器の高さの組合せに基づいて容器種別を決定する例について説明する。

カップの種類を識別するためにはカップＡ１００３およびカップＢ１００４周辺から特徴量を抽出する必要がある。また、底上げ容器の高さを識別するためにはカップの上端や下端等の位置を検出する必要がある。カップの位置を高精度に検出するためには高解像度な画像の入力が必要となるが、画像全体から特徴量を抽出する場合、処理時間の長さが課題となる。一方、実施例１に記載の画像処理装置１００を用いることで、例えば縮小画像から特徴量抽出マップを生成して、カップＡ１００３やカップＢ１００４周辺のみからカップの種別識別およびカップの位置検出に必要な特徴量を抽出するため、高速化が可能となる。

ここでは画像処理装置１００を用いて入力画像内のカップの種別を領域分割する例について説明する。図１３Ａおよび図１３Ｂは図１０Ａおよび図１０Ｂを入力画像とした場合の領域分割結果の例である。領域分割結果１３００はカップ領域Ａ１３０３およびカップ領域Ｂ１３０４を含んでおり、それぞれカップの種類が異なるテクスチャとして表現されている。

画像処理装置１００による領域分割結果は物体検出装置１２０２へ入力される。また、物体検出装置１２０２は記憶装置１２０４より検出対象指定信号を受付ける。検出対象指定信号としては前述の通り、各クラスに属する物体の有無（すなわち画像内に存在するカップの種別とその有無）とその座標位置に基づいて決定される容器の種別情報を指定する。

物体検出装置１２０２はまず、実施例２で説明した方法により領域分割結果１３００から結合領域を抽出し、画像内のカップの種別を特定する。その後、物体検出装置１２０２は抽出した結合領域の位置から底上げ容器の長さを推定する。画素単位の底上げ容器の長さＬは下記の式により推定する。
Ｌ＝ｄ２－ｌ＋ｄ１
ここで、ｄ２は底上げ容器下端の垂直方向の座標位置であり、１は画像処理装置１００が推定したカップ領域下端の垂直方向の座標位置であり、ｄ１はカップ下端から床上げ容器との接着点までの距離である。図１５に図１０Ａの例における各パラメタの関係を図示する。尚、カップ下端から床上げ容器との接着点までの距離ｄ１は、容器の種類毎に予め計測して記憶装置１２０４に記録しておくものとし、物体検出装置１２０２が特定したカップの種別に応じて記憶装置１２０４から読み出す。底上げ容器下端の垂直方向の座標位置ｄ２は、どの底上げ容器であっても同じ位置であると仮定し、予め計測して記憶装置１２０４に記録しておくものとする。ただし、もし、底上げ容器下端の変動が大きい場合は、画像処理装置１００により、カップ領域とは別に、底上げ容器下端の位置を推定するようにしてもよい。

次に特定したカップの種別と底上げ容器の長さから容器種別を決定する。例えば予め記憶装置１２０４に、図１４に示すようなカップ種別および底上げ容器の長さの対応表１４００を保存しておく。対応表１４００の横軸はカップの種別、縦軸は底上げ容器の高さを示しており、対応表１４００を用いて、上記にて特定したカップ種別および底上げ容器の長さから、容器種別を自動的に決定することが可能となる。尚、底上げ容器の長さに関しては、上述の式により求めた推定値に対して、対応表１４００内の候補中の最も値が近い要素を選択することとする。

検体状態判定装置９０２は、試料及び／又は容器の状態を判定する装置であり、任意の既存技術を用いて試料内の気泡有無判定や、容器の傾き有無判定等を実行する。この際、物体検出装置１２０２が出力する容器種別に基づいて判定アルゴリズムを切り替えることで、より高精度な検体状態判定が可能となる。

試料採取装置９０３は、検体状態判定装置９０２が出力する検体状態判定結果に基づいて試料採取処理の制御を行う。
分析装置９０４は、試料採取装置９０３が取得した試料と薬品を混合することで血液分析を行う。
出力装置９０５は、前記血液分析結果を表示する装置であり、モニタやプリンタ等である。

このように画像処理装置１００および物体検出装置１２０２により検体の容器種別を高速かつ高精度に識別可能となる。

試料採取装置９０３は、検体状態判定装置９０２が判定した検体状態に基づいて試料採取の制御を行う。例えば試料に分析に影響する気泡が含まれている場合、試料を採取しないで、ユーザーに非採取理由を通知する、あるいは別の検体搬送ルートに検体を送る等の処理を行う。

以上により容器種別を高速かつ高精度に判定することで、検体状態を高精度に判定可能となり、血液分析の信頼性向上を実現する。

＜変形例＞
実施例１の特徴量マップ生成部２０４における生成画像信号算出の際、生成画像信号のスコアに応じて複数の画像を生成するように生成画像信号を算出しても良い。この場合、生成画像信号を受付けた画像生成部２０２は、生成画像信号に基づいて複数の画像を生成し、特徴量抽出部２０３に出力する。この時、特徴量マップ生成部２０４は各生成画像に対する特徴量抽出マップを生成する。特徴量抽出部２０３は画像生成部２０２から受付けた生成画像群と、特徴量マップ生成部２０４から受付けた特徴量抽出マップ群を用いて、各ペア（生成画像と特徴量抽出マップの組み合わせ）から特徴量を抽出する。

実施例１の特徴量抽出部２０３において選択される特徴量の種別は、特徴量抽出フィルタの重み係数の違いのような特徴量の性質の違いだけでなく、例えば畳み込み処理におけるストライドやダイレート等、適用方法に関するパラメタであっても良い。

実施例３の確信度の表示方法は、例えば物体配置検証結果画面に確信度表示ボタンを配置して、確信度重畳のＯＮ／ＯＦＦあるいは原画像と確信度のどちらを表示するかをユーザーが切り替える方法でも良い。また、実施例２では確信度を輝度値として表現する例を用いて説明したが、ヒートマップや等高線、あるいはクラス毎に色分けして表示するなどしてもよい。また、一定以上の確信度を有する画素のみを重畳表示するなどしても良い。また、確信度が不十分と判定されたボトルが存在する場合、ボトルや撮影の状態が正常でない傾向があるため、確信度に応じてユーザーにボトルや撮影の状態の見直しを促すようなメッセージを表示してもよい。

実施例３の各個別判定結果の表示方法は、最終的に判定されたボトル種別だけでなく、複数のボトル種別に対する確信度を表示しても良い。表示する確信度は、例えば結合領域内の確信度の最大値、平均値、総和などを用いればよく、閾値処理や正規化処理などその他の画像処理と組合せてもよい。

実施例４に記載の画像処理システムでは、実施例２に記載の画像処理システムを用いて容器種別を判定する方法を説明したが、容器種別以外にもフタやラベルの有無等の容器状態を判定しても良い。

上述してきたように、実施例１に開示した画像内の物体を識別する画像処理装置は、入力画像を受付ける画像入力部２０１と、前記入力画像から特徴量抽出のための画像を生成する画像生成部２０２と、前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部２０３と、前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部２０５と、前記識別部が出力する識別結果を出力する出力部２０６と、前記特徴量抽出部２０３が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部２０３に出力する特徴量マップ生成部２０４とを備える。

また、前記画像生成部２０２は、前記入力画像を縮小して最初の生成画像を生成し、前記特徴量マップ生成部２０４は、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示する。
このように、縮小率の高い生成画像から処理を開始し、必要に応じて縮小率を下げた生成画像を用いることにより、画像内の対象物体を高精度かつ高速に識別することができる。
また、特徴量マップ生成部２０４は、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成する。
このように、識別に十分な特徴量を得られた領域を除外し、特徴量抽出の範囲を限定して再度の特徴量抽出を実行することで、画像内の対象物体を高精度かつ高速に識別することができる。

また、特徴量マップ生成部２０４は、既存の特徴量の抽出結果に基づいて、新たな生成画像の生成条件と、当該新たな生成画像から抽出すべき特徴量の種別とを決定する。
このため、生成画像の種類、縮小率、抽出する特徴量の種別を適宜変更し、画像内の対象物体を高精度かつ高速に識別することができる。

また、特徴量マップ生成部２０４は、所定の条件が成立した場合に、特徴量抽出処理の終了を示す抽出終了信号を前記識別部２０５に出力し、前記識別部２０５は、前記抽出終了信号を受けた場合に、それまでに生成された１又は複数の生成画像に係る特徴量を総合的に用いて、前記画像内の物体を識別する。
このため、不要な処理負荷を排除し、必要な特徴量を効率的に生成し、画像内の対象物体を高精度かつ高速に識別することができる。

また、特徴量マップ生成部２０４は、前記特徴量抽出部２０３がそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成する。
このため、新たな特徴量抽出の必要性を精度良く判定することができる。

また、特徴量マップ生成部２０４が出力する特徴量抽出マップを、前記出力部を介して外部に出力することも可能である。
特徴量抽出マップを外部出力することで、どのような識別処理を行っているかを情報提供できる。

また、実施例２に開示した画像内の物体を高速に検出する画像処理システムは、対象物体を撮像して前記入力画像を得る撮像装置１２０１と、実施例１に開示した画像処理装置１００と、前記画像処理装置１００により出力された識別結果と記憶装置１２０４から出力される検出対象情報に基づいて対象物体を検出する物体検出装置１２０２と、前記物体検出装置１２０２が検出する対象を指定する検出対象情報を出力する記憶装置１２０４と、前記物体検出装置１２０２が出力する物体検出結果をユーザーに提示する表示装置１２０３を備える。
実施例２に示す構成によれば、画像内の検出対象物体を高速に検出することが可能となる。
また、実施例３に開示した画像処理システムにおいて物体の識別結果や特徴量抽出マップを利用し、「物体の配置が入れ替わっている」、「ラベルの向きが誤っている」などの可能性を示唆する表示を行うことも可能である。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各構成要素の削除に限らず、構成要素の置き換えや追加も可能である。

１００：画像処理装置、１１０：インターフェース部、１１１：演算部、１１２：メモリ、１１３：バス、２０１：画像入力部、２０２：画像生成部、２０３：特徴量抽出部、２０４：特徴量マップ生成部、２０５：識別部、２０６：出力部、５００：画像処理方法、５０１：画像入力ステップ、５０２：画像生成ステップ、５０３：特徴量抽出ステップ、５０４：特徴量マップ生成ステップ、５０５：識別ステップ、５０６：出力ステップ、１２００：画像処理システム、１２０１：撮像装置、１２０２：物体検出装置、１２０３：表示装置、１２０４：記憶装置、１４００：対応表

Claims (15)

1. 画像内の物体を識別する画像処理装置であって、
   入力画像を受付ける画像入力部と、
   前記入力画像から特徴量抽出のための画像を生成する画像生成部と、
   前記画像生成部により生成された生成画像から特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部が出力する特徴量を用いて、画像内の物体を識別する識別部と、
   前記識別部が出力する識別結果を出力する出力部と、
   前記特徴量抽出部が出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成部に指示するとともに、当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成して前記特徴量抽出部に出力する特徴量マップ生成部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像生成部は、前記入力画像を縮小して最初の生成画像を生成し、
   前記特徴量マップ生成部は、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記特徴量マップ生成部は、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記特徴量マップ生成部は、既存の特徴量の抽出結果に基づいて、新たな生成画像の生成条件と、当該新たな生成画像から抽出すべき特徴量の種別とを決定することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記特徴量マップ生成部は、所定の条件が成立した場合に、特徴量抽出処理の終了を示す抽出終了信号を前記識別部に出力し、
   前記識別部は、前記抽出終了信号を受けた場合に、それまでに生成された１又は複数の生成画像に係る特徴量を総合的に用いて、前記画像内の物体を識別する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記特徴量マップ生成部は、前記特徴量抽出部がそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記特徴量マップ生成部が出力する特徴量抽出マップを、前記出力部を介して外部に出力することを特徴とする画像処理装置。
8. 画像内の物体を高速に検出する画像処理システムであって、
   対象物体を撮像して前記入力画像を得る撮像装置と、
   前記撮像装置が出力する前記入力画像に基づいて領域分割結果または識別結果を出力する請求項１に記載の画像処理装置と、
   検出に関連する設定や情報を指定するための信号である検出関連指定信号として、検出対象を指定するための検出対象指定信号を出力する記憶装置と、
   前記画像処理装置が出力する領域分割結果または識別結果と、前記記憶装置が出力する検出対象指定信号とに基づいて物体を検出する物体検出装置と、
   前記物体検出装置が出力した物体検出結果をユーザーに提示する表示装置と、
   を備えることを特徴とする画像処理システム。
9. 請求項８に記載の画像処理システムであって、
   前記画像処理装置は前記入力画像に基づく領域分割結果を出力し、
   前記記憶装置は検出関連指定信号として、前記入力画像内に存在する複数物体の配置情報を検出するための検出対象指定信号と、予めユーザーによって設定された対象物体の正配置状態指定信号を出力し、
   前記物体検出装置は前記領域分割結果と、前記検出対象指定信号を受付け、画像内に存在する複数物体の配置情報を検出し、
   前記物体検出装置が出力する物体の配置情報と前記記憶装置が出力する正配置状態指定信号に基づいて、前記対象物体の配置が正しい配置であるか否かを検証する物体配置検証装置
   をさらに備え、
   前記表示装置は前記物体配置検証装置が出力する物体配置検証結果をユーザーに提示することを特徴とする画像処理システム。
10. 請求項８に記載の画像処理システムであって、
    前記撮像装置は試料を格納した容器を撮像して前記入力画像を取得し、
    前記画像処理装置は前記入力画像に基づく領域分割結果または識別結果を出力し、
    前記記憶装置は検出関連指定信号として、前記入力画像内に存在する容器の種別を検出するための検出対象指定信号と、前記試料及び／又は前記容器の状態を判定するための試料状態判定対象指定信号及び／又は容器状態判定対象指定信号を出力し、
    前記物体検出装置は前記領域分割結果または識別結果と、前記検出対象指定信号に基づいて容器の種別を判定し、
    前記物体検出装置が出力する前記容器の種別と、前記記憶装置が出力する前記試料状態判定対象指定信号及び／又は容器状態判定対象指定信号に基づいて、前記試料及び／又は前記容器の状態を判定する検体状態判定装置と、
    前記検体状態判定装置が判定した前記試料及び／又は前記容器の状態に基づいて、前記試料の採取制御を行う試料採取装置と、
    前記試料採取装置が採取した試料と試薬を混合することで血液分析を行う分析装置と、
    をさらに備え、
    前記表示装置は前記分析装置による血液分析結果をユーザーに提示することを特徴とする画像処理システム。
11. 画像内の物体を識別する画像処理方法であって、
    入力画像を受付ける画像入力ステップと、
    前記入力画像から特徴量抽出のための画像を生成する画像生成ステップと、
    前記画像生成ステップにより生成された生成画像から特徴量を抽出する特徴量抽出ステップと、
    前記特徴量抽出ステップにて算出した特徴量を用いて、画像内の物体を検出あるいは識別する識別ステップと、
    前記識別ステップにて算出した識別結果を出力する出力ステップと、を含み、
    前記特徴量抽出ステップが出力する特徴量に基づき、必要に応じて新たな生成画像の生成を前記画像生成ステップにより行わせるとともに、前記特徴量抽出ステップにおける当該新たな生成画像に対する特徴量の抽出条件を示す特徴量マップを生成する特徴量マップ生成ステップをさらに含むことを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法であって、
    前記画像生成ステップは、前記入力画像を縮小して最初の生成画像を生成し、
    前記特徴量マップ生成ステップは、既に抽出された特徴量では前記識別に不十分と判定した場合に、縮小率を下げた新たな生成画像の生成を指示することを特徴とする画像処理方法。
13. 請求項１１に記載の画像処理方法であって、
    前記特徴量マップ生成ステップは、既に抽出された特徴量では前記識別に不十分な領域を特定し、当該領域を特徴量抽出の範囲として指定する特徴量マップを生成することを特徴とする画像処理方法。
14. 請求項１１に記載の画像処理方法であって、
    前記特徴量マップ生成ステップは、前記特徴量抽出ステップがそれまでに抽出した特徴量の一部または全てを用いて仮の識別を実行し、当該識別の確信度に基づいて特徴量抽出マップを生成することを特徴とする画像処理方法。
15. 請求項１１に記載の画像処理方法であって、
    前記特徴量マップ生成ステップが出力する特徴量抽出マップを、前記出力ステップにて外部に出力することを特徴とする画像処理方法。
    

Images