JP2004272357A - 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体 - Google Patents
画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2004272357A JP2004272357A JP2003058664A JP2003058664A JP2004272357A JP 2004272357 A JP2004272357 A JP 2004272357A JP 2003058664 A JP2003058664 A JP 2003058664A JP 2003058664 A JP2003058664 A JP 2003058664A JP 2004272357 A JP2004272357 A JP 2004272357A
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- region
- degree
- coincidence
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】画像認識の結果として複数の候補が取得された場合であっても、認識対象物に一致する候補を容易に選択可能とする。
【解決手段】特徴量計算部３は、カメラ１によって取り込まれた認識対象機器の画像を複数の領域に分割し、各領域の特徴量を算出する。一致度計算部６は、認識対象機器の各領域の特徴量と、特徴データベース５に記憶されている候補機器の各領域の特徴量とに基づいて、認識対象機器に対する候補機器の各領域の一致度を算出する。マッチング部４は、候補機器の各領域の一致度に基づいて、候補機器を少なくとも１つ以上抽出する。候補表示部７は、少なくとも１つ以上の候補機器を提示する際に、候補機器の各領域の一致度に基づいて、認識対象機器に対して一致しない領域を付加情報として提示する。
【選択図】 図１
【解決手段】特徴量計算部３は、カメラ１によって取り込まれた認識対象機器の画像を複数の領域に分割し、各領域の特徴量を算出する。一致度計算部６は、認識対象機器の各領域の特徴量と、特徴データベース５に記憶されている候補機器の各領域の特徴量とに基づいて、認識対象機器に対する候補機器の各領域の一致度を算出する。マッチング部４は、候補機器の各領域の一致度に基づいて、候補機器を少なくとも１つ以上抽出する。候補表示部７は、少なくとも１つ以上の候補機器を提示する際に、候補機器の各領域の一致度に基づいて、認識対象機器に対して一致しない領域を付加情報として提示する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、リサイクル現場での製品解体作業に係り、解体対象物を認識して複数の候補を表示する画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
ここ数年、電気製品などリサイクルの活動が盛んである。そのリサイクル現場では、プリンタ、プロジェクタなどの様々な種類の製品を解体する必要があり、また、そのプリンタの中でも様々な機種があり、作業者が全ての機種の解体手順を覚えておくことは無理であり、１機種毎に試行錯誤しながら解体を行なっているのが現状である。
【０００３】
そこで、作業者に解体手順を提供するシステムが考えられる。つまり、作業者が１つの機種を作業台に持ってくると、その機種を特定し、その解体手順を自動的に表示する解体情報提示システムである。
【０００４】
従来、ペン型インターフェースを持った情報機器では、ペンで文字を入力すると、それを認識することによって文字の入力が可能となっている。このとき、文字認識では、唯一の結果が得られないとき、複数の候補をユーザに掲示し、ユーザがその候補の中から意図した文字を選択する手法が採られている。また、この複数候補を表示する際に、ユーザに対し効率的に選択可能なように、文字種毎に異なる領域に表示する手法も提案されている（例えば、特許文献１参照）。
【０００５】
同様に、前述した解体情報提示システムのように、画像を入力し、画像認識によって機種を特定する場合でも、認識結果は、複数得られることが十分に考えられ、そのときは作業者が選択する必要がある。
【０００６】
【特許文献１】
特開平８−１９０６０３号公報
【０００７】
【発明が解決しようとする課題】
ところで、上述した文字認識のように、ユーザが意図しつつ文字を入力する場合には、複数の候補の中からユーザが意図した文字を選択することは容易である。しかしながら、解体情報提示システムのように、作業台に置いた機種を作業者が明確に判別できない場合には、認識結果として複数の候補が表示されても、ユーザは、どれが対象機種であるか判別できない可能性がある。
【０００８】
また、画像認識を用いない例では、複数の選択肢の中から１つを選択させる場合にユーザが選択しやすいように補足説明を付加するという表示方法が行なわれている。但し、この場合、システムとして同時に表示する選択肢を予め分かっており、それに対応した付加情報を予め設定しておくことで同時に表示している。
【０００９】
これに対して、解体情報提示システムのような場合には、解体現場の認識対象のばらつき具合や、新製品が次々と加えられていくよう状況にある。この場合、候補として出力されるであろう機種を想定して予め付加情報を設定したとしても、全ての場合において最適な付加情報を提示することは難しい。
【００１０】
この発明は上述した事情に鑑みてなされたもので、画像認識の結果として複数の候補が取得された場合であっても、認識対象物に一致する候補を容易に選択することができる画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した問題点を解決するために、この発明の画像認識結果提示装置では、認識対象機器の外観の画像を取り込む画像取込手段と、前記画像取込手段によって取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出する特徴量算出手段と、前記認識対象機器を特定するための候補機器の各領域の特徴量を記憶する記憶手段と、前記特徴量算出手段によって算出された前記認識対象機器の各領域の特徴量と、前記記憶手段に記憶されている前記候補機器の各領域の特徴量とに基づいて、前記認識対象機器に対する前記候補機器の各領域の一致度を算出する一致度算出手段と、前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出する候補機器抽出手段と、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器を提示する際に、前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しない領域を付加情報として提示する提示手段とを具備することを特徴とする。
【００１２】
この発明の画像認識結果提示装置によれば、特徴量算出手段によって、画像取込手段によって取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出し、一致度算出手段により、前記認識対象機器の各領域の特徴量と、記憶手段に記憶されている前記候補機器の各領域の特徴量とに基づいて、前記認識対象機器に対する前記候補機器の各領域の一致度を算出し、候補機器抽出手段により、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出し、提示手段によって、少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しない領域を付加情報として提示する。したがって、作業者は、付加情報を確認することで、一致しない部分が分かるので、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１３】
また、この発明の画像認識結果提示装置によれば、前記提示手段により、少なくとも１つ以上の候補機器の提示用画像を一覧表示する際に、前記認識対象機器に対して一致しない領域を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１４】
また、この発明の画像認識結果提示装置によれば、前記提示手段により、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器の提示用画像を一覧表示する際に、前記候補機器の各領域の一致度と前記候補機器の各領域の一致度の平均値との差分が所定の値以上である領域を強調表示したり、前記候補機器の各領域の一致度の標準偏差が所定の値以上である領域を強調表示するようにしたので、作業者は、強調表示された部分に注目することで、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１５】
また、この発明の画像認識結果表示方法では、認識対象機器の画像を複数の領域に分割し、各領域の特徴量に基づいて、前記認識対象機器に類似する候補機種を少なくとも１つ以上抽出し、前記認識対象機器に対する前記候補機器の各領域の一致度を算出し、少なくとも１つ以上の候補機器を表示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を強調表示することを特徴とする。
【００１６】
この発明の画像認識結果表示方法によれば、認識対象機器の画像を複数の領域に分割し、各領域の特徴量に基づいて前記認識対象機器に類似する候補機種を少なくとも１つ以上抽出し、前記認識対象機器に対する前記候補機器の各領域の一致度を算出し、少なくとも１つ以上の候補機器を表示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を強調表示するようにしたので、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１７】
また、この発明の画像認識結果表示方法では、前記候補機器の各領域の一致度の平均値を算出し、前記少なくとも１つ以上の候補機器を表示する際に、前記認識対象機器に対する前記候補機器の各領域の一致度と前記一致度の平均値との差分が所定の値以上ある領域を強調表示したり、前記少なくとも１つ以上の候補機器を表示する際に、前記認識対象機器に対する前記候補機器の各領域の一致度の候補機器同士におけるばらつきが所定の値以上ある領域を強調表示するようにしたので、作業者は、強調表示された部分に注目することで、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１８】
この発明の画像認識結果提示プログラムでは、認識対象機器の外観の画像を取り込むステップと、前記取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出するステップと、前記認識対象機器の各領域の特徴量に基づいて、前記認識対象機器に対する候補機器の各領域の一致度を算出するステップと、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出するステップと、前記少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を付加情報として提示するステップとをコンピュータに実行させることを特徴とする。
【００１９】
この発明の画像認識結果提示プログラムによれば、取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出し、前記認識対象機器の各領域の特徴量に基づいて、前記認識対象機器に対する候補機器の各領域の一致度を算出し、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出し、少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しない領域を付加情報として提示する。したがって、作業者は、付加情報を確認することで、一致しない部分が分かるので、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００２０】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態による画像認識装置の構成を示すブロック図である。図１において、カメラ１は、作業台に載せられた機器を撮影する。対象物切り出し部２は、図２（ａ）に示すように、カメラ１によって撮影された画像データから対象物の画像を切り出す。なお、ここでは、対象物としてプリンタを撮影した場合の例を示している。特徴量計算部３は、図２（ｂ）に示すように、切り出した対象物の画像を複数の領域に分割し、各領域の特徴量を計算する。特徴量としては、色ヒストグラム、テクスチャ情報などの公知のものを用いる。対象物の画像は、ｎ×ｍの領域、例えば、図２（ｃ）に示すように、（０，０）〜（３，５）の２４領域に分割される。
【００２１】
マッチング部４は、各領域の特徴量と、特徴データベース５の特徴量とのマッチング処理を行ない、対象物に類似する候補機種を抽出する。特徴データベース５は、複数の候補機種の機種提示用画像と、該機種提示用画像をｎ×ｍの領域に分割した場合の各領域の特徴量とを保持している。一致度計算部６は、マッチング部４により抽出された候補機種の各領域の特徴量と、対象物の特徴量とに基づいて、各領域の一致度を計算する。候補表示部７は、一致度計算部６によって算出された一致度に基づいて、候補機種の機種提示用画像をディスプレイ８に表示する際に、対象物と一致しない領域を強調表示する。
【００２２】
Ａ−２．第１実施形態の動作
次に、本第１実施形態の動作について詳細に説明する。ここで、図３および図４は、本第１実施形態の動作を説明するためのフローチャートである。まず、対象物の画像を取得し（ステップＳ１）、画像をｎ×ｍ（この場合、４×６）の領域に分割する（ステップＳ２）。次に、各領域における特徴量を計算する（ステップＳ３）。特徴量としては、色ヒストグラム、テクスチャ情報など、公知のものを用いる。
【００２３】
次に、特徴データベース５を全て走査したか否かを判断する（ステップＳ４）。そして、まだ走査していないものがある場合には、特徴データベース５から１つの機種の全領域の特徴量を取得する（ステップＳ５）。次に、対象物の各領域における特徴量と、特徴データベース５の機種の各領域における特徴量との一致度を計算する（ステップＳ６）。一致度の計算としては、差分絶対和、差分２乗和などの公知のものを用いる。なお、一致度は、「０」で一致を意味し、一致しないほど大きな値となる。
【００２４】
次に、全領域の一致度を計算し（ステップＳ７）、全領域の一致度が所定の閾値Ａ以下であるか否かを判断する（ステップＳ８）。そして、全領域の一致度が閾値Ａ以下でなければ、類似しない機種であると判断して候補から除外し、ステップＳ４へ戻り、上述した処理を繰り返す。
【００２５】
一方、全領域の一致度が所定の閾値Ａ以下である場合、すなわち類似する機種であると判断される場合には、類似機種として機種提示用画像と各領域の一致度とを保存し（ステップＳ９）、ステップＳ４へ戻り、上述した処理を繰り返す。以下、特徴データベース５に保存されている、全領域の一致度が閾値Ａ以下、すなわち、類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存する。
【００２６】
そして、特徴データベース５を全て走査し終えると、保存した類似機種を全て表示したか否かを判断し（ステップＳ１０）、全て表示し終えていなければ、保存した機種提示用画像と各領域の一致度とを取得する（ステップＳ１１）。次に、機種提示用画像に対して各領域の一致度が所定の閾値Ｂ（例えば、０．５）以上の値の領域（図６、図７の斜線領域）、すなわち、対象物と一致しない領域を強調して表示し（ステップＳ１２）、ステップＳ１０へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の一致度が閾値Ｂ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００２７】
次に、例を挙げて具体的に説明する。上記処理により作業台上の対象機種に類似する機種として、３つの候補機種、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」が抽出されたとする。ここで、図５は、機種名「ＰＭ−１２３」の機種提示用画像と各領域の一致度とを示す概念図である。また、図６は、機種名「ＰＭ−４５６」の機種提示用画像と各領域の一致度、図７は、機種名「ＰＭ−７８９」の機種提示用画像と各領域の一致度とを示す概念図である。
【００２８】
図５（ａ）に示す機種名「ＰＭ−１２３」の機種提示用画像には、図５（ｂ）に示すように、所定の閾値Ｂ（例えば、０．５）以上の一致度の領域がない。また、図６（ａ）に示す機種名「ＰＭ−４５６」の機種提示用画像には、図６（ｂ）に示すように、（１，１）、（２，３）、（２，４）の領域が所定の閾値Ｂ（例えば、０．５）以上の値を示している。また、図７（ａ）に示す機種名「ＰＭ−７８９」の機種提示用画像には、図７（ｂ）に示すように、（０，２）、（０，３）、（２，３）、（２，４）、（３，１）の領域が所定の閾値Ｂ（例えば、０．５）以上の値を示している。
【００２９】
したがって、ディスプレイ８には、図８に示すように、機種名「ＰＭ−１２３」の機種提示用画像には、いずれの領域も強調表示されず、機種名「ＰＭ−４５６」の機種提示用画像には、（１，１）、（２，３）、（２，４）の領域に対応する部分が強調表示され（図では太実線で示している）、機種名「ＰＭ−７８９」の機種提示用画像には、（０，２）、（０，３）、（２，３）、（２，４）、（３，１）の領域に対応する部分が強調表示される（図では太実線で示している）。したがって、作業者は、作業台上の対象機種と機種名「ＰＭ−１２３」がかなり類似している、すなわち、最も類似していると容易に判断することが可能である。
【００３０】
このように、本第１実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際に、それぞれの候補機種において対象機種に対して一致しない部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することが可能となる。
【００３１】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。なお、全体構成については図１と同様であるので説明を省略する。本第２実施形態では、類似機種として抽出した候補機種同士で一致度を比較するために、各類似機種の一致度と全類似機種の平均値（平均一致度）との誤差（２乗誤差）を算出し、その一致度誤差に基づいて強調表示する領域を決定することを特徴としている。
【００３２】
Ｂ−１．第２実施形態の動作
次に、本第２実施形態の動作について詳細に説明する。ここで、図９および図１０は、本第２実施形態の動作を説明するためのフローチャートである。まず、対象物の画像を取得し（ステップＳ２０）、画像をｎ×ｍ（この場合、４×６）の領域に分割する（ステップＳ２１）。次に、各領域における特徴量を計算する（ステップＳ２２）。特徴量としては、色ヒストグラム、テクスチャ情報など、公知のものを用いる。
【００３３】
次に、特徴データベース５を全て走査したか否かを判断する（ステップＳ２３）。そして、まだ走査していないものがある場合には、特徴データベース５から１つの機種の全領域の特徴量を取得する（ステップＳ２４）。次に、対象物の各領域における特徴量と、特徴データベース５の機種の各領域における特徴量との一致度を計算する（ステップＳ２５）。一致度の計算としては、差分絶対和、差分２乗和などの公知のものを用いる。なお、一致度は、「０」で一致を意味し、一致しないほど大きな値となる。
【００３４】
次に、全領域の一致度を計算し（ステップＳ２６）、全領域の一致度が所定の閾値Ａ以下であるか否かを判断する（ステップＳ２７）。そして、全領域の一致度が閾値Ａ以下でなければ、類似しない機種であると判断して候補から除外し、ステップＳ２３へ戻り、上述した処理を繰り返す。
【００３５】
一方、全領域の一致度が所定の閾値Ａ以下である場合、すなわち類似する機種であると判断される場合には、類似機種として機種提示用画像と各領域の一致度とを保存し（ステップＳ２８）、ステップＳ２３へ戻り、上述した処理を繰り返す。以下、特徴データベース５に保存されている、全領域の一致度が閾値Ａ以下、すなわち、類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存する。
【００３６】
そして、特徴データベース５を全て走査し終えると、強調部領域の計算＆表示処理へ進む（ステップＳ２９）。以下、強調部領域の計算＆表示処理について図１０を参照して詳細に説明する。まず、保存した全類似機種の各領域の一致度を取得し（ステップＳ４０）、全類似機種の各領域の一致度の平均値（平均一致度）を算出する（ステップＳ４１）。例えば、前述した図５ないし図７に示す類似機種である、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」の場合、全類似機種の各領域の一致度の平均値は、図１１（ａ）に示すものとなる。
【００３７】
次に、保存した類似機種を全て表示したか否かを判断し（ステップＳ４２）、全て表示し終えていなければ、保存した機種提示用画像と各領域の一致度とを取得する（ステップＳ４３）。次に、各領域において、それぞれの一致度と平均一致度との平均値誤差（２乗誤差）を計算する（ステップＳ４４）。ここで、図１１（ｂ）は、機種名「ＰＭ−１２３」の各領域における平均値誤差、図１１（ｃ）は、機種名「ＰＭ−４５６」の各領域における平均値誤差、および図１１（ｄ）は、機種名「ＰＭ−７８９」の各領域における平均値誤差である。
【００３８】
次に、機種提示用画像に対して各領域の平均値誤差が所定の閾値Ｃ（例えば、０．１）以上の値の領域（図１１の斜線領域）、すなわち、一致度の平均値から大きく離れている領域を強調して表示し（ステップＳ４５）、ステップＳ４２へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の平均値誤差が所定の閾値Ｃ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００３９】
したがって、ディスプレイ８には、図１２に示すように、機種名「ＰＭ−１２３」の機種提示用画像には、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−４５６」の機種提示用画像には、（１，１）、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−７８９」の機種提示用画像には、（０，２）、（０，３）、（２，４）の領域に対応する部分が強調表示される（図では太実線で示している）。作業者は、作業台上の対象機種がいずれの機種であるかを判断する際、強調表示された部分を注目することで、最も類似している機種を容易に判別することが可能である。
【００４０】
このように、本第２実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際に、候補機種同士の一致度の平均値から、各候補機種の各領域における平均値誤差を算出し、該平均値誤差に従って、一致しない部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に選択することが可能となる。
【００４１】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。なお、全体構成については図１と同様であるので説明を省略する。本第３実施形態では、前述した第２実施形態における、強調部領域の計算＆表示処理が異なり、平均値誤差に代えて標準偏差を用いている。なお、類似機種の抽出処理については、図９に示すフローチャートと同じであるので説明を省略する。
【００４２】
Ｃ−１．第３実施形態の動作
次に、本第３実施形態の動作について詳細に説明する。ここで、図１３は、本第３実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存し、特徴データベース５を全て走査し終えると、強調部領域の計算＆表示処理へ進む。まず、保存した全類似機種の各領域の一致度を取得し（ステップＳ５０）、全類似機種の各領域の一致度の標準偏差を算出する。例えば、前述した図５ないし図７に示す類似機種である、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」の場合、全類似機種の各領域の一致度の標準偏差は、図１４に示すものとなる。
【００４３】
次に、保存した類似機種を全て表示したか否かを判断し（ステップＳ５２）、全て表示し終えていなければ、保存した類似機種の機種提示用画像を取得する（ステップＳ５３）。次に、機種提示用画像に対して、各領域の標準偏差が所定の閾値Ｄ（例えば、０．５）以上の値の領域（図１４の斜線領域）、すなわち、各候補機種同士で一致度にばらつきがある領域を強調して表示し（ステップＳ５４）、ステップＳ５２へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の標準偏差が所定の閾値Ｄ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００４４】
したがって、ディスプレイ８には、図１５に示すように、全ての機種「ＰＭ−１２３」、「ＰＭ−４５６」および「ＰＭ−７８９」で同じ領域、すなわち、（１，１）、（２，４）の領域に対応する部分が強調表示される（図では太実線で示している）。作業者は、作業台上の対象機種がいずれの機種であるかを判断する際、強調表示された部分を注目することで、最も類似している機種を容易に判別することが可能である。
【００４５】
このように、本第３実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際に、全類似機種の各領域の一致度の標準偏差を計算し、該標準偏差に従って、一致度にばらつきがある部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に選択することが可能となる。
【００４６】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。なお、全体構成については図１と同様であるので説明を省略する。本第４実施形態では、前述した第２実施形態における、強調部領域の計算＆表示処理が異なり、平均値に加えて標準偏差を用いている。なお、類似機種の抽出処理については、図９に示すフローチャートと同じであるので説明を省略する。
【００４７】
Ｄ−１．第４実施形態の動作
次に、本第４実施形態の動作について詳細に説明する。ここで、図１６は、本第４実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存し、特徴データベース５を全て走査し終えると、強調部領域の計算＆表示処理へ進む。まず、保存した全類似機種の各領域の一致度を取得し（ステップＳ６０）、全類似機種の各領域の一致度の平均値と標準偏差とを算出する（ステップＳ６１）。例えば、前述した図５ないし図７に示す類似機種である、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」の場合、全類似機種の各領域の一致度の平均値は、前述した第１実施形態と同様に、図５（ｂ）、図６（ｂ）、図７（ｂ）に示すものとなる。また、標準偏差は、前述した第３実施形態と同様に、図１４に示すものとなる。
【００４８】
次に、保存した類似機種を全て表示したか否かを判断し（ステップＳ６２）、全て表示し終えていなければ、保存した機種提示用画像を取得する（ステップＳ６３）。次に、各領域において、それぞれの一致度と平均一致度との誤差（平均値誤差：２乗誤差）を計算する（ステップＳ６４）。各類似機種の平均値誤差は、前述した第２実施形態と同様に、図１１（ｂ）、（ｃ）、（ｄ）に示すものとなる。
【００４９】
次に、機種提示用画像に対して、各領域の標準偏差が所定の閾値Ｄ（例えば、０．５）以上の値の領域、すなわち、一致度にばらつきがある領域、または平均値誤差が所定の閾値Ｃ（例えば、０．１）以上の値の領域、すなわち、平均値から大きく離れている領域を強調して表示し（ステップＳ４５）、ステップＳ６２へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の標準偏差が所定の閾値Ｄ以上の値の領域、または各領域の平均値誤差が所定の閾値Ｃ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００５０】
したがって、ディスプレイ８には、図１７に示すように、機種名「ＰＭ−１２３」の機種提示用画像では、（１，１）、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−４５６」の機種提示用画像では、（１，１）、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−７８９」の機種提示用画像では、（０，２）、（０，３）、（１，１）、（２，４）の領域に対応する部分が強調表示される（図では太実線で示している）。作業者は、作業台上の対象機種がいずれの機種であるかを判断する際、強調表示された部分を注目することで、最も類似している機種を容易に判別することが可能である。
【００５１】
このように、本第４実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際、候補機種同士の一致度の平均値と標準偏差とを計算し、各候補機種の各領域における平均値誤差と標準偏差とに従って、一致しない部分または一致度にばらつきがある部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に選択することが可能となる。
【図面の簡単な説明】
【図１】第１実施形態の画像認識装置の構成を示すブロック図である。
【図２】対象物の画像、画像の領域分割を説明するための概念図である。
【図３】第１実施形態の動作を説明するためのフローチャートである。
【図４】第１実施形態の動作を説明するためのフローチャートである。
【図５】機種提示用画像と各領域の一致度を示す概念図である。
【図６】機種提示用画像と各領域の一致度を示す概念図である。
【図７】機種提示用画像と各領域の一致度を示す概念図である。
【図８】本第１実施形態における表示例を示す模式図である。
【図９】第２実施形態の動作を説明するためのフローチャートである。
【図１０】第２実施形態の動作を説明するためのフローチャートである。
【図１１】第２実施形態の強調表示に用いる一致度の平均値、平均値誤差を示す概念図である。
【図１２】第２実施形態における表示例を示す模式図である。
【図１３】第３実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。
【図１４】第３実施形態の強調表示に用いる一致度の標準偏差を示す概念図である。
【図１５】第３実施形態における表示例を示す模式図である。
【図１６】第４実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。
【図１７】本第４実施形態における表示例を示す模式図である。
【符号の説明】
１ カメラ（画像取込手段）、２ 対象物切り出し部、３ 特徴量計算部（特徴量算出手段）、４ マッチング部（候補機器抽出手段）、５ 特徴データベース（記憶手段）、６ 一致度計算部（一致度算出手段）、７ 候補表示部（提示手段）、８ ディスプレイ
【発明の属する技術分野】
本発明は、リサイクル現場での製品解体作業に係り、解体対象物を認識して複数の候補を表示する画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
ここ数年、電気製品などリサイクルの活動が盛んである。そのリサイクル現場では、プリンタ、プロジェクタなどの様々な種類の製品を解体する必要があり、また、そのプリンタの中でも様々な機種があり、作業者が全ての機種の解体手順を覚えておくことは無理であり、１機種毎に試行錯誤しながら解体を行なっているのが現状である。
【０００３】
そこで、作業者に解体手順を提供するシステムが考えられる。つまり、作業者が１つの機種を作業台に持ってくると、その機種を特定し、その解体手順を自動的に表示する解体情報提示システムである。
【０００４】
従来、ペン型インターフェースを持った情報機器では、ペンで文字を入力すると、それを認識することによって文字の入力が可能となっている。このとき、文字認識では、唯一の結果が得られないとき、複数の候補をユーザに掲示し、ユーザがその候補の中から意図した文字を選択する手法が採られている。また、この複数候補を表示する際に、ユーザに対し効率的に選択可能なように、文字種毎に異なる領域に表示する手法も提案されている（例えば、特許文献１参照）。
【０００５】
同様に、前述した解体情報提示システムのように、画像を入力し、画像認識によって機種を特定する場合でも、認識結果は、複数得られることが十分に考えられ、そのときは作業者が選択する必要がある。
【０００６】
【特許文献１】
特開平８−１９０６０３号公報
【０００７】
【発明が解決しようとする課題】
ところで、上述した文字認識のように、ユーザが意図しつつ文字を入力する場合には、複数の候補の中からユーザが意図した文字を選択することは容易である。しかしながら、解体情報提示システムのように、作業台に置いた機種を作業者が明確に判別できない場合には、認識結果として複数の候補が表示されても、ユーザは、どれが対象機種であるか判別できない可能性がある。
【０００８】
また、画像認識を用いない例では、複数の選択肢の中から１つを選択させる場合にユーザが選択しやすいように補足説明を付加するという表示方法が行なわれている。但し、この場合、システムとして同時に表示する選択肢を予め分かっており、それに対応した付加情報を予め設定しておくことで同時に表示している。
【０００９】
これに対して、解体情報提示システムのような場合には、解体現場の認識対象のばらつき具合や、新製品が次々と加えられていくよう状況にある。この場合、候補として出力されるであろう機種を想定して予め付加情報を設定したとしても、全ての場合において最適な付加情報を提示することは難しい。
【００１０】
この発明は上述した事情に鑑みてなされたもので、画像認識の結果として複数の候補が取得された場合であっても、認識対象物に一致する候補を容易に選択することができる画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した問題点を解決するために、この発明の画像認識結果提示装置では、認識対象機器の外観の画像を取り込む画像取込手段と、前記画像取込手段によって取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出する特徴量算出手段と、前記認識対象機器を特定するための候補機器の各領域の特徴量を記憶する記憶手段と、前記特徴量算出手段によって算出された前記認識対象機器の各領域の特徴量と、前記記憶手段に記憶されている前記候補機器の各領域の特徴量とに基づいて、前記認識対象機器に対する前記候補機器の各領域の一致度を算出する一致度算出手段と、前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出する候補機器抽出手段と、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器を提示する際に、前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しない領域を付加情報として提示する提示手段とを具備することを特徴とする。
【００１２】
この発明の画像認識結果提示装置によれば、特徴量算出手段によって、画像取込手段によって取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出し、一致度算出手段により、前記認識対象機器の各領域の特徴量と、記憶手段に記憶されている前記候補機器の各領域の特徴量とに基づいて、前記認識対象機器に対する前記候補機器の各領域の一致度を算出し、候補機器抽出手段により、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出し、提示手段によって、少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しない領域を付加情報として提示する。したがって、作業者は、付加情報を確認することで、一致しない部分が分かるので、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１３】
また、この発明の画像認識結果提示装置によれば、前記提示手段により、少なくとも１つ以上の候補機器の提示用画像を一覧表示する際に、前記認識対象機器に対して一致しない領域を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１４】
また、この発明の画像認識結果提示装置によれば、前記提示手段により、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器の提示用画像を一覧表示する際に、前記候補機器の各領域の一致度と前記候補機器の各領域の一致度の平均値との差分が所定の値以上である領域を強調表示したり、前記候補機器の各領域の一致度の標準偏差が所定の値以上である領域を強調表示するようにしたので、作業者は、強調表示された部分に注目することで、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１５】
また、この発明の画像認識結果表示方法では、認識対象機器の画像を複数の領域に分割し、各領域の特徴量に基づいて、前記認識対象機器に類似する候補機種を少なくとも１つ以上抽出し、前記認識対象機器に対する前記候補機器の各領域の一致度を算出し、少なくとも１つ以上の候補機器を表示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を強調表示することを特徴とする。
【００１６】
この発明の画像認識結果表示方法によれば、認識対象機器の画像を複数の領域に分割し、各領域の特徴量に基づいて前記認識対象機器に類似する候補機種を少なくとも１つ以上抽出し、前記認識対象機器に対する前記候補機器の各領域の一致度を算出し、少なくとも１つ以上の候補機器を表示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を強調表示するようにしたので、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１７】
また、この発明の画像認識結果表示方法では、前記候補機器の各領域の一致度の平均値を算出し、前記少なくとも１つ以上の候補機器を表示する際に、前記認識対象機器に対する前記候補機器の各領域の一致度と前記一致度の平均値との差分が所定の値以上ある領域を強調表示したり、前記少なくとも１つ以上の候補機器を表示する際に、前記認識対象機器に対する前記候補機器の各領域の一致度の候補機器同士におけるばらつきが所定の値以上ある領域を強調表示するようにしたので、作業者は、強調表示された部分に注目することで、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００１８】
この発明の画像認識結果提示プログラムでは、認識対象機器の外観の画像を取り込むステップと、前記取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出するステップと、前記認識対象機器の各領域の特徴量に基づいて、前記認識対象機器に対する候補機器の各領域の一致度を算出するステップと、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出するステップと、前記少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を付加情報として提示するステップとをコンピュータに実行させることを特徴とする。
【００１９】
この発明の画像認識結果提示プログラムによれば、取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出し、前記認識対象機器の各領域の特徴量に基づいて、前記認識対象機器に対する候補機器の各領域の一致度を算出し、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出し、少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しない領域を付加情報として提示する。したがって、作業者は、付加情報を確認することで、一致しない部分が分かるので、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することができる。
【００２０】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態による画像認識装置の構成を示すブロック図である。図１において、カメラ１は、作業台に載せられた機器を撮影する。対象物切り出し部２は、図２（ａ）に示すように、カメラ１によって撮影された画像データから対象物の画像を切り出す。なお、ここでは、対象物としてプリンタを撮影した場合の例を示している。特徴量計算部３は、図２（ｂ）に示すように、切り出した対象物の画像を複数の領域に分割し、各領域の特徴量を計算する。特徴量としては、色ヒストグラム、テクスチャ情報などの公知のものを用いる。対象物の画像は、ｎ×ｍの領域、例えば、図２（ｃ）に示すように、（０，０）〜（３，５）の２４領域に分割される。
【００２１】
マッチング部４は、各領域の特徴量と、特徴データベース５の特徴量とのマッチング処理を行ない、対象物に類似する候補機種を抽出する。特徴データベース５は、複数の候補機種の機種提示用画像と、該機種提示用画像をｎ×ｍの領域に分割した場合の各領域の特徴量とを保持している。一致度計算部６は、マッチング部４により抽出された候補機種の各領域の特徴量と、対象物の特徴量とに基づいて、各領域の一致度を計算する。候補表示部７は、一致度計算部６によって算出された一致度に基づいて、候補機種の機種提示用画像をディスプレイ８に表示する際に、対象物と一致しない領域を強調表示する。
【００２２】
Ａ−２．第１実施形態の動作
次に、本第１実施形態の動作について詳細に説明する。ここで、図３および図４は、本第１実施形態の動作を説明するためのフローチャートである。まず、対象物の画像を取得し（ステップＳ１）、画像をｎ×ｍ（この場合、４×６）の領域に分割する（ステップＳ２）。次に、各領域における特徴量を計算する（ステップＳ３）。特徴量としては、色ヒストグラム、テクスチャ情報など、公知のものを用いる。
【００２３】
次に、特徴データベース５を全て走査したか否かを判断する（ステップＳ４）。そして、まだ走査していないものがある場合には、特徴データベース５から１つの機種の全領域の特徴量を取得する（ステップＳ５）。次に、対象物の各領域における特徴量と、特徴データベース５の機種の各領域における特徴量との一致度を計算する（ステップＳ６）。一致度の計算としては、差分絶対和、差分２乗和などの公知のものを用いる。なお、一致度は、「０」で一致を意味し、一致しないほど大きな値となる。
【００２４】
次に、全領域の一致度を計算し（ステップＳ７）、全領域の一致度が所定の閾値Ａ以下であるか否かを判断する（ステップＳ８）。そして、全領域の一致度が閾値Ａ以下でなければ、類似しない機種であると判断して候補から除外し、ステップＳ４へ戻り、上述した処理を繰り返す。
【００２５】
一方、全領域の一致度が所定の閾値Ａ以下である場合、すなわち類似する機種であると判断される場合には、類似機種として機種提示用画像と各領域の一致度とを保存し（ステップＳ９）、ステップＳ４へ戻り、上述した処理を繰り返す。以下、特徴データベース５に保存されている、全領域の一致度が閾値Ａ以下、すなわち、類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存する。
【００２６】
そして、特徴データベース５を全て走査し終えると、保存した類似機種を全て表示したか否かを判断し（ステップＳ１０）、全て表示し終えていなければ、保存した機種提示用画像と各領域の一致度とを取得する（ステップＳ１１）。次に、機種提示用画像に対して各領域の一致度が所定の閾値Ｂ（例えば、０．５）以上の値の領域（図６、図７の斜線領域）、すなわち、対象物と一致しない領域を強調して表示し（ステップＳ１２）、ステップＳ１０へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の一致度が閾値Ｂ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００２７】
次に、例を挙げて具体的に説明する。上記処理により作業台上の対象機種に類似する機種として、３つの候補機種、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」が抽出されたとする。ここで、図５は、機種名「ＰＭ−１２３」の機種提示用画像と各領域の一致度とを示す概念図である。また、図６は、機種名「ＰＭ−４５６」の機種提示用画像と各領域の一致度、図７は、機種名「ＰＭ−７８９」の機種提示用画像と各領域の一致度とを示す概念図である。
【００２８】
図５（ａ）に示す機種名「ＰＭ−１２３」の機種提示用画像には、図５（ｂ）に示すように、所定の閾値Ｂ（例えば、０．５）以上の一致度の領域がない。また、図６（ａ）に示す機種名「ＰＭ−４５６」の機種提示用画像には、図６（ｂ）に示すように、（１，１）、（２，３）、（２，４）の領域が所定の閾値Ｂ（例えば、０．５）以上の値を示している。また、図７（ａ）に示す機種名「ＰＭ−７８９」の機種提示用画像には、図７（ｂ）に示すように、（０，２）、（０，３）、（２，３）、（２，４）、（３，１）の領域が所定の閾値Ｂ（例えば、０．５）以上の値を示している。
【００２９】
したがって、ディスプレイ８には、図８に示すように、機種名「ＰＭ−１２３」の機種提示用画像には、いずれの領域も強調表示されず、機種名「ＰＭ−４５６」の機種提示用画像には、（１，１）、（２，３）、（２，４）の領域に対応する部分が強調表示され（図では太実線で示している）、機種名「ＰＭ−７８９」の機種提示用画像には、（０，２）、（０，３）、（２，３）、（２，４）、（３，１）の領域に対応する部分が強調表示される（図では太実線で示している）。したがって、作業者は、作業台上の対象機種と機種名「ＰＭ−１２３」がかなり類似している、すなわち、最も類似していると容易に判断することが可能である。
【００３０】
このように、本第１実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際に、それぞれの候補機種において対象機種に対して一致しない部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に判別して選択することが可能となる。
【００３１】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。なお、全体構成については図１と同様であるので説明を省略する。本第２実施形態では、類似機種として抽出した候補機種同士で一致度を比較するために、各類似機種の一致度と全類似機種の平均値（平均一致度）との誤差（２乗誤差）を算出し、その一致度誤差に基づいて強調表示する領域を決定することを特徴としている。
【００３２】
Ｂ−１．第２実施形態の動作
次に、本第２実施形態の動作について詳細に説明する。ここで、図９および図１０は、本第２実施形態の動作を説明するためのフローチャートである。まず、対象物の画像を取得し（ステップＳ２０）、画像をｎ×ｍ（この場合、４×６）の領域に分割する（ステップＳ２１）。次に、各領域における特徴量を計算する（ステップＳ２２）。特徴量としては、色ヒストグラム、テクスチャ情報など、公知のものを用いる。
【００３３】
次に、特徴データベース５を全て走査したか否かを判断する（ステップＳ２３）。そして、まだ走査していないものがある場合には、特徴データベース５から１つの機種の全領域の特徴量を取得する（ステップＳ２４）。次に、対象物の各領域における特徴量と、特徴データベース５の機種の各領域における特徴量との一致度を計算する（ステップＳ２５）。一致度の計算としては、差分絶対和、差分２乗和などの公知のものを用いる。なお、一致度は、「０」で一致を意味し、一致しないほど大きな値となる。
【００３４】
次に、全領域の一致度を計算し（ステップＳ２６）、全領域の一致度が所定の閾値Ａ以下であるか否かを判断する（ステップＳ２７）。そして、全領域の一致度が閾値Ａ以下でなければ、類似しない機種であると判断して候補から除外し、ステップＳ２３へ戻り、上述した処理を繰り返す。
【００３５】
一方、全領域の一致度が所定の閾値Ａ以下である場合、すなわち類似する機種であると判断される場合には、類似機種として機種提示用画像と各領域の一致度とを保存し（ステップＳ２８）、ステップＳ２３へ戻り、上述した処理を繰り返す。以下、特徴データベース５に保存されている、全領域の一致度が閾値Ａ以下、すなわち、類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存する。
【００３６】
そして、特徴データベース５を全て走査し終えると、強調部領域の計算＆表示処理へ進む（ステップＳ２９）。以下、強調部領域の計算＆表示処理について図１０を参照して詳細に説明する。まず、保存した全類似機種の各領域の一致度を取得し（ステップＳ４０）、全類似機種の各領域の一致度の平均値（平均一致度）を算出する（ステップＳ４１）。例えば、前述した図５ないし図７に示す類似機種である、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」の場合、全類似機種の各領域の一致度の平均値は、図１１（ａ）に示すものとなる。
【００３７】
次に、保存した類似機種を全て表示したか否かを判断し（ステップＳ４２）、全て表示し終えていなければ、保存した機種提示用画像と各領域の一致度とを取得する（ステップＳ４３）。次に、各領域において、それぞれの一致度と平均一致度との平均値誤差（２乗誤差）を計算する（ステップＳ４４）。ここで、図１１（ｂ）は、機種名「ＰＭ−１２３」の各領域における平均値誤差、図１１（ｃ）は、機種名「ＰＭ−４５６」の各領域における平均値誤差、および図１１（ｄ）は、機種名「ＰＭ−７８９」の各領域における平均値誤差である。
【００３８】
次に、機種提示用画像に対して各領域の平均値誤差が所定の閾値Ｃ（例えば、０．１）以上の値の領域（図１１の斜線領域）、すなわち、一致度の平均値から大きく離れている領域を強調して表示し（ステップＳ４５）、ステップＳ４２へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の平均値誤差が所定の閾値Ｃ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００３９】
したがって、ディスプレイ８には、図１２に示すように、機種名「ＰＭ−１２３」の機種提示用画像には、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−４５６」の機種提示用画像には、（１，１）、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−７８９」の機種提示用画像には、（０，２）、（０，３）、（２，４）の領域に対応する部分が強調表示される（図では太実線で示している）。作業者は、作業台上の対象機種がいずれの機種であるかを判断する際、強調表示された部分を注目することで、最も類似している機種を容易に判別することが可能である。
【００４０】
このように、本第２実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際に、候補機種同士の一致度の平均値から、各候補機種の各領域における平均値誤差を算出し、該平均値誤差に従って、一致しない部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に選択することが可能となる。
【００４１】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。なお、全体構成については図１と同様であるので説明を省略する。本第３実施形態では、前述した第２実施形態における、強調部領域の計算＆表示処理が異なり、平均値誤差に代えて標準偏差を用いている。なお、類似機種の抽出処理については、図９に示すフローチャートと同じであるので説明を省略する。
【００４２】
Ｃ−１．第３実施形態の動作
次に、本第３実施形態の動作について詳細に説明する。ここで、図１３は、本第３実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存し、特徴データベース５を全て走査し終えると、強調部領域の計算＆表示処理へ進む。まず、保存した全類似機種の各領域の一致度を取得し（ステップＳ５０）、全類似機種の各領域の一致度の標準偏差を算出する。例えば、前述した図５ないし図７に示す類似機種である、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」の場合、全類似機種の各領域の一致度の標準偏差は、図１４に示すものとなる。
【００４３】
次に、保存した類似機種を全て表示したか否かを判断し（ステップＳ５２）、全て表示し終えていなければ、保存した類似機種の機種提示用画像を取得する（ステップＳ５３）。次に、機種提示用画像に対して、各領域の標準偏差が所定の閾値Ｄ（例えば、０．５）以上の値の領域（図１４の斜線領域）、すなわち、各候補機種同士で一致度にばらつきがある領域を強調して表示し（ステップＳ５４）、ステップＳ５２へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の標準偏差が所定の閾値Ｄ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００４４】
したがって、ディスプレイ８には、図１５に示すように、全ての機種「ＰＭ−１２３」、「ＰＭ−４５６」および「ＰＭ−７８９」で同じ領域、すなわち、（１，１）、（２，４）の領域に対応する部分が強調表示される（図では太実線で示している）。作業者は、作業台上の対象機種がいずれの機種であるかを判断する際、強調表示された部分を注目することで、最も類似している機種を容易に判別することが可能である。
【００４５】
このように、本第３実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際に、全類似機種の各領域の一致度の標準偏差を計算し、該標準偏差に従って、一致度にばらつきがある部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に選択することが可能となる。
【００４６】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。なお、全体構成については図１と同様であるので説明を省略する。本第４実施形態では、前述した第２実施形態における、強調部領域の計算＆表示処理が異なり、平均値に加えて標準偏差を用いている。なお、類似機種の抽出処理については、図９に示すフローチャートと同じであるので説明を省略する。
【００４７】
Ｄ−１．第４実施形態の動作
次に、本第４実施形態の動作について詳細に説明する。ここで、図１６は、本第４実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。類似する機種であると判断される機種の機種提示用画像と各領域の一致度とを保存し、特徴データベース５を全て走査し終えると、強調部領域の計算＆表示処理へ進む。まず、保存した全類似機種の各領域の一致度を取得し（ステップＳ６０）、全類似機種の各領域の一致度の平均値と標準偏差とを算出する（ステップＳ６１）。例えば、前述した図５ないし図７に示す類似機種である、機種名「ＰＭ−１２３」、機種名「ＰＭ−４５６」および機種名「ＰＭ−７８９」の場合、全類似機種の各領域の一致度の平均値は、前述した第１実施形態と同様に、図５（ｂ）、図６（ｂ）、図７（ｂ）に示すものとなる。また、標準偏差は、前述した第３実施形態と同様に、図１４に示すものとなる。
【００４８】
次に、保存した類似機種を全て表示したか否かを判断し（ステップＳ６２）、全て表示し終えていなければ、保存した機種提示用画像を取得する（ステップＳ６３）。次に、各領域において、それぞれの一致度と平均一致度との誤差（平均値誤差：２乗誤差）を計算する（ステップＳ６４）。各類似機種の平均値誤差は、前述した第２実施形態と同様に、図１１（ｂ）、（ｃ）、（ｄ）に示すものとなる。
【００４９】
次に、機種提示用画像に対して、各領域の標準偏差が所定の閾値Ｄ（例えば、０．５）以上の値の領域、すなわち、一致度にばらつきがある領域、または平均値誤差が所定の閾値Ｃ（例えば、０．１）以上の値の領域、すなわち、平均値から大きく離れている領域を強調して表示し（ステップＳ４５）、ステップＳ６２へ戻る。以下、上述した処理を繰り返し実行し、保存した類似機種の全てに対して、各領域の標準偏差が所定の閾値Ｄ以上の値の領域、または各領域の平均値誤差が所定の閾値Ｃ以上の領域を強調表示する。なお、強調表示は、例えば、その領域を赤色などで囲むことで行なう。そして、保存した類似機種を全て表示し終えると、当該処理を終了する。
【００５０】
したがって、ディスプレイ８には、図１７に示すように、機種名「ＰＭ−１２３」の機種提示用画像では、（１，１）、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−４５６」の機種提示用画像では、（１，１）、（２，４）の領域に対応する部分が強調表示され、機種名「ＰＭ−７８９」の機種提示用画像では、（０，２）、（０，３）、（１，１）、（２，４）の領域に対応する部分が強調表示される（図では太実線で示している）。作業者は、作業台上の対象機種がいずれの機種であるかを判断する際、強調表示された部分を注目することで、最も類似している機種を容易に判別することが可能である。
【００５１】
このように、本第４実施形態では、作業台の対象機種と類似していると判断される少なくとも１つ以上の候補機種を表示する際、候補機種同士の一致度の平均値と標準偏差とを計算し、各候補機種の各領域における平均値誤差と標準偏差とに従って、一致しない部分または一致度にばらつきがある部分を強調表示するようにしたので、作業者は、作業台上の対象機種に最も類似する候補機種を容易に選択することが可能となる。
【図面の簡単な説明】
【図１】第１実施形態の画像認識装置の構成を示すブロック図である。
【図２】対象物の画像、画像の領域分割を説明するための概念図である。
【図３】第１実施形態の動作を説明するためのフローチャートである。
【図４】第１実施形態の動作を説明するためのフローチャートである。
【図５】機種提示用画像と各領域の一致度を示す概念図である。
【図６】機種提示用画像と各領域の一致度を示す概念図である。
【図７】機種提示用画像と各領域の一致度を示す概念図である。
【図８】本第１実施形態における表示例を示す模式図である。
【図９】第２実施形態の動作を説明するためのフローチャートである。
【図１０】第２実施形態の動作を説明するためのフローチャートである。
【図１１】第２実施形態の強調表示に用いる一致度の平均値、平均値誤差を示す概念図である。
【図１２】第２実施形態における表示例を示す模式図である。
【図１３】第３実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。
【図１４】第３実施形態の強調表示に用いる一致度の標準偏差を示す概念図である。
【図１５】第３実施形態における表示例を示す模式図である。
【図１６】第４実施形態による強調部領域の計算＆表示処理を説明するためのフローチャートである。
【図１７】本第４実施形態における表示例を示す模式図である。
【符号の説明】
１ カメラ（画像取込手段）、２ 対象物切り出し部、３ 特徴量計算部（特徴量算出手段）、４ マッチング部（候補機器抽出手段）、５ 特徴データベース（記憶手段）、６ 一致度計算部（一致度算出手段）、７ 候補表示部（提示手段）、８ ディスプレイ
Claims (9)
- 認識対象機器の外観の画像を取り込む画像取込手段と、
前記画像取込手段によって取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出する特徴量算出手段と、
前記認識対象機器を特定するための候補機器の各領域の特徴量を記憶する記憶手段と、
前記特徴量算出手段によって算出された前記認識対象機器の各領域の特徴量と、前記記憶手段に記憶されている前記候補機器の各領域の特徴量とに基づいて、前記認識対象機器に対する前記候補機器の各領域の一致度を算出する一致度算出手段と、
前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出する候補機器抽出手段と、
前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器を提示する際に、前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しない領域を付加情報として提示する提示手段と
を具備することを特徴とする画像認識結果提示装置。 - 前記提示手段は、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器の提示用画像を一覧表示する際に、前記認識対象機器に対して一致しない領域を強調表示することを特徴とする請求項１記載の画像認識結果提示装置。
- さらに、前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器の一致度の平均値を算出する平均値算出手段を具備し、
前記提示手段は、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器の提示用画像を一覧表示する際に、前記候補機器の各領域の一致度と前記平均値算出手段によって算出された平均値との差分が所定の値以上である領域を強調表示することを特徴とする請求項１記載の画像認識結果提示装置。 - さらに、前記一致度算出手段によって算出された前記候補機器の各領域の一致度に基づいて、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器の一致度の標準偏差を算出する標準偏差算出手段を具備し、
前記提示手段は、前記候補機器抽出手段によって抽出された少なくとも１つ以上の候補機器の提示用画像を一覧表示する際に、前記標準偏差算出手段によって算出された標準偏差が所定の値以上である領域を強調表示することを特徴とする請求項１記載の画像認識結果提示装置。 - 認識対象機器の画像を複数の領域に分割し、各領域の特徴量に基づいて、前記認識対象機器に類似する候補機種を少なくとも１つ以上抽出し、前記認識対象機器に対する前記候補機器の各領域の一致度を算出し、少なくとも１つ以上の候補機器を表示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を強調表示することを特徴とする画像認識結果表示方法。
- 前記候補機器の各領域の一致度の平均値を算出し、前記少なくとも１つ以上の候補機器を表示する際に、前記認識対象機器に対する前記候補機器の各領域の一致度と前記一致度の平均値との差分が所定の値以上ある領域を強調表示することを特徴とする請求項５記載の画像認識結果表示方法。
- 前記少なくとも１つ以上の候補機器を表示する際に、前記認識対象機器に対する前記候補機器の各領域の一致度の候補機器同士におけるばらつきが所定の値以上ある領域を強調表示することを特徴とする請求項５記載の画像認識結果表示方法。
- 認識対象機器の外観の画像を取り込むステップと、
前記取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出するステップと、
前記認識対象機器の各領域の特徴量に基づいて、前記認識対象機器に対する前記候補機器の各領域の一致度を算出するステップと、
前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出するステップと、
前記少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を付加情報として提示するステップと
をコンピュータに実行させることを特徴とする画像認識結果提示プログラム。 - 認識対象機器の外観の画像を取り込むステップと、
前記取り込まれた画像を複数の領域に分割し、各領域の特徴量を算出するステップと、
前記認識対象機器の各領域の特徴量に基づいて、前記認識対象機器に対する前記候補機器の各領域の一致度を算出するステップと、
前記候補機器の各領域の一致度に基づいて、前記認識対象機器に類似する候補機器を少なくとも１つ以上抽出するステップと、
前記少なくとも１つ以上の候補機器を提示する際に、前記候補機器の各領域の一致度に基づいて、前記認識対象機器に対して一致しないと判断される領域を付加情報として提示するステップと
をコンピュータに実行させる画像認識結果提示プログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003058664A JP2004272357A (ja) | 2003-03-05 | 2003-03-05 | 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003058664A JP2004272357A (ja) | 2003-03-05 | 2003-03-05 | 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004272357A true JP2004272357A (ja) | 2004-09-30 |
Family
ID=33121725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003058664A Withdrawn JP2004272357A (ja) | 2003-03-05 | 2003-03-05 | 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004272357A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011151485A (ja) * | 2010-01-19 | 2011-08-04 | Ntt Docomo Inc | 動画作成装置及び動画作成方法 |
| US8311320B2 (en) | 2007-10-25 | 2012-11-13 | Fujitsu Limited | Computer readable recording medium storing difference emphasizing program, difference emphasizing method, and difference emphasizing apparatus |
| JP2015511831A (ja) * | 2012-01-27 | 2015-04-23 | イボクラール ビバデント アクチェンゲゼルシャフト | 歯科装置 |
| JP2016508769A (ja) * | 2013-01-28 | 2016-03-24 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 医用画像処理 |
| US9480544B2 (en) | 2012-01-27 | 2016-11-01 | Ivoclar Vivadent Ag | Dental furnace |
| JP2018049655A (ja) * | 2015-09-08 | 2018-03-29 | 日本電気株式会社 | 顔認識装置、顔認識方法、顔認識プログラム、表示制御装置、表示制御方法および表示制御プログラム |
| JP2018055506A (ja) * | 2016-09-29 | 2018-04-05 | 株式会社カブク | 情報処理装置、情報処理方法及びプログラム |
| JP2019139384A (ja) * | 2018-02-07 | 2019-08-22 | グローリー株式会社 | 文字認識システム、文字認識プログラム、文字認識方法、文字認識結果の表示装置、文字鮮明化システム、文字鮮明化プログラム、文字鮮明化方法、及び文字鮮明化画像の表示装置 |
-
2003
- 2003-03-05 JP JP2003058664A patent/JP2004272357A/ja not_active Withdrawn
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8311320B2 (en) | 2007-10-25 | 2012-11-13 | Fujitsu Limited | Computer readable recording medium storing difference emphasizing program, difference emphasizing method, and difference emphasizing apparatus |
| JP2011151485A (ja) * | 2010-01-19 | 2011-08-04 | Ntt Docomo Inc | 動画作成装置及び動画作成方法 |
| US10219881B2 (en) | 2012-01-27 | 2019-03-05 | Ivoclar Vivadent Ag | Dental furnace |
| US9480544B2 (en) | 2012-01-27 | 2016-11-01 | Ivoclar Vivadent Ag | Dental furnace |
| US10182891B2 (en) | 2012-01-27 | 2019-01-22 | Ivoclar Vivadent Ag | Dental device |
| JP2015511831A (ja) * | 2012-01-27 | 2015-04-23 | イボクラール ビバデント アクチェンゲゼルシャフト | 歯科装置 |
| JP2016508769A (ja) * | 2013-01-28 | 2016-03-24 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 医用画像処理 |
| US10970524B2 (en) | 2015-09-08 | 2021-04-06 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| JP2018049655A (ja) * | 2015-09-08 | 2018-03-29 | 日本電気株式会社 | 顔認識装置、顔認識方法、顔認識プログラム、表示制御装置、表示制御方法および表示制御プログラム |
| US11842566B2 (en) | 2015-09-08 | 2023-12-12 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| US10671837B2 (en) | 2015-09-08 | 2020-06-02 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| US10885312B2 (en) | 2015-09-08 | 2021-01-05 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| US10885311B2 (en) | 2015-09-08 | 2021-01-05 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
| JP2018055506A (ja) * | 2016-09-29 | 2018-04-05 | 株式会社カブク | 情報処理装置、情報処理方法及びプログラム |
| JP7075770B2 (ja) | 2018-02-07 | 2022-05-26 | グローリー株式会社 | 文字認識システム、文字鮮明化システム、文字鮮明化プログラム、文字鮮明化方法、及び文字鮮明化画像の表示装置 |
| JP2019139384A (ja) * | 2018-02-07 | 2019-08-22 | グローリー株式会社 | 文字認識システム、文字認識プログラム、文字認識方法、文字認識結果の表示装置、文字鮮明化システム、文字鮮明化プログラム、文字鮮明化方法、及び文字鮮明化画像の表示装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5134664B2 (ja) | アノテーション装置 | |
| JP3602596B2 (ja) | ドキュメントファイリング装置および方法 | |
| JP4890116B2 (ja) | パーツカタログ作成方法およびパーツカタログ作成装置 | |
| JP4498203B2 (ja) | メータ認識システム、メータ認識方法、およびメータ認識プログラム | |
| JP2004272357A (ja) | 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体 | |
| JP2006277001A (ja) | 入力イメージ表示方法および入力イメージ表示プログラム | |
| CN112532884B (zh) | 识别方法、装置及电子设备 | |
| JP2009134673A (ja) | Ｇｕｉ画面操作シーケンス検証装置、方法、及び、プログラム | |
| JP2004220081A (ja) | 形状モデル簡略化装置 | |
| JP2009031937A (ja) | 帳票画像処理装置及び帳票画像処理プログラム | |
| JP7015130B2 (ja) | データ処理装置 | |
| JP6818795B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
| JP2003223610A (ja) | 文字認識装置及び文字認識方法 | |
| JP2005184624A (ja) | 商品販売・管理方法、商品販売・管理システムおよびサーバ | |
| JP2017097859A (ja) | 情報処理装置と、その処理方法及びプログラム | |
| JP4712629B2 (ja) | 設備仕様入力装置 | |
| JP3199009B2 (ja) | 画像蓄積・管理装置及び画像インデックス生成方法 | |
| JP7013612B2 (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、及びコンピュータ装置 | |
| KR102330095B1 (ko) | 마인드맵을 이용한 업무 프로세스 추천 장치 | |
| JP2009176164A (ja) | 画像処理装置及び画像処理方法 | |
| US20210158588A1 (en) | Data-creation assistance apparatus, data-creation assistance method, and data-creation assistance program | |
| WO2015004730A1 (ja) | 検索方法及び電子機器 | |
| JP2016053751A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6663105B2 (ja) | 投影装置、投影プログラムおよび投影方法 | |
| JP2016224884A (ja) | 情報処理装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060509 |