JP2014056486A - 画像ネットワークシステム、画像表示端末および画像処理方法 - Google Patents

Abstract

【課題】GPSや電子コンパスのようなセンサや二次元コードを利用することなく、画像処理のみでカメラの位置を特定し、点検対象を特定する。
【解決手段】画像を撮影するカメラ付き端末と、前記カメラで撮影された画像をクエリとして検索を行う検索サーバ３０と、を備える画像ネットワークシステムであって、前記検索サーバ３０は、検出対象のテンプレート画像を保存するデータベース４１と、前記カメラで撮影された画像に対して走査窓を生成し、前記走査窓で走査することで候補領域を抽出する候補領域抽出部４０６と、前記候補領域をクエリとし類似画像検索を行うことで前記テンプレート画像と類似する候補領域をオブジェクト画像として取得する検索部４０４と、前記オブジェクト画像を変形することで前記テンプレート画像と同等の画像へと補正する補正部４０３と、を備え、前記カメラ付き端末は、取得したオブジェクト画像に対応する表示データを表示する。
【選択図】図５

Description

本発明は、カメラを備える表示端末と画像処理を行うサーバからなる画像ネットワークシステム、およびこれらを一体化した画像表示端末に関する。

近年、海外でのプラントの保守や建設の計画が進む一方、熟練者不足が予測されおり、経験の浅い作業員の割合が増加すると予測されている。そのため、ＩＴ機器を利用して作業員の補助をする機能が求められている。例えば、海外の建設現場にカメラを多数配置し、インターネットを経由して国内にいる監督者に画像を提供することで、監督者は国内にいながらにして複数の建設現場への指示を行うことが可能となり、効率よく作業指示などの監督業務を行うことができる。

また、作業者を支援する技術として、カメラで撮影した画像に文字等の情報を重畳表示することで情報提示する、拡張現実感(Augmented Reality: AR)と呼ばれる技術を応用することにより、作業者を支援する技術が開発されつつある。例えば、GPSおよび電子コンパスよりカメラの位置および方向を取得し、該方向に関連する文字や画像を、カメラで撮影した画像に重畳表示する技術がある。特許文献１には、GPSと電子コンパスと焦点距離から、カメラの地図情報空間上での位置を取得し、3D−CAD上での視野空間を求め、その視野空間中に存在する構造物の属性情報をカメラで得た画像に重畳表示することが記載されている。また、非特許文献１に示す通り、情報提供したい箇所に、二次元コードを予め設置し、該設置してある二次元コードをカメラで読み取り認識し、カメラにより撮影した画像の二次元コードの位置に情報を提示する技術がある。拡張現実感をプラントの保守や建設現場で応用することにより、機器の状態や内部構造を可視化し状態把握を補助したり、作業手順を見ている機器に応じて表示したりすることが可能となる。例えばプラントの保守現場の場合、制御盤の計器の状態やバルブの開閉状態などが保守対象であり、電流計を読むことやランプの状態を確認することなど制御盤ごとに異なる作業が発生する。そのため、作業員が巡回しつつ点検する中で、点検中の制御盤に応じた作業内容や過去の計器状態を提示したり、計器の値を自動で読み込むことで、作業のミスを無くし、効率的に作業を行うことが可能となる。また、撮影した画像を点検した記録として残しておくことも可能である。

特開平１０−２６７６７１号公報

X.Zhang, S.Fronz, N.Navab: Visual Marker Detection and Decoding in AR Systems: A Comparative Study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.

前述した従来技術によると、作業対象がカメラに撮影されているか把握する手段が必要である。そのため、カメラ位置を特定する手段が必要となる。プラントに複数のカメラを配置した場合、作業の進捗に応じてカメラ位置を随時変更するため、どのカメラがどこを撮影しているか分からなくなるという問題があった。また、ARによる位置情報を提示する際も、カメラの位置把握が必要となる。作業員が、カメラを移動させる度にシステムに通知することでシステムがカメラ位置を把握することも考えられるが、作業員の負担が増えるため望ましくない。そのため、システムがカメラの位置を自動で把握する機能が必要である。

例えば、位置把握技術の例として、特許文献１に示される通りGPSおよび電子コンパスを使用する技術がある。しかし、プラントの保守に適用する場合、屋内のためGPSによる位置把握ができないという問題がある。屋内GPSなども実用化されているが、施設の条件によっては設置が困難な場合がある。また、磁場の変化に敏感な電子コンパスや磁界センサは、プラント内部で使用できない場合がある。

また、非特許文献１のように、二次元コードを予め配置することも考えられるが、設置の手間がかかり、場所によっては設置自体が困難なこともある。プラント内は配管等が複雑に入り組んでいるため二次元コードが隠れて撮影されない場合や、二次元コードを設置した位置にしか情報が提示できないため離散的になるという問題がある。また、稼働中の機器に関しては二次元コードを設置することが困難であるため、使用できない。

本発明は、GPSや電子コンパスのようなセンサを用いることなく、かつ二次元コードを予め設置することなく、画像処理のみでカメラの位置を特定し、点検対象を特定することを目的とする。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像を撮影するカメラを備えるカメラ付き端末と、前記カメラで撮影された画像をクエリとして検索を行う検索サーバと、を備える画像ネットワークシステムであって、前記検索サーバは、前記カメラで撮影された画像に対して走査窓を生成し、前記走査窓で走査することで候補領域を抽出する候補領域抽出部と、前記候補領域をクエリとし類似画像検索を行うことでテンプレート画像と類似する候補領域をオブジェクト画像として取得する検索部と、前記オブジェクト画像を変形することで前記テンプレート画像と同等の画像へと補正する補正部と、を備え、前記カメラ付き端末は、取得したオブジェクト画像に対応する表示データを表示することを特徴とするものである。

本発明の画像表示端末は、画像を撮影するカメラと、前記カメラで撮影された画像に対して走査窓を生成し、前記走査窓で走査することで候補領域を抽出する候補領域抽出部と、前記候補領域をクエリとし類似画像検索を行うことでテンプレート画像と類似する候補領域をオブジェクト画像として取得する検索部と、前記オブジェクト画像を変形することで前記テンプレート画像と同等の画像へと補正する補正部と、取得したオブジェクト画像に対応する表示データを表示する表示部と、を備えるものである。

本発明の画像処理方法は、カメラで画像を撮影するステップと、前記撮影した画像に対し走査窓を生成し、前記走査窓で走査することで候補領域を抽出するステップと、前記候補領域をクエリとし類似画像検索を行うことでテンプレート画像と類似する候補領域をオブジェクト画像として取得するステップと、前記オブジェクト画像を変形することで前記テンプレート画像と同等の画像へと補正するステップと、取得したオブジェクト画像に対応する表示データを表示するステップと、を備えるものである。

本発明によれば、GPSや電子コンパスのようなセンサを用いることなく、かつ二次元コードを予め設置することなく、画像処理技術のみで点検対象を特定することができる。そして、作業員が持つ端末に作業情報などを効率良く提示することができる。

本発明の実施例１の画像ネットワークシステムの全体構成を示す図である。 本発明の実施例１のカメラ付き端末のハードウェア構成を表すブロック図である。 本発明の実施例１のカメラ付き端末の機能を表すブロック図である。 本発明の実施例１の検索サーバのハードウェア構成を表すブロック図である。 本発明の実施例１の検索サーバの機能を表すブロック図である。 本発明の設備管理ＤＢのフォーマットの一例を表す図である。 本発明のテンプレートＤＢのフォーマットの一例を示す図である。 本発明のフレーム画像のフォーマットの一例を示す図である。 本発明の実施例１のオブジェクト検知方法を示す模式図である。 本発明の実施例１のオブジェクト検知手順を示すフローチャートである。 本発明の実施例１の表示データ取得手順を示すシーケンス図である。 本発明の検出結果リストのフォーマットの一例を示す図である。 本発明の実施例１の表示データ取得手順を表すフローチャートである。 本発明の実施例１の複数オブジェクトが検知された場合の処理手順を示すフローチャートである。 本発明の実施例１の複数オブジェクトが検知された場合のカメラ付き端末の画面遷移を示す図である。 本発明の実施例２の画像表示端末の機能を表すブロック図である。 本発明の実施例２の表示データ取得手順を示すフローチャートである。

本発明の実施の形態を、図面を参照して説明する。

図１は、本発明の実施例１の画像ネットワークシステムの構成を示すブロック図である。

＜画像ネットワークシステムの構成＞
本発明の実施例１の画像ネットワークシステムは、カメラ付き端末１０、検索サーバ３０を備える。また、カメラ付き端末が無線付き端末である場合、無線通信を行うための基地局４０を備える。

本発明の実施例１の画像ネットワークシステムによると、カメラ付き端末１０は作業員５０が保持しており、位置に応じた情報を作業員へと提示する。そのため、カメラ付き端末１０は、図２に示す通り、CPU１０１、メモリ１０２、電源１０３、ハードディスクドライブやソリッドステートドライブ等の記憶装置１０４、作業員がコマンドを入力するためのキーボード１０５およびマウス１０６、表示部１０７、外部通信部１０８、カメラ１０９を備える。表示部１０７はタッチパネルでもよく、その場合はキーボード１０５およびマウス１０６は必要に応じて使用される。

図３はカメラ付き端末１０の機能を示すブロック図である。カメラ付き端末の機能は、カメラ２０７を制御するカメラ制御部２０１、カメラより得られた画像データをフレーム画像１１へと変換し検索サーバへと送付する送信部２０２、検索サーバから表示データ１２を受信する受信部２０３、表示データを解析する表示データ解析部２０４、表示部２０８への表示内容を制御する表示制御部２０５、およびキーボード、マウス、タッチパネルからの入力を受け付ける入力受付部２０６を備える。なお、カメラより得られた画像データは、カメラ制御部２０１から表示データ解析部２０４へも、送られる。

図４は検索サーバサーバ３０のハードウェア構成を示したブロック図である。
検索サーバは、演算装置CPU３０１、外部通信部３０２、電源３０３、ハードディスクドライブやソリッドステートドライブ等の記憶装置３０４、ユーザからの命令を入力するための入力装置であるキーボード３０５およびマウス３０６、表示装置である表示部３０７、メモリ３０８からなる計算機である。検索サーバ３０は、外部通信部３０２を経由しカメラ付き端末からフレーム画像の受信および表示データの送信を行う。CPU３０１はメモリに記憶された図５にて説明するプログラムを読み込み、プログラムの指示に従って外部通信部３０２を通じて取得したフレーム画像の加工を行い、外部通信部３０２を通じてカメラ付き端末１０へとデータの送信を行い、ハードディスクドライブ３０４に蓄積されたデータを取得したり、ハードディスクドライブ３０４にデータを蓄積したり、ディスプレイ３０７に表示したりする。またCPU３０１は、キーボード３０５およびマウス３０６から入力されたユーザコマンドの解釈を行う。

図５は本実施例の画像ネットワークシステムにおける、検索サーバ３０の機能ブロック図である。検索サーバ３０は、制御部４０１、データベース管理部４０２、補正部４０３、検索部４０４、通信部４０５、候補領域抽出部４０６を備える。制御部４０１はCPU上で動作するプログラムであり、データベース管理部４０２、補正部４０３、検索部４０４、通信部４０５、候補領域抽出部４０６の各プロセスを管理する。データベース管理部４０２は、記憶装置上に配置されているデータベースであるテンプレートDB４１、設備管理DB４２のデータの入出力を管理するプログラムである。

検索部４０４は、CPUまたはGPU上で動作するプログラムであり、図７に示す画像データ６０２より色合い・形状等の情報を数値列として表現した画像特徴量６０３を算出し、該画像データ６０２と該画像特徴量６０３とをテンプレートDB４１へと保存する。画像特徴量の代表例としては、エッジパターン特徴量が挙げられる。エッジパターン特徴量は、画像内に撮影されている物体のエッジのパターンを数値化した特徴量である。予め複数の特徴的なエッジパターンを設定する。そして、画像データを格子状の領域に分割を行い、各領域内に含まれるエッジパターンの数を数えることで、ヒストグラムを生成することにより、多次元ベクトルを生成する。該多次元ベクトルを画像特徴量として用いる。また、検索部４０４は、候補領域抽出部４０６で抽出された候補領域の特徴量をクエリとし、テンプレートDB４１に格納されている画像特徴量６０３との間で、ベクトル空間中での距離を評価し、その距離が小さいものを類似した画像と判定し、検索結果としてID６０１、書誌情報６０４、設備管理DB内ID６０５を制御部４０１へと返戻する。また、必要に応じて画像データ６０２を制御部４０１へと返戻する。

補正部４０３は、CPUまたはGPU上で動作するプログラムであり、検索部４０４で検索した結果得られた画像データ６０２と候補領域の類似度を算出する。類似度の算出は、図９にて後述する通り、候補領域を変形させる度に繰り返し行われ、類似度が収束するまで行われる。

通信部４０５はネットワークインタフェースであり、カメラ付き端末１０の外部通信部３０２と通信をして、フレーム画像１１の受信を行ったり、表示データ１２の送信を行ったりする。

図６は、本実施例の画像ネットワークシステムにおける、設備管理DB４２のフォーマットを示す図である。設備管理DBのフォーマットは、ID５０１、機器名称５０２、点検実施の有無５０３、点検順序５０４、点検内容５０５、担当者５０６、子オブジェクトのID５０７、親オブジェクト上の座標５０８、およびCAD上の座標５０９を持つ。ID５０１は設備管理DB４２が保持する個々の機器についてのレコードを識別するための識別子である。機器名称５０２は、個々の機器の名称を表すテキストデータである。点検実施の有無５０３は、個々の機器に対して点検を実施したか否かを管理するためのフィールドである。点検順序５０４は、点検の順序を数値で示したフィールドである。点検内容５０５は、個々の機器に対して実施すべき点検内容を保持しているフィールドである。点検内容は、例えば「異臭を確認」や「10A以上20A以下を確認」といったテキスト情報であり、表示データ１２のメッセージとしてカメラ付き端末１０へと送付される。担当者５０６は点検を行うべき担当者の名称を表すテキストデータである。子オブジェクトのID５０７は、機器に付属している子オブジェクトのID５０１であり、例えば電流計付きの配電盤であれば電流計のIDが格納される。親オブジェクト上の座標５０８は、前述の子オブジェクトが親オブジェクトの画像上でどの位置にあるかを示す数値であり、例えば電流計付き配電盤の場合は電流計の配電盤上における位置を表す矩形領域の左上座標(x0,y0)と右下座標(x1,y1)のペアである。CAD上の座標５０９は、該オブジェクトの3D−CAD上の座標を表す数値である。

図７は、本実施例の画像ネットワークシステムにおける、テンプレートDB４１のフォーマットを示す図である。テンプレートDBのフォーマットは、ID６０１、画像データ６０２、画像特徴量６０３、書誌情報６０４、設備管理DB内ID６０５を持つ。ID６０１はテンプレートDBが保持する個々の画像データ６０２についてのレコードを識別するための識別子である。画像データ６０２は画像の元データをバイナリ形式で保持するフィールドである。画像特徴量６０３は検索部４０４において算出する、画像そのものの持つ色や形状などの特徴を数値化した、固定長の数値ベクトルデータである。書誌情報６０４は、画像データ６０２を説明するテキストデータである。設備管理DB内ID６０５は、該画像データ６０２と設備管理DB４１の機器情報とを結びつけるためのフィールドであり、設備管理DB４１内のID５０１を保持する。

図８は、カメラ付き端末１０で撮影されたフレーム画像１１のデータフォーマットを表す。フレーム画像１１のフォーマットは、カメラID７０１、取得時刻７０２、画像データ７０３からなる。カメラ付き端末１０は、カメラ１０９にて画像データ７０３を撮影し、撮影したカメラ付き端末のIDであるカメラID７０１、取得時刻７０２を該画像データ７０３に付与し、フレーム画像１１を生成し、送信部２０２を通じて検索サーバ３０へと送信する。

＜オブジェクト検知＞
次に、フレーム画像１１内のオブジェクトを検知する方法を、図９の模式図および図１０のフローチャート図に基づき説明する。以下で説明する手法は、複数テンプレートに対する照合手法に基づく物体検出手法である。

図９が表す方法では、予め、検出したい物体の典型的な画像（テンプレート）の画像特徴量を抽出し、テンプレートデータベース４１に保存しておく。画像特徴量６０３は、色特徴や形状特徴など画像そのものが有する特徴を数値化したものであり、例えば固定長ベクトルデータで与えられる。

フレーム画像８０１が与えられると、まず、候補領域抽出部４０６において、走査窓８０２の位置やサイズを機械的に変動させ、物体の候補領域８０３を抽出する。次に、検索部４０４において、全ての候補領域８０３に対して、画像特徴量８０５を算出し、予め用意した複数のテンプレート８０６の中から、特徴量ベクトル空間８０４上での最近傍テンプレートを探索する。最近傍のテンプレートとのベクトル間距離が閾値以下であれば、物体であると判定して、候補領域を検出結果に加える。このとき、最近傍テンプレートとの距離を検出結果の信頼度として用いることができる。前記距離が最も近い候補領域が、テンプレートに最も類似している画像８０７として選択される。その後、抽出された候補領域をアフィン変換などのアルゴリズムを使用して変形させ、テンプレートとの類似度を算出する。類似度は、２つの画像間の誤差の２乗平均（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）によって求められる他、後述する相互情報量を画像間の類似度とすることができる。また、これらの値に何らかの演算を施して導出した値を類似度としてもよい。類似度が極大値に収束したか否かを判定し、収束した際の画像をオブジェクト画像として選択する。

図１０を用いて、オブジェクト検知の処理手順を説明する。ステップＳ９０１では、検知対象となるオブジェクトの画像データ６０２や書誌情報６０４、設備管理DB内ID６０５を、該画像データを用いて算出した画像特徴量６０３と共にテンプレートDB４１へと登録する。複数の入力画像に対して、同じテンプレートで検出処理を行う場合、ステップＳ９０１は最初の１回だけ行えば良い。カメラ付き端末１０よりフレーム画像８０１を取得すると（ステップＳ９０２）、フレーム画像から候補領域８０３を抽出する（ステップＳ９０３）。候補領域８０３は、走査窓を一定ステップ毎に移動、サイズ変更することで、機械的に抽出される。全ての候補領域について、ステップＳ９０４〜ステップＳ９０８の処理を行う。

ステップＳ９０５では、候補領域の信頼度を算出する。信頼度の算出方法としては、図９で述べたように、複数テンプレートとの特徴量ベースの照合を用いる方法がある。

ステップＳ９０６では、ステップＳ９０５で求めた候補領域の信頼度が閾値以下であれば、ステップＳ９０７に移動し、それ以外はステップＳ９０７をスキップする。

ステップＳ９０７は、処理中の候補領域を検出結果リストに追加する。検出結果は、領域の座標情報（例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]）と信頼度の組として出力される。

全ての候補領域に対して、ステップＳ９０４〜ステップＳ９０８の処理が済んだ場合、ステップＳ９０９はオブジェクト画像を選択する。選択の方法は、ユーザが選択しても良いし、検出結果リストより信頼度が最小の候補領域の画像をオブジェクト画像として選択しても良い。その後、オブジェクト画像を図９で述べたように変形させ（ステップＳ９１０）、テンプレートとの類似度を算出する（ステップＳ９１１）。該類似度が極大値に収束したか否かを判定し（ステップＳ９１２）、収束していない場合はＳ９１０からＳ９１２の処理を繰り返す。類似度が収束したと判定した場合、表示データ１２を図１３で後述する処理により取得し、カメラ付き端末１０へと送付する（ステップＳ９１３）。

＜表示データの表示＞
カメラ付き端末の表示部１０７への表示データ１２の表示方法に関して、図１１のシーケンス図および図１３のフローチャートに基づき説明する。

表示データ１２はXML形式で表されるデータであり、親オブジェクトか子オブジェクトかを示す識別子、該当オブジェクトの画像上の座標、画像データ、点検順序、メッセージからなる。親オブジェクトか子オブジェクトかを表す識別子は、テンプレートDB４１に登録されている検出対象のオブジェクトの場合は親オブジェクトとし、親オブジェクトに付随するオブジェクトの場合は子オブジェクトとなる。例えば、電流計付き制御盤の場合、制御盤が親オブジェクトであり、電流計が子オブジェクトである。これらの情報は、設備管理DB４２へと登録されている。オブジェクトの座標は、オブジェクトを囲む矩形領域の座標情報（例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]）であり、親オブジェクトの場合はフレーム画像内の座標を表し、子オブジェクトの場合は親オブジェクト上の座標を表す。画像データは、テンプレートDB４１に登録されている画像データ６０２である。メッセージはテキストデータであり、例えば設備管理DB４２の点検内容５０４である。

図１１は、表示データ取得時にカメラ付き端末１０と検索サーバ３０の処理の流れを表すシーケンス図と、カメラ付き端末の表示部への情報表示例を表す模式図である。カメラ付き端末１０は画像を取得（１００１）すると、画像データにカメラ付き端末の識別子であるカメラID７０１と取得時刻７０２を負荷したデータをフレーム画像１１として検索サーバ３０へと送付する。検索サーバはフレーム画像を受け取ると、図１０のＳ９０３で説明した手順で候補領域を抽出（１００２）し、返戻としてテンプレートDB４１に登録済みの画像データ群をカメラ付き端末へと送付する（１００３）。送付する画像データ群はテンプレートDBに登録済みのデータ全てでも良いが、IDが小さい順に５０件や、検出頻度の高い順に２０件などを選別して送付することができる。カメラ付き端末は、画像データ群を受信すると、表示部へと画像データ群をオブジェクト候補として描画（１００４）する。カメラ付き端末はその後、信頼度を検索サーバにリクエスト（１００５）し、検索サーバは信頼度リクエストを受信すると、図１０のＳ９０４からＳ９０８の手順を用いて検出結果リストを生成し、該検出結果リスト１１１をカメラ付き端末へと返戻する。検出結果リスト１１１は、図１２に示す通り、テンプレートDB上のID５０１、フレーム画像上でオブジェクトを囲む矩形領域の座標（例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]）１１０１、および信頼度１１０２からなる。カメラ付き端末は、検出結果リスト１１１を受け取ると、フレーム画像上に検出結果リストより得られる座標１１０１を用いて矩形１００８を描画し、同時に矩形の脇に信頼度１１０２を描画する（１００７）。カメラ付き端末は検出されたオブジェクトの表示データを取得するが、複数オブジェクトが検出された場合のオブジェクトの選択はユーザがカメラ付き端末のタッチパネルを押すことで選択する方法や、マウスクリックにより選択する方法、信頼度が最小のオブジェクトをシステムが自動で選択する方法などがある。また、複数オブジェクトの表示データを１度にまとめて要求することもできる。カメラ付き端末は、選択されたオブジェクトに関する表示データを、表示データリクエストとして検索サーバへと送付する（１００９）。検索サーバは、表示データリクエストを受信すると、図１３で説明する方法を用いて表示データ１２を生成し、カメラ付き端末へと送付する。カメラ付き端末は、表示データ１２を受信すると、表示データに記載の画像データを描画するとか、メッセージをフレーム画像上に重ねて表示するといった、作業指示の描画を行う（１０１１）。その後、表示データに計器読み取りの指示がある場合は、画像認識により取得した計測データの表示を行う。

図１３は、検索サーバ３０における表示データ取得１０１０の処理手順を表すフローチャートである。検索サーバ３０はカメラ付き端末１０より表示データリクエスト１００９を受け取ると、表示データリクエストに記載のID５０１に基づきテンプレートDB４１に問い合わせることで設備管理DB内ID６０５を取得する（Ｓ１２０１）。その後、設備管理DBのIDフィールド５０１を参照し、ID６０５が記載されているレコードを取得し、点検内容５０５を取得する（Ｓ１２０２）。そして、子オブジェクトのID５０７を取得し（Ｓ１２０３）、IDがnullかどうかを判定し（Ｓ１２０４）、IDがnullで無い場合はID５０７に該当するレコードを設備管理DBより取得する。子オブジェクトに関しては、親オブジェクト上の座標５０８を取得した後（Ｓ１２０５）、Ｓ１２０２からＳ１２０５の処理を繰り返す。子オブジェクトのIDがnullであった場合は、該親オブジェクトに関連する情報を取得済みとし、表示データ１２を生成し（Ｓ１２０６）、カメラ付き端末１０へと送付する。

＜複数候補が検出された場合の処理＞
図１４を用いて、複数のオブジェクトが検知された場合の処理手順を説明する。ステップＳ１３０１では、検知対象となるオブジェクトの画像データ６０２や書誌情報６０４、設備管理DB内ID６０５を、該画像データを用いて算出した画像特徴量６０３と共にテンプレートDB４１へと登録する。複数の入力画像に対して、同じテンプレートで検出処理を行う場合、ステップＳ１３０１は最初の１回だけ行えば良い。カメラ付き端末１０よりフレーム画像８０１を取得すると（Ｓ１３０２）、フレーム画像から候補領域８０３を抽出する（Ｓ１３０３）。候補領域８０３は、走査窓を一定ステップ毎に移動、サイズ変更することで、機械的に抽出される。全ての候補領域について、ステップＳ１３０４〜ステップＳ１３０８の処理を行う。

ステップＳ１３０５では、候補領域の信頼度を算出する。信頼度の算出方法としては、図９で述べたように、複数テンプレートとの特徴量ベースの照合を用いる方法があり、特徴量空間における距離を信頼度として用いることができる。

ステップＳ１３０６では、ステップＳ１３０５で求めた候補領域の距離が閾値以下であれば、ステップＳ１３０７に移動し、それ以外はステップＳ１３０７をスキップする。

ステップＳ１３０７は、処理中の候補領域をオブジェクト画像として検出結果リストに追加する。検出結果は、領域の座標情報（例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]）と信頼度の組として出力される。

検出結果リストに含まれる全ての検出結果に対してステップＳ１３０９からステップＳ１３１４の処理を行う。ステップＳ１３０４〜ステップＳ１３０８の結果検出結果が無い場合は、「検出結果無し」をカメラ付き端末へと送付し、処理を終了する。

ステップＳ１３１０ではオブジェクト画像を図９で述べたように変形させ、ステップＳ１３１１でテンプレートとの類似度を算出する。該類似度が極大値に収束したか否かを判定Ｓ１３１２し、収束していない場合はＳ１３１０からＳ１３１２の処理を繰り返す。類似度が収束したと判定した場合、ステップＳ１３１３は表示データ１２を図１３で後述する処理により取得する。検出結果リスト内の全ての検出結果に関してＳ１３０９〜Ｓ１３１４を実行した後、検索サーバは表示データに計器読み取り指示がある場合はステップＳ１３１５により計器を読み取り、ステップＳ１３１６では前記表示データと計器の読み取り結果をカメラ付き端末へと送付し、処理を終了する。

図１５は、複数の点検対象が撮影された際の表示部の遷移を表した模式図である。点検項目が複数ある場合、カメラ付き端末の表示データ解析部２０４は表示データに含まれる点検順序５０４を解析し、点検順序の数字が小さい順に表示データを並べ替える。その後、点検手順書１４０２と共に点検順序の数字が一番小さい表示データを、１４０１に示す通り画像に重畳表示する。ユーザは表示されている点検内容５０５を実施し、特記事項がある場合は入力欄１４０４へとキーボードを用いて入力し、タッチパネルもしくはマウスを用いて矩形領域１４０３を選択する。カメラ付き端末は入力受付部２０６にて矩形領域の選択を受け付けると、表示データ解析部は点検順序の数字が次に小さい表示データを、１４０５に示す通り表示部へと表示する。全ての点検順序に関して点検を終了すると、作業完了の通知１４０７を表示部へと表示する（１４０６）。

以上説明したように、実施例１によれば、カメラ付き端末、検索サーバが協業し、検索サーバにオブジェクト画像群を登録し、カメラ付き端末を用いて撮影したフレーム画像より算出した特徴量を用いて検索サーバが保持するオブジェクト画像群より最も類似した画像を抽出することで、フレーム画像内のオブジェクトを特定することができる。また、撮影範囲内の表示データを設備管理DBから取得することで、カメラ付き端末の表示部に作業情報などを提示することが可能である。

実施例２は、カメラ付き端末のみでオブジェクト検知、画像補正および表示データの重畳表示を行うように構成したものである。実施例２の画像表示端末を、図１６の機能ブロック図および図１７のフローチャートを用いて説明する。

図１６は、実施例２のカメラ付き端末１０の機能を表すブロック図である。カメラ付き端末は、制御部１５０１、データベース管理部１５０２、カメラ制御部１５０３、カメラ１５０４、候補領域抽出部１５０５、検索部１５０６、補正部１５０７、表示データ解析部１５０８、表示制御部１５０９、表示部１５１０、および入力受付部１５１１からなる。

制御部１５０１はCPU上で動作するプログラムであり、データベース管理部１５０２、カメラ制御部１５０３、候補領域抽出部１５０５、検索部１５０６、補正部１５０７、表示データ解析部１５０８の各プロセスを管理する。データベース管理部１５０２は、記憶装置上に配置されているデータベースであるテンプレートDB４１、設備管理DB４２のデータの入出力を管理するプログラムである。カメラ制御部１５０３は制御部１５０１からの要求に応じてカメラ１５０４を用いて画像を撮影する。候補領域抽出部１５０５はCPUまたはGPU上で動作するプログラムであり、図１７のS１６０３の処理によりフレーム画像より候補領域を抽出する。検索部１５０６は、CPUまたはGPU上で動作するプログラムであり、画像データ６０２より色合い・形状等の情報を数値列として表現した画像特徴量６０３を算出し、該画像データ６０２と該画像特徴量６０３とをテンプレートDB４１へと保存する。また、検索部１５０６は、候補領域抽出部１５０５で抽出された候補領域８０３の特徴量をクエリとし、テンプレートDB４１に格納されている画像特徴量６０３との間で、ベクトル空間中での距離を評価し、その距離が小さいものを類似した画像と判定し、検索結果としてID６０１、書誌情報６０４、設備管理DB内ID６０５を制御部１５０１へと返戻する。また、必要に応じて画像データ６０２を制御部１５０１へと返戻する。補正部１５０７はCPUまたはGPU上で動作するプログラムであり、検索部１５０６で検索した結果得られた画像データ６０２と候補領域８０３の類似度を算出する。類似度の算出は、図１０にて述べた通り、候補領域を変形させる度に繰り返し行われ、類似度が収束するまで行われる。表示データ解析部１５０８は図１３に示すフローチャートにより生成された表示データを解析し、表示領域や表示内容を抽出し、表示画面を生成する。生成された表示画面は表示制御部１５０９を通じて表示部１５１０へと送付される。また表示データ解析部１５０８は、キーボード、マウス、タッチパネルからのユーザの入力を入力受付部１５１１より取得し、入力に応じた表示画面１０１１を生成する。

なお、図１６のカメラ付き端末の機能ブロック図と図２のカメラ付き端末のハードウェアとの関係を説明すると、テンプレートＤＢ４１と設備管理ＤＢ４２はカメラ付き端末の記憶装置１０４が保持する。また、制御部１５０１、データベース管理部１５０２、カメラ制御部１５０３、候補領域抽出部１５０５、検索部１５０６、補正部１５０７、表示データ解析部１５０８、表示制御部１５１０、入力受付部１５１１は、メモリ１０２に記憶されたプログラムをカメラ付き端末のＣＰＵ１０１で実行することにより実現される。

図１７を用いて、実施例２のカメラ付き端末の処理の流れを説明する。
ステップＳ１６０１では、検知対象となるオブジェクトの画像データ６０２や書誌情報６０４、設備管理DB内ID６０５を、該画像データを用いて算出した画像特徴量６０３と共にテンプレートDB４１へと登録する。複数の入力画像に対して、同じテンプレートで検出処理を行う場合、ステップＳ１６０１は最初の１回だけ行えば良い。カメラ１５０４よりフレーム画像８０１を取得すると（Ｓ１６０２）、フレーム画像から候補領域８０３を抽出する（Ｓ１６０３）。候補領域８０３は、走査窓を一定ステップ毎に移動、サイズ変更することで、機械的に抽出される。全ての候補領域について、ステップＳ１６０４〜ステップＳ１６０８の処理を行う。

ステップＳ１６０５では、候補領域の信頼度を算出する。信頼度の算出方法としては、図９で述べたように、複数テンプレートとの特徴量ベースの照合を用いる方法があり、特徴量空間における距離を信頼度として用いることができる。

ステップＳ１６０６では、ステップＳ１６０５で求めた候補領域の距離が閾値以下であれば、ステップＳ１６０７に移動し、それ以外はステップＳ１６０７をスキップする。

ステップＳ１６０７は、処理中の候補領域をオブジェクト画像として検出結果リストに追加する。検出結果は、領域の座標情報（例えば、[矩形の左上隅の水平座標, 矩形の左上隅の垂直座標, 矩形の右下隅の水平座標, 矩形の右下隅の垂直座標]）と信頼度の組として出力される。

全ての候補領域に対して、ステップＳ１６０４〜ステップＳ１６０８の処理が済んだ場合、検出結果リストに含まれる全ての検出結果に対してステップＳ１６０９からステップＳ１６１４の処理を行う。なお、ステップＳ１６０４〜ステップＳ１６０８の結果検出結果が無い場合は、処理を終了する。
ステップＳ１６１０では、オブジェクト画像を図１０で述べたように変形させ、テンプレートとの類似度を算出Ｓ１６１１する。該類似度が極大値に収束したか否かを判定Ｓ１６１２し、収束していない場合はステップＳ１６１０からステップＳ１６１２の処理を繰り返す。類似度が収束したと判定した場合、オブジェクト画像に対応する表示データ１２を図１３で述べた処理により取得する。

全ての検出結果に対してステップＳ１６１０〜ステップＳ１６１３の処理を終了すると、ステップＳ１６１５により表示データ解析部により表示データを解析し、表示データに計器読み取り指示がある場合はステップＳ１６１６により計器を読み取り、表示データに記載の矩形領域やテキストデータより表示画面を生成し、ステップＳ１６１７により表示データを表示し、終了する。

以上説明したように、実施例２によれば、画像表示端末に内蔵したデータベースにオブジェクト画像群を登録し、画像表示端末のカメラを用いて撮影したフレーム画像より算出した特徴量を用いてデータベースが保持するオブジェクト画像群より最も類似した画像を抽出することで、フレーム画像内のオブジェクトを特定することができる。また、撮影範囲内の表示データを設備管理DBから取得することで、画像表示端末の表示部に表示データを提示することが可能である。

以上、本発明の種々の実施の形態を詳述してきたが、本発明はこれらの実施の形態に限定されるものでないこと言うまでもない。

１０ カメラ付き端末
１１ フレーム画像
１２ 表示データ
３０ 検索サーバ
４０ 基地局
４１ テンプレートＤＢ
４２ 設備管理ＤＢ
５０ 作業員
１０１ ＣＰＵ
１０２ メモリ
１０３ 電源
１０４ 記憶装置
１０５ キーボード
１０６ マウス
１０７ 表示部
１０８ 外部通信部
１０９ カメラ
１１１ 検出結果リスト
２０１ カメラ制御部
２０２ 送信部
２０３ 受信部
２０４ 表示データ解析部
２０５ 表示制御部
２０６ 入力受付部
２０７ カメラ
２０８ 表示部
３０１ ＣＰＵ
３０２ 外部通信部
３０３ 電源
３０４ 記憶装置
３０５ キーボード
３０６ マウス
３０７ 表示部
３０８ メモリ
４０１ 制御部
４０２ データベース管理部
４０３ 補正部
４０４ 検索部
４０５ 通信部
４０６ 候補領域抽出部

Claims (15)

1. 画像を撮影するカメラを備えるカメラ付き端末と、前記カメラで撮影された画像をクエリとして検索を行う検索サーバと、を備える画像ネットワークシステムであって、
   前記検索サーバは、
   前記カメラで撮影された画像に対して走査窓を生成し、前記走査窓で走査することで候補領域を抽出する候補領域抽出部と、
   前記候補領域をクエリとし類似画像検索を行うことでテンプレート画像と類似する候補領域をオブジェクト画像として取得する検索部と、
   前記オブジェクト画像を変形することで前記テンプレート画像と同等の画像へと補正する補正部と、を備え、
   前記カメラ付き端末は、取得したオブジェクト画像に対応する表示データを表示することを特徴とする画像ネットワークシステム。
2. 請求項１に記載の画像ネットワークシステムにおいて、
   前記検索サーバは、検出対象の前記テンプレート画像を保存するテンプレートデータベースを備えることを特徴とする画像ネットワークシステム。
3. 請求項２に記載の画像ネットワークシステムにおいて、
   前記検索サーバは、更に、設備情報を保存する設備管理データベースと、通信手段を備え、前記設備管理データベースから前記オブジェクト画像に対応する設備情報を取得し、前記通信手段により、取得した設備情報を表示データとしてカメラ付き端末に通知することを特徴とする画像ネットワークシステム。
4. 請求項３に記載の画像ネットワークシステムにおいて、
   前記設備情報として、作業指示を含み、
   前記カメラ付き端末は、オブジェクト画像に対応する表示データとして、前記作業指示を表示することを特徴とする画像ネットワークシステム。
5. 請求項１に記載の画像ネットワークシステムにおいて、
   前記カメラ付き端末は、前記カメラで撮影した画像のオブジェクト画像に重畳して、取得したオブジェクト画像に対応する表示データを表示することを特徴とする画像ネットワークシステム。
6. 請求項２に記載の画像ネットワークシステムにおいて、
   前記テンプレート画像を保存するテンプレートデータベースは、テンプレート画像の画像特徴量を保存し、
   前記検索部は、前記候補領域の画像特徴量と前記テンプレート画像の画像特徴量との距離に基づいて検索することを特徴とする画像ネットワークシステム。
7. 画像を撮影するカメラと、
   前記カメラで撮影された画像に対して走査窓を生成し、前記走査窓で走査することで候補領域を抽出する候補領域抽出部と、
   前記候補領域をクエリとし類似画像検索を行うことでテンプレート画像と類似する候補領域をオブジェクト画像として取得する検索部と、
   前記オブジェクト画像を変形することで前記テンプレート画像と同等の画像へと補正する補正部と、
   取得したオブジェクト画像に対応する表示データを表示する表示部と、
   を備える画像表示端末。
8. 請求項７に記載の画像表示端末において、
   検出対象の前記テンプレート画像を保存するテンプレートデータベースを備えることを特徴とする画像表示端末。
9. 請求項８に記載の画像表示端末において、更に、
   設備情報を保存する設備管理データベースを備え、前記設備管理データベースから前記オブジェクト画像に対応する設備情報を取得し、取得した設備情報を表示データとして表示することを特徴とする画像表示端末。
10. 請求項９に記載の画像表示端末において、
    前記設備情報として、作業指示を含み、
    前記表示部は、オブジェクト画像に対応する表示データとして、前記作業指示を表示することを特徴とする画像表示端末。
11. 請求項７に記載の画像表示端末において、
    前記表示部は、前記カメラで撮影した画像のオブジェクト画像に重畳して、取得したオブジェクト画像に対応する表示データを表示することを特徴とする画像表示端末。
12. 請求項８に記載の画像表示端末において、
    前記テンプレート画像を保存するテンプレートデータベースは、テンプレート画像の画像特徴量を保存し、
    前記検索部は、前記候補領域の画像特徴量と前記テンプレート画像の画像特徴量との距離に基づいて検索することを特徴とする画像表示端末。
13. カメラで画像を撮影するステップと、
    前記撮影した画像に対し走査窓を生成し、前記走査窓で走査することで候補領域を抽出するステップと、
    前記候補領域をクエリとし類似画像検索を行うことでテンプレート画像と類似する候補領域をオブジェクト画像として取得するステップと、
    前記オブジェクト画像を変形することで前記テンプレート画像と同等の画像へと補正するステップと、
    取得したオブジェクト画像に対応する表示データを表示するステップと、
    を備える画像処理方法。
14. 請求項１３に記載の画像処理方法において、
    オブジェクト画像を補正するステップの後に、オブジェクト画像に対応する設備情報を取得するステップを備え、
    前記表示データを表示するステップは、前記設備情報を表示することを特徴とする画像処理方法。
15. 請求項１３に記載の画像処理方法において、
    前記表示データを表示するステップは、カメラで撮影した画像のオブジェクト画像に重畳して、取得したオブジェクト画像に対応する表示データを表示することを特徴とする画像処理方法。

Images