JP2021190729A - 画像特定システムおよび画像特定方法 - Google Patents

Abstract

【課題】撮影制限の対象となっている対象部分が写った画像を正確に選別し、その画像が外部に漏洩されてしまうことを抑制することができる画像特定技術を提供する。【解決手段】画像特定システム１は、移動可能な端末２に搭載され、画像を撮影するカメラ８と、カメラ８による画像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部３３と、カメラ８による画像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部３４と、カメラ８による画像の撮影時の画角を特定可能な画角情報を取得する画角情報取得部３５と、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する撮影情報記録部３６とを備える。【選択図】図２

Description

本発明の実施形態は、画像特定システムおよび画像特定方法に関する。

従来、画像により所定の情報の漏洩を防止する技術がある。例えば、美術館などの展示物の盗撮妨害を目的とした技術が知られている。また、飛行ロボットに取り付けたカメラで監視場所を撮影するときに許可された場所以外での撮影を禁止する技術が知られている。また、撮影許可または撮影禁止の対象物を自動で判定し、この対象物が写る画像の保存可否を制御する技術が知られている。また、撮影が禁止されている部分が写っている場合にマスク処理を施す技術が知られている。

特開２０１１−２５７７５９号公報 特開２０１４−１７７１６２号公報 特開２０１４−１９２７５３号公報 特許第５７３１０８３号公報 特開２００９−１３５５９７号公報 特開２００６−３３９８１８号公報 特開２０１４−１９２７８４号公報

撮影許可または撮影禁止の対象物を自動で判定し、この対象物が写る画像の保存可否を制御する技術では、撮影者に秘匿情報を含む対象物の場所を知らしめてしまうおそれがある。例えば、撮影者が対象物を肉眼で確認しただけでは、それが秘匿情報を含むものであることが分からなくても、その画像の保存が拒否されることにより、それが秘匿情報を含むものであることが分かってしまう。また、撮影禁止の対象物が写っている部分が判別できなくなるように画像にモザイク処理またはマスク処理を行っても、その処理を行った部分に対象物があることが分かってしまう。また、撮影禁止の対象物が写った画像が外部に持ち出されないように、人手により画像を選別して除外することもできるが、見落としなどのミスが発生するおそれがある。なお、撮影方位および撮影位置などの撮影情報に基づいて、撮影された画像に写っている被写体の名称を抽出する技術もあるが、被写体の秘匿性を保つための技術ではない。

本発明の実施形態は、このような事情を考慮してなされたもので、撮影制限の対象となっている対象部分が写った画像を正確に選別し、その画像が外部に漏洩されてしまうことを抑制することができる画像特定技術を提供することを目的とする。

本発明の実施形態に係る画像特定システムは、移動可能な端末に搭載され、画像を撮影するカメラと、前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部と、前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部と、前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得する画角情報取得部と、前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録する撮影情報記録部と、を備える。

本発明の実施形態により、撮影制限の対象となっている対象部分が写った画像を正確に選別し、その画像が外部に漏洩されてしまうことを抑制することができる画像特定技術が提供される。

第１実施形態の画像特定システムを示すシステム構成図。 第１実施形態の画像特定システムを示すブロック図。 画像特定システムが用いられる作業現場を示す平面図。 現場端末を用いて撮影している状態を示す斜視図。 基準点管理テーブルを示す説明図。 対象機器管理テーブルを示す説明図。 端末管理テーブルを示す説明図。 撮影情報の記録態様を示す説明図。 管理コンピュータに表示される画像判定結果を示す画面図。 管理コンピュータが実行する管理制御処理を示すフローチャート。 管理コンピュータが実行する画像判定処理を示すフローチャート。 現場端末が実行する端末制御処理を示すフローチャート。 現場端末が実行するマーカ認識処理を示すフローチャート。 現場端末が実行する自己位置推定処理を示すフローチャート。 現場端末が実行する撮影制御処理を示すフローチャート。 第２実施形態の画像特定システムを示すブロック図。 管理コンピュータが実行する画像判定処理を示すフローチャート。 現場端末が実行する撮影制御処理を示すフローチャート。 第３実施形態の画像特定システムで用いるレイアウト図面を示す説明図。 第４実施形態の画像特定システムで用いる動画編集画面を示す画面図。 変形例の動画像のフレームと判定情報との関係を示す概念図。

（第１実施形態）
以下、図面を参照しながら、画像特定システムおよび画像特定方法の実施形態について詳細に説明する。まず、第１実施形態の画像特定システムおよび画像特定方法について図１から図１５を用いて説明する。

図１の符号１は、第１実施形態の画像特定システムである。この画像特定システム１は、作業現場に居る作業者Ｗが所持する現場端末２と、作業者Ｗの監視または支援を行う管理者Ｍが扱う管理コンピュータ３とを備える。

本実施形態の作業現場としては、発電プラント、化学プラント、工場などがある。これらの作業現場には、機密に関する情報または忌避すべき情報などを含む秘匿情報が管理されている場合がある。秘匿情報には、この管理エリア内に設けられる施設または機器に関する情報が含まれる。例えば、対象部分としての監視カメラなどの対象機器４（図４参照）の設置場所などの情報が含まれる。

保安上のリスク低減または技術情報の漏洩防止を目的として、秘匿情報に関するものを管理エリア内の所定の撮影場所にて撮影したときに、その画像を管理エリア外へ持ち出すことを禁止している場合がある。特に、撮影機材を持ち出す際には、内部メモリをチェックして情報管理をしている。

しかしながら、作業者Ｗが作業現場にて点検作業などを行っているときに、現場端末２で撮影した画像に秘匿情報に関するものが写り込んでしまう場合がある。そこで、画像特定システム１では、管理コンピュータ３を用いて、秘匿情報に関するものが写っている画像ファイルと、秘匿情報に関するものが写っていない画像ファイルとを選別（スクリーニング）する。そして、秘匿情報に関するものが写っている画像ファイルを公開の対象から除外し、秘匿情報に関するものが写っていない画像のみを他者に公開できるようにする。

管理コンピュータ３は、画像をチェックするチェックエリアに設けられる。そして、管理者Ｍが管理コンピュータ３を操作して、画像ファイルの選別を行う。なお、管理者Ｍを置かずに管理コンピュータ３が自動的に画像ファイルの選別をしても良い。

なお、本実施形態では、撮影制限の対象（非公開の対象）となっている対象部分としての対象機器４を監視カメラとして例示しているが、その他の態様であっても良い。例えば、対象部分としての対象機器４は、計器でも良いし、操作スイッチでも良いし、バルブでも良いし、配管でも良いし、装置でも良いし、センサでも良い。

また、本実施形態では、対象部分として対象機器４を例示しているが、対象部分は建物の所定の部分、例えば、窓、扉、壁、天井、床、通路、壁の開口部、室内空間の一部の範囲であっても良い。また、巨大な１つの装置の一部が対象部分であっても良い。さらに、１つの装置の複数箇所が対象部分であっても良い。

画像特定システム１では、対象機器４の位置が予め特定されている。そして、現場端末２の位置と撮影方向と画角とに基づいて、撮影された画像に対象機器４が写っているか否かを管理コンピュータ３により判定するようにしている。このようにすれば、管理者Ｍが目視で画像を選別する必要がなく、見落としなどのミスを防ぐことができる。また、画像に対象機器４が明りょうに写っていなくても、対象機器４が写っている可能性がある場合には、その画像を選別することができる。

なお、作業者Ｗは、現場端末２を用いて作業現場で撮影を行い、その画像が管理コンピュータ３に送信される。本実施形態の画像は、いわゆる映像であって、ビデオ映像（動画像）または静止画像のいずれでも良い。また、「画像ファイル」には、静止画像を含むファイルのみならず、動画像を含むファイルが含まれるものとして説明する。

作業者Ｗが扱う移動可能な現場端末２は、例えば、ディスプレイ６（図２参照）を備えるスマートフォン７で構成されている。このスマートフォン７には、現場の状況を撮影するためのカメラ８（図２参照）が搭載されている。なお、スマートフォン７のディスプレイ６は、画像を表示する装置であるとともに、入力装置としてのタッチパネルを兼ねる。本実施形態の入力操作には、タッチパネルを用いたタッチ操作が含まれる。

また、他の作業者Ｗが扱う異なるタイプの現場端末２は、この作業者Ｗが装着する透過型ヘッドマウントディスプレイ９を備えるウェアラブルコンピュータ１０（スマートグラス）で構成されている。このウェアラブルコンピュータ１０は、透過型ヘッドマウントディスプレイ９と分離した構造でも良い。このウェアラブルコンピュータ１０にも現場の状況を撮影するカメラが搭載されている。

なお、現場端末２は、タブレット型ＰＣまたはノートＰＣで構成されても良い。その他、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。

スマートフォン７およびウェアラブルコンピュータ１０のシステム構成は、ほぼ同一であるため、以下の説明では、スマートフォンで構成される現場端末２を例示する。なお、本実施形態は、ウェアラブルコンピュータ１０にも適用可能である。

管理者Ｍが扱う管理コンピュータ３は、例えば、デスクトップＰＣ、ノートＰＣ、またはタブレット型ＰＣなどの所定のコンピュータで構成される。本実施形態では、デスクトップＰＣを例示する。管理コンピュータ３は、コンピュータ本体１１と、管理者Ｍが視認を行うディスプレイ１２と、現場端末２と無線通信を行う無線通信装置１３を備える。ここでは、無線通信を行う例を記載しているが、有線での通信とすることも可能である。なお、ディスプレイ１２はコンピュータ本体１１と別体であっても良いし、一体であっても良い。

本実施形態において、現場端末２は、自位置および自姿勢を特定することができる。例えば、ＧＰＳ（Global Positioning System）などの位置測定システムを有していても良い。

また、現場端末２の自位置および自姿勢の変位の算出に用いる位置推定技術には、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの公知の技術を用いることができる。

本実施形態の現場端末２は、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）を用いて、現場端末２で撮影された画像に基づいて、その位置および姿勢の変位を算出する。つまり、現場端末２は、例えば、屋内などのＧＰＳが使用できない場所でも自己位置を推定することができる。

ＶＳＬＡＭ技術では、現場端末２のカメラ８およびセンサなどの所定のデバイスで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ８で撮影した動画像を解析し、物体の特徴点（例えば、角などの物体の部分）をリアルタイムに追跡する。そして、現場端末２の位置または姿勢の３次元情報を推定する。

図３に示すように、作業者Ｗが作業を行う作業現場として所定の建物１４を例示する。例えば、発電プラントにおける所定の区画に設けられた建物１４が作業現場となっている。この作業現場は、壁で囲まれた複数の部屋１５がある。これら複数の部屋１５のうち、１つの部屋１５が作業現場として予め設定される。つまり、この部屋１５が、現場端末２が画像の取得が許可されている許可エリア１６として予め設定される。なお、許可エリア１６以外では、画像の取得が許可されていないもの（非許可エリア）として説明する。

建物１４の出入口１７は、現場端末２の位置を推定する基準となる基準点として設定される。この建物１４の出入口１７には、本実施形態の特定被写体としてのマーカ５が配置される。また、それぞれの部屋１５の出入口１８も、現場端末２の位置を推定する基準となる基準点として設定される。これらの部屋１５の出入口１８にも、マーカ５が配置される。なお、マーカ５は、出入口１７，１８の近傍の壁面に設けられても良いし、出入口１７，１８の扉面に設けられても良い。

作業者Ｗは、作業を開始するときに、まず、建物１４の出入口１７でマーカ５を撮影する。ここで、現場端末２は、マーカ５が写った撮影画像に基づいて、自位置および自姿勢を推定する。なお、建物１４の出入口１７でマーカ５の撮影を開始し、移動中も撮影を継続することで、基準点から現場端末２が移動した移動経路１９を推定できる。

なお、マーカ５は、画像認識が可能な図形である。例えば、マトリックス型２次元コード、所謂ＱＲコード（登録商標）をマーカ５として用いる。また、建物１４または建物１４に設置されている対象機器４などの場所を特定できる情報を特定被写体（マーカ）として用いても良い。例えば、出入口１７の銘板、部屋１５の銘板、対象機器４の機器番号または名称を記載した銘板などを特定被写体として用いても良い。銘板とは、小型の平板に銘柄を表示したものである。マーカ５および銘板は、所定の位置に固定された状態で設けられている。

また、マーカ５には、対応するマーカ５を個々に識別可能なマーカＩＤを示す情報が含まれる。このようにすれば、複数のマーカ５をそれぞれ識別することができる。なお、銘板には、番号（例えば、シリアル番号）または名称などの銘板を個々に識別可能な情報が記載されている。銘板の形状または記載されている文字などを画像認識させることで、個々の銘板を識別することができる。さらに、それぞれの銘板に対応して銘板ＩＤが予め付与されている。

管理コンピュータ３には、例えば、それぞれの部屋１５の出入口１８に設けられたマーカ５のマーカＩＤに対応して対象機器４に関する情報が登録される。なお、部屋１５の出入口１８のマーカ５を撮影して基準点を取得しなければ、部屋１５の内部で画像の撮影を行えないように制御しても良い。

作業者Ｗは、部屋１５の出入口１８に到着したら、まず、現場端末２でマーカ５を読み取る。そして、マーカ５に基づいて取得される基準点の座標と、部屋１５に対応して予め設定されている基準点の座標とを一致させる。そして、現場端末２で画像の保存をした場合に、その撮影時の位置情報と方向情報とを、基準点の座標に基づいて取得する。

例えば、読み込んだマーカ５の座標と現場端末２の座標との相対位置を特定し、現場端末２の撮影時の位置情報と方向情報とを取得する。つまり、現場端末２の座標は、マーカ５の座標を原点としたもので示される。本実施形態では、それぞれの部屋１５の出入口１８に設けられたマーカ５を原点として現場端末２の座標（相対座標）を取得する。つまり、現場端末２の座標は、部屋１５ごとに取得されるものとなっている。なお、建物１４の出入口１７に設けられた１つのマーカ５を原点として、それぞれの部屋１５の内部における現場端末２の座標（絶対座標）を取得しても良い。

本実施形態では、マーカ５または銘板の少なくともいずれか一方を用いて現場端末２の座標を取得する。なお、マーカ５による現場端末２の座標の取得と、銘板による現場端末２の座標の取得との両態様を混在させても良い。

マーカ５を設ける態様としては、例えば、マーカ５が印刷されたパネルを作成し、このパネルを、作業開始前に作業現場の壁面などに配置しておく。なお、壁面などにマーカ５を直接印刷しても良い。また、銘板は、装置などに取り付けられている既存のものを利用することができる。このようにすれば、既に部屋１５または装置などに設けられている銘板により基準点を取得することができるため、マーカ５を設置する手間を省略することができる。なお、予め銘板を撮影し、画像認識ができるように銘板の画像の特徴量を取得しておく。マーカ５または銘板に関する情報は、管理コンピュータ３に記憶される。

また、現場端末２を制御する端末制御部２８（図２参照）は、現場端末２で画像の保存をした場合に、撮影時のカメラ８の設定情報を取得する。この設定情報は、絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報との少なくともいずれかを含む。ここで、絞り値情報は、カメラ８による画像の撮影時の絞り値を特定可能な情報である。シャッタースピード情報は、カメラ８による画像の撮影時のシャッタースピードを特定可能な情報である。ＩＳＯ感度情報は、カメラ８による画像の撮影時のＩＳＯ感度（明度）を特定可能な情報である。画角情報は、カメラ８による画像の撮影時の画角を特定可能な情報である。倍率情報は、カメラ８による画像の撮影時の倍率（拡大率）を特定可能な情報である。

図４に示すように、許可エリア１６において、作業者Ｗが現場端末２を用いて様々な撮影を行う。このときに撮影された画像は、画像ファイルとして現場端末２に記憶される。なお、現場端末２にて記憶される画像ファイルには、撮影時の現場端末２の位置（座標）と撮影方向と撮影時のカメラ８の設定情報とを含む撮影情報（図８参照）が対応付けられる。

ここで、撮影時の現場端末２の位置は、建物１４またはマーカ５を基準とする３次元座標に基づいて特定される。撮影方向は、撮影時の位置での水平面内の方位（ヨー角）と現場端末２のピッチ角、ロール角に基づいて求められる。また、画角は、現場端末２のカメラ８の撮影角（実際に写る範囲を角度で表したもの）であり、拡大率を含んでいる。なお、撮影情報には、その他の情報が含まれていても良い。例えば、端末ＩＤ、撮影者の情報、撮影日時などの情報が含まれていても良い。

また、現場端末２で撮影された画像を含む画像ファイルは、管理コンピュータ３に送信される。なお、管理コンピュータ３に対する画像の送信タイミングは、作業中であっても良いし、作業終了後であっても良い。また、管理コンピュータ３に送信を完了したときに、現場端末２に記憶されている画像を消去しても良い。

本実施形態では、撮影情報が画像を含む画像ファイルの属性として記録される。このようにすれば、画像ファイルと撮影情報とを直接的に対応付けることができる。例えば、画像をＥｘｉｆ（Exchangeable image file format）の形式で保存した場合には、そのプロパティ（属性）として撮影情報を記録することができる。画像ファイルを移動しても一緒に撮影情報も移動されるため、画像ファイルの管理が容易になる。

例えば、図８に示すように、画像ファイルのプロパティには、ファイル名（画像ＩＤ）と端末ＩＤとユーザＩＤと撮影日時（撮影時刻）と撮影ＩＤ（撮影情報）と対象機器ＩＤ（対象情報）と基準点ＩＤとマーカＩＤと位置情報（座標数値）と方向情報（角度数値）と絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報（角度数値）と倍率情報とが記録される。

なお、管理コンピュータ３において、画像に撮影制限の対象となっている対象機器４が写っているか否かの判定が行われた場合には、その判定結果を示す判定情報も記録される。この判定情報は、外部への公開が制限される制限ファイルであるか、外部への公開が制限されない非制限ファイルであるかを示すものである。このように、画像ファイルのプロパティには、各種情報が追記可能となっている。さらに、その他の情報を画像ファイルのプロパティに追記しても良い。

図８では、静止画像の画像ファイルのプロパティを例示している。ここで、ファイル名は、画像ファイルの名称である。端末ＩＤは、複数の現場端末２を個々に識別可能な識別情報である。画像ファイルのプロパティには、作業現場で撮影に用いた現場端末２の端末ＩＤが記録される。

ユーザＩＤは、複数の作業者Ｗを個々に識別可能な識別情報である。なお、ユーザＩＤは、現場端末２にログインするときに使用するものであっても良いし、それぞれの作業者Ｗが所持するＩＤカードに登録されるものであっても良い。画像ファイルのプロパティには、作業現場で撮影を行った作業者ＷのユーザＩＤが記録される。

撮影日時（時間情報）は、現場端末２で撮影を行った日付と時刻である。なお、動画像の画像ファイルの撮影日時は、録画の開始時でも良いし、録画の終了時でも良い。

撮影ＩＤは、現場端末２を用いた撮影態様を個々に識別可能な撮影態様識別情報である。１つの撮影ＩＤは、１つの位置情報と１つの方向情報とに対応付けられる。カメラ８で取得した画像が静止画像である場合には、１つの撮影ＩＤが対応付けられる。また、カメラ８で取得した画像が動画像である場合には、１フレームごとに１つの撮影ＩＤが対応付けられる。なお、動画像のトラックに撮影ＩＤを対応付けても良い。

例えば、動画像の撮影時にカメラ８が移動または動作している場合には、現場端末２の位置およびカメラ８の向きが変化するため、１つの画像ファイルに複数の撮影ＩＤが対応付けられる。一方、動画像の撮影時にカメラ８が固定されている場合には、現場端末２の位置およびカメラ８の向きが変化することがないため、１つの画像ファイルに対応付けられる撮影ＩＤが１つでも良い。なお、カメラ８で取得した画像が動画像である場合には、１フレームごとに絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報とが対応付けられる。

また、撮影情報は、予め規定された識別子として生成しても良い。識別子とは、例えば、所定の計算関数に撮影情報のそれぞれの値を入力すると、所定の数式として出力されるものである。そして、識別子に基づいて撮影情報を再現できるようにする。このようにすれば、撮影情報を識別子という規定化された態様で記録することができる。例えば、画像ファイルの属性に識別子を記録しても良い。

また、識別子を画像に含ませる態様で記録しても良い。このようにすれば、画像そのものに撮影情報を含ませることができる。そのため、画像の管理が容易になる。なお、識別子を画像に含ませる態様とは、例えば、識別子をマトリックス型２次元コードとして生成し、この２次元コードを画像に合成する態様でも良い。また。識別子を電子透かしとして画像に含める態様でも良い。

また、撮影情報が、画像を含む画像ファイルとは異なる記録ファイルに記録されても良い。例えば、画像ファイル２０と同一のファイル名を有する記録ファイル２１を生成し（図９参照）、この記録ファイル２１に撮影情報を記録しても良い。このようにすれば、撮影情報のデータ量が多くなる場合であっても、その記録を行うことができる。例えば、動画の場合には、撮影情報のデータ量が多くなるが、この場合でも撮影情報を記録することができる。

なお、本実施形態では、ファイル名により画像ファイル２０と記録ファイル２１とを対応付けているが、その他の態様であっても良い。例えば、画像ファイル２０を特定可能な特定ＩＤを生成し、この特定ＩＤを記録ファイル２１に記録することで、画像ファイル２０と対応付けても良い。また、コンピュータのファイルシステムを用いて画像ファイル２０と記録ファイル２１とを対応付けても良い。

次に、画像特定システム１のシステム構成を図２に示すブロック図を参照して説明する。

本実施形態の現場端末２および管理コンピュータ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の画像特定方法は、各種プログラムをコンピュータに実行させることで実現される。

現場端末２は、カメラ８と加速度センサ２２と角速度センサ２３と３次元測定センサ２４とディスプレイ６と操作入力部２５と通信部２６と画像記憶部２７と端末制御部２８とを備える。

カメラ８は、現場端末２に搭載され、現場端末２の周辺の物体を可視光により撮影する。例えば、カメラ８は、レンズ付きの撮像素子を備えている。なお、カメラ８で撮影された画像は、端末制御部２８に入力される。

加速度センサ２２は、現場端末２に搭載され、この現場端末２が移動したときに生じる加速度を検出する。また、この加速度センサ２２により重力加速度の検出も行える。例えば、３軸の加速度センサ２２とすることで、現場端末２の姿勢に応じた各軸の加速度を検出することが可能となる。なお、この加速度センサ２２で検出された加速度の値を示す加速度情報は、端末制御部２８に入力される。

角速度センサ２３（ジャイロセンサ）は、現場端末２に搭載され、この現場端末２の筐体の姿勢が変化したときに生じる角速度を検出する。この角速度センサ２３の値と加速度センサ２２の値とを合わせて、この現場端末２の筐体の姿勢を特定することで、カメラ８の撮影方向を把握することができる。なお、この角速度センサ２３で検出された角速度の値を示す角速度情報は、端末制御部２８に入力される。

撮影方向は、例えば、現場端末２の水平方向および垂直方向の傾きの測定に基づいて取得される。また、現場端末２の筐体に向きが異なる２つ以上のカメラ８が搭載されている場合には、撮影に使用するカメラ８の筐体における位置および向きを設定し、このカメラ８の撮影方向を取得する。

なお、慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサであるモーションセンサを現場端末２に搭載しても良い。

３次元測定センサ２４は、現場端末２の周辺の物体の３次元形状を測定する。３次元測定センサ２４としては、例えば、深度センサが用いられる。なお、３次元測定センサ２４として赤外線センサまたはＬｉＤＡＲなどのレーザセンサを用いても良い。

３次元測定センサ２４は、現場端末２の筐体において、カメラ８が設けられている背面側に設けられる。この３次元測定センサ２４は、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、現場端末２から物体までの距離を測定することができる。本実施形態では、３次元測定センサ２４は、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、現場端末２から周辺の物体までの距離を測定して３次元点群化する。なお、カメラ８による撮像方向と３次元測定センサ２４による測定方向は一致している。

現場端末２のディスプレイ６は、カメラ８で撮影された撮影画像を表示する。なお、その他の所定の情報をディスプレイ６に表示させても良い。

操作入力部２５は、作業者Ｗにより操作され、所定の情報の入力操作が行えるようにしたデバイスである。本実施形態では、操作入力部２５がディスプレイ６と一体的に設けられるタッチパネルで構成される。なお、現場端末２としてウェアラブルコンピュータ１０を用いる場合は、操作入力部２５が作業者Ｗの手元に配置され、入力操作が適宜可能となっている。

通信部２６は、通信回線を介して管理コンピュータ３と通信を行う。本実施形態の通信部２６には、ネットワーク機器、例えば、無線ＬＡＮのアンテナが含まれる。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルを用いて通信を行う場合もある。この通信部２６を介して現場端末２は、管理コンピュータ３にアクセスする。

画像記憶部２７は、カメラ８で撮影した画像を含む画像ファイルを記憶する。なお、画像記憶部２７に記憶される画像は、動画像であっても良いし、静止画像であっても良い。また、画像ファイルとともに、画像ファイルに対応付けられた記録ファイルを記憶しても良い。さらに、画像ファイルに関連する所定のデータを記憶しても良い。

端末制御部２８は、現場端末２を統括的に制御する。この端末制御部２８は、位置姿勢推定部２９と基準取得部３０とエリア識別部３１と画像取得制御部３２と位置情報取得部３３と方向情報取得部３４と画角情報取得部３５と撮影情報記録部３６と識別子生成部３７とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

位置姿勢推定部２９は、撮影画像と加速度情報と角速度情報とに基づいて現場端末２の位置および姿勢を推定する制御を行う。つまり、現場端末２に搭載されたデバイスにより得られた情報に基づいて現場端末２の位置および姿勢を推定する。この位置姿勢推定部２９は、現場端末２の位置および姿勢の推定と同時に現場端末２の周辺環境の情報を含む環境地図の作成を行う。つまり、位置姿勢推定部２９では、ＶＳＬＡＭ技術を用いている。このようにすれば、画像の撮影時の位置および方向の取得精度を向上させることができる。

ＶＳＬＡＭ技術では、現場端末２のカメラ８および３次元測定センサ２４で取得した情報を用いて、現場端末２の周辺の物体の特徴点を抽出することができる。なお、現場端末２のカメラ８で取得した情報のみを用いて、現場端末２の周辺の物体の特徴点を抽出する場合もある。このような特徴点の集合させたものを３次元特徴点群データと称する。そして、カメラ８で撮影した撮影画像（動画像）を解析し、物体の特徴点（例えば、箱状の物体の辺または角の部分）をリアルタイムに追跡する。この３次元特徴点群データに基づいて、現場端末２の位置および姿勢の３次元情報を推定することができる。

また、現場端末２の周辺の物体の３次元特徴点群データを所定の時間毎に検出し、時系列において前後する３次元特徴点群データ間の変位に基づいて、現場端末２の位置および姿勢の変位を算出することができる。また、時系列に得られる一連の自位置および自姿勢から、現在位置および現在姿勢に先立つ現場端末２の移動経路１９が得られる。

つまり、位置姿勢推定部２９は、基準点から現場端末２が移動するときに連続的に撮影された撮影画像に基づいて、現場端末２の位置および姿勢を推定する制御を行う。このようにすれば、基準点から現場端末２が移動した経路１９（図３参照）を画像により推定できるので、現場端末２の位置および姿勢の推定精度を向上させることができる。

なお、本実施形態では、カメラ８および３次元測定センサ２４で取得した情報に基づいて、現場端末２の位置および姿勢を推定するＶＳＬＡＭ技術を例示しているが、その他の態様であっても良い。例えば、ステレオカメラ、魚眼カメラ、ジャイロセンサ、赤外線センサで取得した情報に基づいて、現場端末２の位置および姿勢を推定するＶＳＬＡＭ技術を用いても良い。このＶＳＬＡＭ技術は、屋内での位置計測が可能であり、ビーコンまたは歩行者自律航法（ＰＤＲ:Pedestrian Dead Reckoning）などの屋内で使用可能な位置情報計測技術の中で、最も精度よく３次元座標を算出することができる。

なお、現場端末２の位置および姿勢は、それぞれ算出または更新された時点の時刻と対応付けて記録される。

基準取得部３０は、撮影場所（対象機器４）に対応して予め設けられたマーカ５をカメラ８で撮影したときに３次元空間の基準点を取得する。なお、マーカ５の位置を基準点としても良いし、マーカ５から離れた所定の位置を基準点としても良い。このようにすれば、作業現場にマーカ５を設ける簡便な作業、およびマーカ５を撮影する簡素な処理で取得精度を向上させることができる。

エリア識別部３１は、現場端末２の現在位置に基づいて、現場端末２が画像の取得が許可されている許可エリア１６にあるか否かを識別する。なお、現場端末２に対応付けられた許可エリア１６は、作業開始前に予め管理コンピュータ３にアクセスすることで設定される。

画像取得制御部３２は、現場端末２が撮影許可エリア１６にある場合に画像の取得を許可し、現場端末２が撮影許可エリア１６にない場合に画像の取得を許可しない制御を行う。つまり、作業現場において、撮影機能を限定する制御を行う。なお、撮影機能とは、現場端末２のカメラ８を用いて撮影した画像を画像記憶部２７に記憶させる機能をいう。

例えば、現場端末２が撮影許可エリア１６にあるときに、現場端末２のカメラ８で撮影をした場合には、その画像はディスプレイ６に表示され、画像記憶部２７に記憶されることがない。なお、画像は、動画像を例示する。ここで、作業者Ｗがディスプレイ６に表示された撮影ボタン（録画ボタン）をタッチ操作すると、そのときにカメラ８で撮影されていた画像が画像記憶部２７に記憶される。例えば、静止画像の撮影の場合には、撮影ボタンをタッチ操作した時点の画像が画像記憶部２７に記憶される。また、動画像の撮影の場合には、撮影ボタン（録画ボタン）をタッチ操作した時点から録画が開始され、その動画像が画像記憶部２７に記憶される。

一方、現場端末２が撮影許可エリア１６にないときに、作業者Ｗが撮影操作を行った場合には、「このエリアで撮影は禁止されています。」などの撮影禁止メッセージがディスプレイ６に表示され、画像が画像記憶部２７に記憶されることがない。

このようにすれば、撮影制限の対象となっている対象機器４が写った画像の取得を制限することができる。そのため、不必要な画像の取得を防止し、管理コンピュータ３で判定しなければならない画像の枚数を低減させることができる。

本実施形態において、「画像の取得」という用語には、「画像の保存」または「画像の転送」という意味とが含まれる。また、「画像の取得を許可しない」という用語には、「画像の保存（記憶）を禁止すること」または「画像の撮影を禁止すること」の意味が含まれる。さらに、画像の取得は、現場端末２が行うものでも良いし、管理コンピュータ３が行うものでも良い。

なお、撮影ボタンの表示の有無により、撮影機能の可否の切り換えを行っても良い。例えば、現場端末２が撮影許可エリア１６にあるときには、ディスプレイ６に撮影ボタンを表示し、現場端末２が撮影許可エリア１６にないときには、ディスプレイ６に撮影ボタンを表示しないようにしても良い。

位置情報取得部３３は、カメラ８による画像の撮影時の位置を特定可能な位置情報を取得する。例えば、位置姿勢推定部２９がＶＳＬＡＭ技術を用いて作成した環境地図に基づいて、位置情報取得部３３が画像の撮影時の位置の取得を行うことができる。また、基準取得部３０が取得した基準点に基づいて、位置情報取得部３３が画像の撮影時の位置の取得を行うことができる。

方向情報取得部３４は、カメラ８による画像の撮影時の方向を特定可能な方向情報を取得する。例えば、位置姿勢推定部２９がＶＳＬＡＭ技術を用いて作成した環境地図に基づいて、方向情報取得部３４が画像の撮影時の方向の取得を行うことができる。また、基準取得部３０が取得した基準点に基づいて、方向情報取得部３４が画像の撮影時の方向の取得を行うことができる。

なお、環境地図に基づく位置情報または方向情報と、基準点に基づく位置情報または方向情報とに誤差がある場合には、基準点に基づく位置情報または方向情報を優先的に適用しても良い。このようにすれば、作業者Ｗが作業現場にてマーカ５を撮影することで、情報の補正を行うことができる。ＶＳＬＡＭ技術は、相対的な移動量を算出する手法であるため、長時間の使用により誤差が蓄積されてしまう場合がある。そこで、基準点となるマーカ５を現場端末２で読み込むことで、エリア１６における位置情報を正確に把握することができる。

画角情報取得部３５は、カメラ８による画像の撮影時の画角を特定可能な画角情報を取得する。画角情報は、カメラ８の設定に基づいて取得される。また、画角情報には、拡大率（スケール）などの情報も含まれる。

撮影情報記録部３６は、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する。撮影情報は、画像ファイルの属性として記録しても良いし、画像ファイルとは異なる記録ファイルに記録しても良い。なお、作業者Ｗは、いずれの方式で記録するかを事前に設定することができる。

管理コンピュータ３は、画像に対応付けて記録された撮影情報に基づいて、撮影制限の対象となっている対象機器４が写った画像を正確に選別することができる。そのため、その画像が外部に漏洩されてしまうことを抑制することができる。

識別子生成部３７は、撮影情報に基づいて、識別子を生成する。なお、作業者Ｗは、撮影情報を識別子として記録するか否かを事前に設定することができる。識別子が生成される設定の場合には、撮影情報記録部３６が識別子を画像に対応付けて記録する。なお、撮影情報記録部３６が識別子を画像に含ませる態様で記録しても良い。

図２に示すように、管理コンピュータ３は、対象情報データベース３８とディスプレイ１２と操作入力部３９と通信部４０と画像記憶部４１と管理制御部４２とを備える。

本実施形態の管理コンピュータ３のシステム構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つのシステムを実現しても良い。例えば、対象情報データベース３８を管理コンピュータ３とは異なる他のコンピュータに設けても良い。

対象情報データベース３８は、メモリまたはＨＤＤに記憶され、検索または蓄積ができるよう整理された情報の集まりである。対象情報データベース３８には、撮影制限の対象となっている対象機器４の３次元位置を特定可能な対象情報が予め記憶されている。また、作業現場となるプラントの設計情報が記憶されている。例えば、設計情報に関する３Ｄ−ＣＡＤデータが予め記憶されている。この３Ｄ−ＣＡＤデータには、対象機器４が配置されている位置（座標）に関する情報が含まれている。さらに、対象機器４の形状または寸法に関する情報も含まれている。また、建物１４の部屋１５の配置に関する情報も含まれている。

なお、撮影制限の対象となる対象機器４は、３Ｄ−ＣＡＤデータを用いて設定しても良いし、管理コンピュータ３のディスプレイ１２にデータを表示して個々に選択または指定しても良い。さらに、３Ｄ−ＣＡＤデータが有している対象機器４の名称または型式などの情報に基づいて、自動的に選択または指定しても良い。

ディスプレイ１２は、画像判定結果（図９参照）などの出力を行う装置である。つまり、管理コンピュータ３は、ディスプレイ１２に表示される画像の制御を行う。なお、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を管理コンピュータ３が行っても良い。

なお、本実施形態では、画像を表示する装置としてディスプレイ１２を例示するが、その他の態様であっても良い。例えば、プロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイ１２の替りとして用いても良い。つまり、管理コンピュータ３が制御する対象としてプロジェクタまたはプリンタが含まれても良い。

操作入力部３９は、管理者Ｍの操作に応じて所定の情報を入力するために用いられるマウスまたはキーボードなどの入力装置などで構成される。本実施形態の入力操作には、マウスを用いたクリック操作、またはタッチパネルを用いたタッチ操作が含まれる。つまり、これら入力装置の操作に応じて所定の情報が管理コンピュータ３に入力される。

通信部４０は、通信回線を介して現場端末２と通信を行う。この通信部４０は、無線通信装置１３に搭載されている。また、通信部４０は、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナに搭載されても良い。なお、通信部４０は、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網を介して現場端末２と通信を行っても良い。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルにより現場端末２と接続して通信を行っても良い。

画像記憶部４１は、現場端末２から受信した画像ファイルを記憶する。なお、画像記憶部４１に記憶される画像は、動画像であっても良いし、静止画像であっても良い。また、画像ファイルとともに、画像ファイルに対応付けられた記録ファイルを記憶しても良い。さらに、画像ファイルに関連する所定のデータを記憶しても良い。

管理制御部４２は、管理コンピュータ３を統括的に制御する。この管理制御部４２は、画像判定部４３と判定情報記録部４４と判定結果表示部４５と対象情報設定部４６とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

画像判定部４３は、画像ファイルに対応付けられた撮影情報と、対象情報データベース３８に記憶された対象情報とに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。このようにすれば、カメラ８による画像の撮影時の位置、方向、画角により撮影された範囲を特定し、対象機器４の３次元位置との関係により、画像に対象部分が写っているか否を判定することができる。また、カメラ８と対象部分との３次元的な位置関係により判定を行えるため、画像の選別を正確に行うことができる。画像に写っている対象機器を人手または人工知能などを用いて識別させる場合と比較して、より高い精度で判定を行うことができる。

現場端末２では、画像の撮影時に基準点の座標に基づいて位置情報と方向情報とを取得する。ここで、位置情報、方向情報、画角に基づいて撮影範囲を算出する。例えば、対象情報データベース３８の３Ｄ−ＣＡＤデータを参照し、部屋１５の中における現場端末２の位置（座標）と対象機器４の位置（座標）を算出する。現場端末２の位置を算出したら、その地点で現場端末２の撮影方向を計算し、その方位におけるカメラ８の画角を考慮して撮影範囲を計算する。この撮影範囲内に対象機器４が含まれるか否かを判定する。なお、この判定結果に基づいて、画像ファイルごとに制限の可否を表示しても良いし、画像ファイルの保存場所を分けても良い。

なお、カメラ８の撮影範囲に対象機器４が含まれているが、対象機器４の手前に所定の構造物（遮蔽物）がある場合は、対象機器４が構造物に隠れてしまって、カメラ８で撮影された画像に写り込まないことが想定される。このような撮影範囲と対象機器４と構造物の位置関係に対応するために、対象情報データベース３８の３Ｄ−ＣＡＤデータに構造物の設計情報（位置、形状および寸法を示す情報を含む）を登録しておいても良い。そして、この３Ｄ−ＣＡＤデータを参照し、対象機器４の手前の構造物の位置関係に基づいて、画像に対象機器４が映り込んでいるか否かを判定するようにしても良い。

判定情報記録部４４は、画像判定部４３による判定結果を特定可能な判定情報を画像ファイルに対応付けて記録する。本実施形態では、判定情報として、外部への公開が制限される制限ファイルであるか、外部への公開が制限されない非制限ファイルであるかを示す情報が記録される（図８参照）。

このようにすれば、画像ファイルに撮影制限の対象となっている対象機器４（対象部分）が写っているか否かを判定情報により特定することができる。例えば、管理コンピュータ３以外のコンピュータで画像ファイルを参照する場合であっても、その画像ファイルに対象機器４（対象部分）が写っているか否かを、判定情報に基づいて把握することができる。

判定結果表示部４５は、画像判定部４３による判定結果を識別可能にディスプレイ１２に表示させる。例えば、図９に示すように、管理コンピュータ３のディスプレイ１２には、画像判定結果画面４７が表示される。この画像判定結果画面４７には、制限ファイル表示領域４８と非制限ファイル表示領域４９とが並べて設けられている。

制限ファイル表示領域４８には、対象機器４が写っている画像を含む画像ファイル２０であって、外部への公開が制限される制限ファイルのファイル名が表示される。非制限ファイル表示領域４９には、対象機器４が写っていない画像を含む画像ファイル２０であって外部への公開が制限されない非制限ファイルのファイル名が表示される。

このようにすれば、制限ファイル表示領域４８と非制限ファイル表示領域４９とが分けられ、かつ同時に並べて表示されることで、画像ファイル２０の管理者Ｍが、対象機器４が写っている画像ファイル２０と対象機器４が写っていない画像ファイル２０とを容易に識別することができる。

なお、画像ファイル２０をアイコンで表示する場合に、画像ファイル２０の表示色を制限ファイルと非制限ファイルとで異なるものとしても良い。また、画像ファイル２０の拡張子を制限ファイルと非制限ファイルとで異なるものとしても良い。

なお、管理者Ｍがファイル名をマウスカーソル５０によりクリックすることで、画像ファイルに含まれる画像を表示させることができる。そして、管理者Ｍが目視で対象機器４が写っているか否かを確認することができる。

管理者Ｍは、制限ファイルを制限ファイル表示領域４８から非制限ファイル表示領域４９にドラッグすることができる。非制限ファイル表示領域４９にドラッグされた制限ファイルは、非制限ファイルとして判定情報が書き換えられる。また、管理者Ｍは、非制限ファイルを非制限ファイル表示領域４９から制限ファイル表示領域４８にドラッグすることができる。制限ファイル表示領域４８にドラッグされた非制限ファイルは、制限ファイルとして判定情報が書き換えられる。なお、画像ファイル２０に対応する記録ファイル２１がある場合には、画像ファイル２０の移動とともに記録ファイル２１も移動される。

図２に示すように、対象情報設定部４６は、対象情報データベース３８に対象情報を記憶させる設定を行う。例えば、基準点を管理する基準点管理テーブルと、対象機器４を管理する対象機器管理テーブルと、現場端末２を管理する端末管理テーブルとに、各種情報を記憶させる設定を行う。

図５に示すように、基準点管理テーブルには、基準点ＩＤに対応付けて、３Ｄ位置情報とマーカＩＤと対象機器ＩＤとが登録されている。

基準点ＩＤは、複数の基準点を個々に識別可能な識別情報である。なお、１つの基準点に対して１つの基準点ＩＤが付与される。

基準点管理テーブルに登録される３Ｄ位置情報は、基準点が設けられた位置を指定する３次元座標の情報である。なお、座標の情報には、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、基準点の姿勢または向きに関する情報が含まれる。

本実施形態では、例えば、建物１４の出入口１７に設けられた１つのマーカ５を基準点（原点、起点）として座標を設定する。また、部屋１５の出入口１８に設けられた１つのマーカ５を基準点として座標を設定しても良いし、出入口１７の銘板、部屋１５の銘板、対象機器４の銘板を基準点として座標を設定しても良い。なお、座標は、マーカ５または銘板を基準点としなくても良く、建物１４の所定の位置を座標の基準点としても良い。また、３Ｄ位置情報は、建物１４の設計段階で作成された３次元ＣＡＤに基づいて構成されても良い。

基準点管理テーブルに登録されるマーカＩＤ（銘板ＩＤ）は、複数のマーカ５（銘板）を個々に識別可能な識別情報である。なお、１つのマーカ５に対して１つのマーカＩＤが付与される。さらに、基準点管理テーブルでは、１つの基準点に対して１つのマーカＩＤが付与される。

対象機器ＩＤは、複数の対象機器４を個々に識別可能な識別情報である。なお、１つの対象機器４に対して１つの対象機器ＩＤが付与される。

基準点管理テーブルでは、１つの基準点ＩＤに対応して複数の対象機器ＩＤが登録されても良い。例えば、建物１４の出入口１７のマーカ５のマーカＩＤに対応付けて、その建物１４の内部に配置された全ての対象機器４の対象機器ＩＤが登録されても良い。また、部屋１５の出入口１８のマーカ５のマーカＩＤに対応付けて、その部屋１５の内部に配置された全ての対象機器４の対象機器ＩＤが登録されても良い。

図６に示すように、対象機器管理テーブルには、対象機器ＩＤに対応付けて、３Ｄ位置情報が登録されている。なお、対象機器管理テーブルには、対象機器４の形状または寸法に関する情報が登録されても良い。

対象機器管理テーブルに登録される３Ｄ位置情報は、対象機器４の位置を指定する座標を示す位置情報である。なお、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この３Ｄ位置情報には、対象機器４の姿勢または向きに関する情報が含まれる。

このように、対象情報データベース３８には、対象機器４に対応付けて作業現場（撮影場所）の建物１４に予め設けられたマーカ５に関する位置情報が登録される。さらに、対象機器４の位置情報も登録される。このようにすれば、対象情報データベース３８を用いて対象機器４に関する対象情報を一元的に管理できる。

図７に示すように、端末管理テーブルには、端末ＩＤに対応付けて、ユーザＩＤと許可エリアとが登録されている。

端末ＩＤは、複数の現場端末２を個々に識別可能な識別情報である。対象機器管理テーブルには、対象機器ＩＤに対応付けて、対応する対象機器４のサポート情報の提供が許可されている現場端末２の端末ＩＤが登録される。

ユーザＩＤは、複数の作業者Ｗを個々に識別可能な識別情報である。対象機器管理テーブルには、端末ＩＤに対応付けて、対応する現場端末２の使用が許可されている作業者ＷのユーザＩＤが登録される。なお、ユーザＩＤは、現場端末２にログインするときに使用するものであっても良いし、それぞれの作業者Ｗが所持するＩＤカードに登録されるものであっても良い。

許可エリアの項目には、端末ＩＤに対応する現場端末２により画像の取得が許可されているエリア名が登録される。管理者Ｍは、作業計画などの情報に基づいて、許可エリアの項目を設定することで、それぞれの現場端末２を一元的に管理できる。現場端末２は、作業開始前に予め管理コンピュータ３にアクセスすることで許可エリアが設定される。なお、許可エリアに対応する作業時刻を設定しても良い。このようにすれば、作業者Ｗが作業とは関係のない不必要な場所で画像を取得することを抑制できる。そのため、画像の持ち出し管理を効率的に行うことができる。

管理コンピュータ３では、基準点ＩＤ、対象機器ＩＤ、端末ＩＤ、マーカＩＤに基づいて、対象情報データベース３８に登録された各種データを検索することができる。

図２に示すように、画像判定部４３は、機械学習部５１を備える。機械学習部５１は、対象機器４が写った画像と対象機器４が写っていない画像とを機械学習により識別することができる。つまり、本実施形態では、撮影情報に基づく画像の判定のみならず、この判定に重畳して、機械学習部５１を用いて画像を解析することができる。このようにすれば、カメラ８による画像の撮影時の撮影情報のみならず、画像に対象機器４が写っているか否かを機械学習により補助的に識別するため、より高い精度で判定を行うことができる。なお、作業者Ｗは、機械学習部５１で画像を解析するか否かを事前に設定することができる。

機械学習部５１は、人工知能（ＡＩ：Artificial Intelligence）を備えている。本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

本実施形態の画像特定システム１は、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータで画像特定システム１を構成しても良いし、ニューラルネットワークを備える複数台のコンピュータで画像特定システム１を構成しても良い。

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、任意のユニット数、任意の学習率、任意の学習回数、任意の活性化関数を設定することができる。

なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。

例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

本実施形態では、予め機械学習部５１に様々なパターンの対象機器４が写った画像と対象機器４が写っていない画像とを大量に学習させる。これらの学習用の画像は、実際にカメラ８で撮影した画像でも良いし、コンピュータグラフィックス（ＣＧ）で合成した画像でも良い。このように対象機器４の形状などを識別可能な状態になるまで、大量の画像を機械学習部５１に予め学習させておく。

本実施形態の機械学習の方法は、大きく２つの処理に分けられる。まず、学習用画像を生成する第１処理を行う。この第１処理では、学習用画像を取得し、その学習用画像に含まれる対象機器４の像を特徴ごとに分類する。そして、１つの学習用画像を、種類の異なる像が１つ以上含まれるように調整する。次に、学習モデルを作成する第２処理を行う。この第２処理では、学習用画像をニューラルネットワークに学習させて、画像学習モデルを作成する。この学習用モデルを画像の判定用にセットする。

次に、画像特定システム１が実行する処理について図１０から図１５のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。

管理コンピュータ３は、図１０に示す管理制御処理を実行する。現場端末２は、図１２に示す端末制御処理を実行する。これら処理は、一定時間毎に繰り返される処理である。これらの処理が繰り返されることで、画像特定システム１で画像特定方法が実行される。

管理コンピュータ３が実行する管理制御処理について図１０のフローチャートを用いて説明する。

まず、ステップＳ１１において、管理制御部４２は、メイン制御処理を実行する。このメイン制御処理では、管理コンピュータ３のディスプレイ１２などの各種デバイスを制御する処理が行われる。また、現場端末２からアクセスがあった場合に所定の情報の送受信を行う。例えば、現場端末２から画像ファイルの送信があった場合には、その画像ファイルを画像記憶部４１に記憶する処理を行う。

次のステップＳ１２において、管理制御部４２は、操作受付処理を実行する。この操作受付処理では、操作入力部３９により所定の入力操作を受け付ける処理が行われる。

次のステップＳ１３において、対象情報設定部４６は、事前登録処理を実行する。この事前登録処理では、対象情報データベース３８に対象情報を記憶させる処理が行われる。例えば、基準点管理テーブル（図５参照）に基準点に関する情報の登録が行われる。また、対象機器管理テーブル（図６参照）に対象機器４に関する情報の登録が行われる。さらに、端末管理テーブル（図７参照）に現場端末２に関する情報の登録が行われる。

次のステップＳ１４において、画像判定部４３は、後述する画像判定処理（図１１参照）を実行する。この画像判定処理では、現場端末２から受信した画像に対象機器４（対象部分）が写っているか否かを判定する。

次のステップＳ１５において、判定結果表示部４５は、画像判定結果表示処理を実行する。この画像判定結果表示処理では、画像判定部４３による判定結果を識別可能にディスプレイ１２に表示させる処理（図９参照）が行われる。そして、管理制御処理を終了する。

次に、現場端末２が実行する端末制御処理について図１２のフローチャートを用いて説明する。

まず、ステップＳ３１において、端末制御部２８は、メイン制御処理を実行する。このメイン制御処理では、現場端末２に搭載されるディスプレイ６などの各種デバイスを制御する処理が行われる。

次のステップＳ３２において、端末制御部２８は、操作受付処理を実行する。この操作受付処理では、操作入力部２５により所定の入力操作を受け付ける処理が行われる。

次のステップＳ３３において、端末制御部２８は、データベースアクセス処理を実行する。このデータベースアクセス処理では、管理コンピュータ３の対象情報データベース３８にアクセスし、各種データのダウンロード処理が行われる。例えば、基準点管理テーブルのデータがダウンロードされる。

次のステップＳ３４において、端末制御部２８は、後述するマーカ認識処理（図１３参照）を実行する。このマーカ認識処理では、カメラ８で撮影された撮影画像に基づいて、マーカ５を認識する処理が行われる。

次のステップＳ３５において、端末制御部２８は、後述する自己位置推定処理（図１４参照）を実行する。この自己位置推定処理では、撮影画像と加速度情報と角速度情報とに基づいて現場端末２の位置および姿勢を推定する処理が行われる。この自己位置推定処理が実行されるときには、カメラ８が起動して撮影が開始される。

次のステップＳ３６において、端末制御部２８は、後述する撮影制御処理（図１５参照）を実行する。この撮影制御処理では、カメラ８による撮影の制御を行う。

次のステップＳ３７において、端末制御部２８は、画像送信処理を実行する。この画像送信処理では、画像記憶部２７に記憶されている画像ファイルを管理コンピュータ３に送信する処理が行われる。なお、画像ファイルを送信する処理は、作業者Ｗの操作に基づいて行っても良いし、一定時間ごとに自動的に行っても良い。そして、端末制御処理を終了する。

次に、現場端末２が実行するマーカ認識処理について図１３のフローチャートを用いて説明する。

まず、ステップＳ４１において、端末制御部２８は、カメラ８により撮影された撮影画像を取得する。

次のステップＳ４２において、端末制御部２８は、取得した撮影画像にマーカ５が写っているか否かを判定する。ここで、撮影画像にマーカ５が写っていない場合（ステップＳ４２にてＮＯの場合）は、マーカ認識処理を終了する。一方、撮影画像にマーカ５が写っている場合（ステップＳ４２にてＹＥＳの場合）は、ステップＳ４３に進む。

次のステップＳ４３において、端末制御部２８は、マーカ５の図形に含まれるマーカＩＤを読み取る。

次のステップＳ４４において、基準取得部３０は、予め管理コンピュータ３の対象情報データベース３８からダウンロードされた基準点管理テーブルのデータに基づいて、読み取ったマーカＩＤに対応する基準点ＩＤの３Ｄ位置情報を特定する。この基準点の３Ｄ位置情報に基づいて、現場端末２の位置情報の取得または補正を行う。そして、マーカ認識処理を終了する。

次に、現場端末２が実行する自己位置推定処理について図１４のフローチャートを用いて説明する。

まず、ステップＳ５１において、位置姿勢推定部２９は、座標の原点となる基準点の設定に基づく座標の確認処理を行う。例えば、建物１４の出入口１７に設けられた１つのマーカ５を原点として基準点を設定する。また、部屋１５の出入口１８に設けられた１つのマーカ５を原点として基準点を設定しても良い。なお、マーカ５の撮影画像が取得されるまでの間、ディスプレイ６にマーカ５の撮影を促す旨の表示を行っても良い。

次のステップＳ５２において、端末制御部２８は、カメラ８により撮影された撮影画像を取得する。

次のステップＳ５３において、位置姿勢推定部２９は、加速度センサ２２で検出された加速度の値を示す加速度情報を取得する。

次のステップＳ５４において、位置姿勢推定部２９は、角速度センサ２３で検出された角速度の値を示す角速度情報を取得する。

次のステップＳ５５において、位置姿勢推定部２９は、カメラ８の撮影画像に基づいて現場端末２の周辺の物体の３次元形状を測定する。また、３次元測定センサ２４の測定に基づいて現場端末２の周辺の物体の３次元形状を取得しても良い。

次のステップＳ５６において、位置姿勢推定部２９は、現場端末２の周辺環境の情報を含む環境地図を作成する。

次のステップＳ５７において、位置姿勢推定部２９は、基準点から現場端末２が移動するときに連続的に撮影された撮影画像に基づいて、現場端末２の位置および姿勢を推定する。この移動中の現場端末２の位置および姿勢を時刻情報とともに記録することで、現場端末２の移動経路１９（図３参照）が記録される。また、部屋１５の内部における移動経路が記録されても良い。

次のステップＳ５８において、位置姿勢推定部２９は、現場端末２の現在の位置および姿勢を推定する。そして、自己位置推定処理を終了する。

次に、現場端末２が実行する撮影制御処理について図１５のフローチャートを用いて説明する。

まず、ステップＳ６１において、端末制御部２８は、カメラ８が既に起動しているか否かを判定する。ここで、カメラ８が起動中でない場合（ステップＳ６１にてＮＯの場合）は、撮影制御処理を終了する。一方、カメラ８が起動中である場合（ステップＳ６１にてＹＥＳの場合）は、ステップＳ６２に進む。

次のステップＳ６２において、端末制御部２８は、カメラ８により撮影された画像をディスプレイ６に表示する。

次のステップＳ６３において、画像取得制御部３２は、カメラ８により撮影された画像を画像記憶部２７に保存する操作である、撮影操作を受け付けたか否かを判定する。なお、撮影操作とは、例えば、撮影ボタンをタッチ操作することである。ここで、撮影操作を受け付けていない場合（ステップＳ６３にてＮＯの場合）は、撮影制御処理を終了する。一方、撮影操作を受け付けた場合（ステップＳ６３にてＹＥＳの場合）は、ステップＳ６４に進む。

次のステップＳ６４において、エリア識別部３１は、位置姿勢推定部２９が推定した現場端末２の現在位置に基づいて、現場端末２が画像の取得が許可されている許可エリア内にあるか否かを判定する。ここで、許可エリア内にない場合（ステップＳ６４にてＮＯの場合）は、ステップＳ６５に進む。一方、許可エリア内である場合（ステップＳ６４にてＹＥＳの場合）は、ステップＳ６６に進む。

ステップＳ６５において、画像取得制御部３２は、ディスプレイ６に撮影禁止メッセージを表示する。そして、撮影制御処理を終了する。

ステップＳ６６において、位置情報取得部３３は、カメラ８による画像の撮影時の位置を特定可能な位置情報を取得する。

次のステップＳ６７において、方向情報取得部３４は、カメラ８による画像の撮影時の方向を特定可能な方向情報を取得する。

次のステップＳ６８において、画角情報取得部３５は、カメラ８による画像の撮影時の画角を特定可能な画角情報を取得する。

次のステップＳ６９において、撮影情報記録部３６は、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する。なお、識別子生成部３７が撮影情報に基づいて識別子を生成し、この識別子を画像に対応付けて記録しても良い。ここで、画像ファイルは、画像記憶部２７に記憶される。そして、撮影制御処理を終了する。

次に、管理コンピュータ３が実行する画像判定処理について図１１のフローチャートを用いて説明する。

まず、ステップＳ２１において、管理制御部４２は、画像記憶部４１に未判定の画像ファイルがあるか否かを判定する。ここで、未判定の画像ファイルがない場合（ステップＳ２１にてＮＯの場合）は、画像判定処理を終了する。一方、未判定の画像ファイルがある場合（ステップＳ２１にてＹＥＳの場合）は、ステップＳ２２に進む。

次のステップＳ２２において、画像判定部４３は、未判定の画像ファイルに対応付けられた撮影情報に含まれる位置情報に基づいて、カメラ８による画像の撮影位置を特定する。

次のステップＳ２３において、画像判定部４３は、未判定の画像ファイルに対応付けられた撮影情報に含まれる方向情報に基づいて、カメラ８による画像の撮影方向を特定する。

次のステップＳ２４において、画像判定部４３は、未判定の画像ファイルに対応付けられた撮影情報に含まれる画角情報に基づいて、カメラ８による画像の撮影時の画角を特定する。

次のステップＳ２５において、画像判定部４３は、画像ファイルに対応付けられた撮影情報と、対象情報データベース３８に記憶された対象情報とに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。ここで、画像に対象機器４が写っている場合（ステップＳ２５にてＹＥＳの場合）は、ステップＳ２６に進む。一方、画像に対象機器４が写っていない場合（ステップＳ２５にてＮＯの場合）は、ステップＳ２７に進む。

ステップＳ２６において、画像判定部４３は、画像ファイルを制限ファイルに設定する。そして、ステップＳ２８に進む。

ステップＳ２７において、画像判定部４３は、画像ファイルを非制限ファイルに設定する。

次のステップＳ２８において、判定情報記録部４４は、判定結果を示す判定情報を画像ファイルに対応付けて記録する。

次のステップＳ２９において、画像判定部４３は、機械学習部５１により画像の判定を行う設定がなされているか否かを判定する。ここで、機械学習部５１による判定の設定中でない場合（ステップＳ２９にてＮＯの場合）は、画像判定処理を終了する。一方、機械学習部５１による判定の設定中である場合（ステップＳ２９にてＹＥＳの場合）は、ステップＳ３０に進む。

次のステップＳ３０において、画像判定部４３は、機械学習部５１により画像の判定を行う機械学習判定処理を行う。この機械学習判定処理では、画像に対象機器４が写っているか否かを機械学習部５１により解析する。なお、機械学習部５１による判定結果と前述のステップＳ２５における判定結果とが一致する場合には、画像判定処理を終了する。一方、一致しない場合には、機械学習部５１による判定結果を優先して、判定情報を更新しても良いし、管理者Ｍに目視で確認するようにメッセージを表示しても良い。そして、画像判定処理を終了する。

（第２実施形態）
次に、第２実施形態の画像特定システム１Ａおよび画像特定方法について図１６から図１８を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。

図１６に示すように、第２実施形態の画像特定システム１Ａでは、第１実施形態の場合（図２参照）と異なり、現場端末２Ａに画像記憶部２７と撮影情報記録部３６と識別子生成部３７とが設けられていない。その替りに、管理コンピュータ３Ａに撮影情報記録部５２と識別子生成部５３とが設けられている。

第２実施形態では、現場端末２Ａが管理コンピュータ３Ａと常時接続が可能な通信環境に設けられている。そして、作業者Ｗが、現場端末２Ａを用いて撮影操作を行った場合に、取得された画像がリアルタイムで管理コンピュータ３Ａに転送される。なお、撮影時の位置情報と方向情報と画角情報とを含む撮影情報も同時に転送される。そして、管理コンピュータ３Ａの画像記憶部４１に記憶される。このように第２実施形態では、現場端末２Ａには、画像が保存されないため、現場端末２Ａが外部に持ち出された場合であっても、画像が持ち出されないで済む。

管理コンピュータ３Ａの撮影情報記録部５２は、現場端末２Ａから画像を受信したときに、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する。撮影情報は、画像ファイルの属性として記録しても良いし、画像ファイルとは異なる記録ファイルに記録しても良い。なお、管理者Ｍは、いずれの方式で記録するかを事前に設定することができる。

管理コンピュータ３Ａの識別子生成部５３は、受信した撮影情報に基づいて、識別子を生成する。なお、管理者Ｍは、撮影情報を識別子として記録するか否かを事前に設定することができる。識別子が生成される設定の場合には、撮影情報記録部５２が識別子を画像に対応付けて記録する。なお、撮影情報記録部５２が識別子を画像に含ませる態様で記録しても良い。

次に、現場端末２Ａが実行する撮影制御処理について図１８のフローチャートを用いて説明する。なお、第２実施形態の撮影制御処理は、ステップＳ６９Ａのみが、第１実施形態の撮影制御処理（図１５参照）と異なり、ステップＳ６１からステップＳ６８までは、第１実施形態の撮影制御処理と同様である。

図１８に示すように、ステップＳ６８の次に進むステップＳ６９Ａにおいて、端末制御部２８は、カメラ８で撮影した画像、および位置情報と方向情報と画角情報とを含む撮影情報を、管理コンピュータ３Ａに送信する。そして、撮影制御処理を終了する。

次に、管理コンピュータ３Ａが実行する画像判定処理について図１７のフローチャートを用いて説明する。なお、第２実施形態の画像判定処理は、ステップＳ２１ＡとステップＳ２１Ｂのみが、第１実施形態の画像判定処理（図１１参照）と異なり、ステップＳ２２からステップＳ３０までは、第１実施形態の画像判定処理と同様である。

図１７に示すように、まず、ステップＳ２１Ａにおいて、管理制御部４２は、現場端末２Ａから画像を受信したか否かを判定する。ここで、画像を受信していない場合（ステップＳ２１ＡにてＮＯの場合）は、画像判定処理を終了する。一方、画像を受信した場合（ステップＳ２１ＡにてＹＥＳの場合）は、ステップＳ２１Ｂに進む。

次のステップＳ２１Ｂにおいて、撮影情報記録部５２は、現場端末２Ａから画像とともに受信した撮影情報を、画像に対応付けて記録する。なお、識別子生成部５３が撮影情報に基づいて識別子を生成し、この識別子を画像に対応付けて記録しても良い。ここで、画像ファイルは、画像記憶部４１に記憶される。そして、ステップＳ２２に進む。

（第３実施形態）
次に、第３実施形態の画像特定システム１および画像特定方法について図１９を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。さらに、図２のブロック図を参照する。

図１９に示すように、第３実施形態の画像特定システム１では、第１実施形態の場合と異なり、レイアウト図面５４のような２Ｄ−ＣＡＤデータに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。レイアウト図面５４は、例えば、それぞれの部屋１５の平面図でも良いし、建物１４のそれぞれのフロアの平面図でも良い。

第３実施形態の対象情報には、撮影場所のレイアウト図面５４（平面図）が含まれている。そして、レイアウト図面５４におけるカメラ８（現場端末２）と対象機器４（対象部分）の２次元の座標情報に基づいて、対象機器４が写った画像を特定する。なお、現場端末２の機能は、前述の第１実施形態と同じであり、現場端末２により記録された画像には、撮影位置、方位、画角に関する情報が記録されている。

対象情報データベース３８に登録されている設計情報には、レイアウト図面５４が含まれている。レイアウト図面５４には、対象機器４の位置、形状または寸法に関する情報が含まれている。さらに、対象機器４の周囲に配置される所定の構造物５５の位置、形状または寸法に関する情報も含まれている。なお、構造物５５は、部屋１５に設置されている装置でも良いし、壁または柱などの建物１４の一部でも良い。また、基準点管理テーブルに登録される位置情報は、基準点が設けられた位置を指定する２次元座標の情報である。この座標の情報には、水平方向（Ｘ軸，Ｙ軸）の位置を指定する情報を含む。

画像判定部４３（図２参照）は、画像ファイルに対応付けられた撮影情報と、対象情報データベース３８に記憶された対象情報および設計情報とに基づいて、画像に対象機器４（対象部分）が写っているか否かを判定する。第３実施形態では、カメラ８の水平方向の撮影方向のみに基づいて、対象機器４が写っているか否かの判定を行う。つまり、カメラ８の上下方向の傾きを考慮する必要がなく、大凡の撮影範囲５６が把握できれば良い。

なお、カメラ８の撮影範囲５６に対象機器４が含まれているが、対象機器４の手前に所定の構造物５５（遮蔽物）がある場合は、対象機器４が構造物５５に隠れてしまって、カメラ８で撮影された画像に写り込まないことが想定される。そこで、レイアウト図面５４（２Ｄ−ＣＡＤデータ）を参照し、対象機器４の手前の構造物５５の位置関係に基づいて、画像に対象機器４が映り込んでいるか否かを判定する。

第３実施形態では、２次元の座標情報を用いて処理を行うため、３次元の座標情報の処理を行う場合と比較して、画像に撮影制限の対象となっている対象機器４が写っているか否かを判定する処理を簡素化することができる。つまり、情報量の少ない２Ｄ−ＣＡＤデータを用いて判定が行えるため、情報量の多い３Ｄ−ＣＡＤデータを準備せずに済むようになる。

また、対象情報データベース３８には、対象機器４以外の構造物５５の位置を特定可能な情報を含む設計情報が記憶されており、撮影情報と対象情報と設計情報に基づいて、対象機器４が写った画像を特定する。このようにすれば、カメラ８の撮影範囲５６に対象機器４が含まれていても、対象機器４が構造物５５に隠れてしまって画像に写り込まない場合に、その判定を行うことができる。

（第４実施形態）
次に、第４実施形態の画像特定システム１および画像特定方法について図２０から図２１を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。

第４実施形態では、動画像を対象とした処理を説明する。動画像の撮影の場合は、撮影中にカメラ８の位置が移動する場合がある。撮影開始時に、対象部分としての対象機器４が写り込んでいない場合であっても、撮影中にカメラ８が移動することにより対象機器４が動画像に写り込んでしまう場合がある。このような場合でも、動画像中に対象機器４が写り込んでいるか否かを判定する。

まず、動画像の撮影時の時刻、位置、方位、画角など撮影情報を、静止画像におけるＥｘｉｆと同様に、動画ファイルの属性情報として記録する。動画像の場合には、決められた時間間隔で連続的に映像を記録するため、撮影情報も動画像のそれぞれのフレームに対応付けて記録する必要がある。例えば、それぞれのフレームに対応する撮影情報を動画ファイルとは別のファイルに記録しても良い。また、動画像の音声またはテキストデータを記録するトラックに撮影情報を記録しても良い。

第４実施形態の画像判定部４３（図２参照）の判定においては、記録された動画像の属性に記録された画角情報とそれぞれのフレームにおける撮影位置と撮影方向に基づいて、カメラ８の撮影範囲を算出する。次に、対象情報データベース３８に登録された対象情報に基づいて、カメラ８と対象機器４の位置関係から対象機器４が動画像に写り込んでいるか否かを判定する。この判定結果を示す判定情報は、動画像のフレームまたはトラックに記録する。

管理者Ｍが動画を編集する際には、例えば、図２０に示すように、管理コンピュータ３のディスプレイ１２に動画編集画面５７が表示される。この動画編集画面５７には、動画ファイルを表示させるファイル表示領域５８と、編集中の動画像が表示されるプレビュー領域５９と、動画像のトラックの内容を表示させる複数のトラック表示領域６０とが設けられている。

所定のトラックには、動画像のそれぞれの場面が記録される。そして、この動画像のトラックに対応して、音声を記録するトラック、テキストデータを記録するトラックが設けられる。さらに、画像判定部４３の判定結果を示す判定情報を記録するトラックが設けられる。

判定情報のトラックには、動画像のいずれの時刻の場面（所定の再生期間）またはフレームに対象機器４が写り込んでいるか否かを示す情報が記録される。例えば、対象機器４が写り込んでいる場面またはフレームに対応して、外部への公開が制限されている旨を示す制限情報６１が記録される。この制限情報６１は、動画編集画面５７のトラック表示領域６０に表示される。なお、管理者Ｍは、動画編集画面５７を用いて任意に制限情報６１を設定しても良い。なお、公開が制限されていない場面またはフレームに対応して、非制限情報を記録しても良い。

動画像を再生するときには、制限情報６１に対応する場面、つまり、対象機器４が写り込んでいる場面がカット（削除）された状態で再生される。なお、対象機器４が写り込んでいるフレームをモザイク処理またはマスク処理して再生しても良い。

第４実施形態の撮影情報記録部３６（図２参照）は、動画像のトラックとフレームの少なくともいずれか一方に撮影情報を対応付けて記録する。このようにすれば、動画像に撮影制限の対象となっている対象機器４が写っているか否かを選別することができる。

また、動画像を再生するときに、撮影制限の対象となっている対象機器４が写っている場面を再生の対象から除外するようにしている。対象機器４をマスクで隠すなどの処理をした場合には、マスクの部分に対象機器４が存在することが分かってしまうが、対象機器４が写っている場面を再生しないようにすることで、対象機器４の存在を秘匿にすることができる。

なお、制限情報を記録する態様は、その他の態様でも良い。例えば、図２１の変形例に示すように、動画像のそれぞれのトラックには、フレーム（画像）と音声とテキストデータと判定情報とが記録される。ここで、判定情報のトラックには、それぞれのフレームごとに制限情報６２が記録される。

制限情報６２は、対象機器４が写り込んでいるフレームに対応付けて記録される。なお、対象機器４が写り込んでいないフレーム、つまり、公開が制限されていないフレーム（または場面）に対応付けて、疑似的な制限情報６３を記録しても良い。この疑似的な制限情報６３が対応付けられるフレームは、判定情報記録部４４（図２参照）がランダムに設定しても良いし、管理者Ｍが任意に設定しても良い。そして、動画像を再生するときには、制限情報６２および疑似的な制限情報６３が対応付けられたフレーム（場面）を再生の対象から除外するようにする。

動画像の再生中に所定の場面がカットされて再生されると、そのカットされた部分に対象機器４が存在することが推測されてしまう。そこで、疑似的な制限情報６３を記録して、公開が制限されていない場面についても部分的（ランダム）にカットして再生することで、対象機器４の存在が推測されないようにできる。

本実施形態に係る画像特定システムおよび画像特定方法を第１実施形態から第４実施形態に基づいて説明したが、いずれか１の実施形態において適用された構成を他の実施形態に適用しても良いし、各実施形態において適用された構成を組み合わせても良い。

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

なお、本実施形態では、ＶＳＬＡＭ技術を用いて現場端末２の位置情報を取得しているが、その他の態様であっても良い。例えば、ＧＰＳを利用して位置情報を取得しても良い。Ｗｉ−Ｆｉ（登録商標）などの無線通信を利用して位置情報を取得しても良い。加速度センサなどを利用するＰＤＲにより位置情報を取得しても良い。

なお、現場端末２が魚眼レンズ付カメラを備えても良い。例えば、２つの魚眼レンズ付カメラを用いて作業者Ｗの上下左右全方位の３６０度パノラマ画像である全天球画像の同時撮影を行っても良い。そして、全天球画像に対象機器４が写っているか否かを判定しても良い。その場合には、撮影方向および設定情報を参照せずに、位置情報のみに基づいて判定を行っても良い。

なお、本実施形態の現場端末２は、作業者が持運びできる大きさおよび重さであれば良い。例えば、作業現場において、三脚などの固定器具を用いて現場端末２を固定的に設置して使用しても良い。

なお、本実施形態のカメラ８は、ステレオカメラであっても良い。例えば、カメラ８がレンズ付きの２つの撮像素子を備えていても良い。このステレオカメラは、物体を複数の異なる２つの方向から同時に撮影することにより、その物体までの奥行き方向の情報が取得可能となっている。また、ステレオカメラのそれぞれの撮像素子により取得される画像は２次元画像であるが、これら２つの２次元画像に写る像の差異に基づいて、立体的な空間把握が可能な立体写真の生成が可能になっている。なお、ディスプレイ６には、レンズ付きの２つの画像素子のうち、いずれか一方の画像素子で撮影した撮影画像を表示すれば良い。

以上説明した少なくとも１つの実施形態によれば、位置情報と方向情報と画角情報とを含む撮影情報を画像に対応付けて記録する撮影情報記録部を備えることにより、撮影制限の対象となっている対象部分が写った画像を正確に選別し、その画像が外部に漏洩されてしまうことを抑制することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１（１Ａ）…画像特定システム、２（２Ａ）…現場端末、３（３Ａ）…管理コンピュータ、４…対象機器、５…マーカ、６…ディスプレイ、７…スマートフォン、８…カメラ、９…透過型ヘッドマウントディスプレイ、１０…ウェアラブルコンピュータ、１１…コンピュータ本体、１２…ディスプレイ、１３…無線通信装置、１４…建物、１５…部屋、１６…許可エリア、１７，１８…出入口、１９…移動経路、２０…画像ファイル、２１…記録ファイル、２２…加速度センサ、２３…角速度センサ、２４…３次元測定センサ、２５…操作入力部、２６…通信部、２７…画像記憶部、２８…端末制御部、２９…位置姿勢推定部、３０…基準取得部、３１…エリア識別部、３２…画像取得制御部、３３…位置情報取得部、３４…方向情報取得部、３５…画角情報取得部、３６…撮影情報記録部、３７…識別子生成部、３８…対象情報データベース、３９…操作入力部、４０…通信部、４１…画像記憶部、４２…管理制御部、４３…画像判定部、４４…判定情報記録部、４５…判定結果表示部、４６…対象情報設定部、４７…画像判定結果画面、４８…制限ファイル表示領域、４９…非制限ファイル表示領域、５０…マウスカーソル、５１…機械学習部、５２…撮影情報記録部、５３…識別子生成部、５４…レイアウト図面、５５…構造物、５６…撮影範囲、５７…動画編集画面、５８…ファイル表示領域、５９…プレビュー領域、６０…トラック表示領域、６１，６２，６３…制限情報、Ｍ…管理者、Ｗ…作業者。

Claims (15)

1. 移動可能な端末に搭載され、画像を撮影するカメラと、
   前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部と、
   前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部と、
   前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得する画角情報取得部と、
   前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録する撮影情報記録部と、
   を備える、
   画像特定システム。
2. 前記撮影情報に基づいて、撮影制限の対象となっている対象部分が写った前記画像を選別する、
   請求項１に記載の画像特定システム。
3. 前記撮影情報に基づいて、撮影制限の対象となっている対象部分が写った前記画像を公開の対象から除外する、
   請求項１または請求項２に記載の画像特定システム。
4. 前記撮影情報に基づいて、前記画像に撮影制限の対象となっている対象部分が写っているか否かを判定する画像判定部を備える、
   請求項１から請求項３のいずれか１項に記載の画像特定システム。
5. 前記画像判定部による判定結果を識別可能な情報をディスプレイに表示する判定結果表示部を備える、
   請求項４に記載の画像特定システム。
6. 前記判定結果表示部は、前記対象部分が写っている前記画像を含む画像ファイルが表示される制限ファイル表示領域と前記対象部分が写っていない前記画像を含む前記画像ファイルが表示される非制限ファイル表示領域とを表示する、
   請求項５に記載の画像特定システム。
7. 前記判定結果表示部は、前記制限ファイル表示領域と前記非制限ファイル表示領域とを並べて表示する、
   請求項６に記載の画像特定システム。
8. 前記画像が動画像であり、前記動画像のトラックとフレームの少なくともいずれか一方に対応付けて、撮影制限の対象となっている対象部分が写っているか否かを示す情報を記録する、
   請求項１から請求項７のいずれか１項に記載の画像特定システム。
9. 前記画像が動画像であり、撮影制限の対象となっている対象部分が写っている場面を再生の対象から除外する、
   請求項１から請求項８のいずれか１項に記載の画像特定システム。
10. 撮影制限の対象となっている対象部分の位置を特定可能な対象情報が記憶された対象情報データベースを備え、
    前記撮影情報と前記対象情報とに基づいて、前記対象部分が写った前記画像を特定する、
    請求項１から請求項９のいずれか１項に記載の画像特定システム。
11. 前記対象情報データベースには、前記対象部分以外の構造物の位置を特定可能な情報を含む設計情報が記憶されており、
    前記撮影情報と前記対象情報と前記設計情報に基づいて、前記対象部分が写った前記画像を特定する、
    請求項１０に記載の画像特定システム。
12. 撮影場所に設けられている特定被写体を前記カメラで撮影して前記撮影場所の基準点を取得する基準取得部を備え、
    前記基準点に基づいて、前記位置情報取得部が前記画像の撮影時の位置の取得を行い、かつ前記方向情報取得部が前記画像の撮影時の方向の取得を行う、
    請求項１から請求項１１のいずれか１項に記載の画像特定システム。
13. 前記特定被写体は、画像認識が可能な図形として描かれたマーカを含む、
    請求項１２に記載の画像特定システム。
14. 前記特定被写体は、銘柄を表示した銘板を含む、
    請求項１２または請求項１３に記載の画像特定システム。
15. 移動可能な端末に搭載されたカメラにより画像を撮影するステップと、
    前記カメラによる前記画像の撮影時の位置を特定可能な位置情報を取得するステップと、
    前記カメラによる前記画像の撮影時の方向を特定可能な方向情報を取得するステップと、
    前記カメラによる前記画像の撮影時の画角を特定可能な画角情報を取得するステップと、
    前記位置情報と前記方向情報と前記画角情報とを含む撮影情報を前記画像に対応付けて記録するステップと、
    を含む、
    画像特定方法。

Images