JP2020035094A - 機械学習装置、教師用データ作成装置、推論モデル、および教師用データ作成方法 - Google Patents

Abstract

【課題】深層学習等の機械学習に使用するための教師用データを簡単に作成することができるようにした機械学習装置、教師用データ作成装置、推論モデルおよび教師用データ作成方法を提供する。【解決手段】画像を解析して、構造物の像の延伸方向を判定し（Ｓ７）、判定された延伸方向に対して垂直方向を判定し（Ｓ９）、構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し（Ｓ１１）、画像内の構造物に対して、垂直方向は輪郭部までを、構造物の延伸方向に沿って塗りつぶす画像処理を施し（Ｓ１３）、塗りつぶされた画像をアノテーション情報とし（Ｓ１５）、画像とアノテーション情報は、教師用データとして、構造物の像を判定する推論モデルを作成するための機械学習に使用される。【選択図】 図４

Description

本発明は、深層学習等の機械学習のための推論モデルを作成する際に使用する教師用データを作成可能な機械学習装置、教師用データ作成装置、推論モデル、および教師用データ作成方法に関する。

被検体を撮影した少なくとも１つの医用画像を表示する医用画像処理装置において、画像から確認すべき位置を判定し、この位置について判定されたか否かを表示することが提案されている（特許文献１参照）。また、近年、深層学習等の機械学習装置が種々提案されているが、この機械学習にあたっては、深層学習するための教師用データが必要である。

特開２０１５−１９８９２８号公報

前述したように、診断すべき位置を判定することは提案されているが、深層学習等の機械学習に使用するための教師用データを作成することについては、何ら記載されていない。

本発明は、このような事情を鑑みてなされたものであり、深層学習等の機械学習に使用するための教師用データを簡単に作成することができるようにした機械学習装置、教師用データ作成装置、推論モデル、および教師用データ作成方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る機械学習装置は、画像を解析して、構造物の像の延伸方向を判定する延伸方向判定部と、上記延伸方向判定部によって判定された延伸方向に対して垂直な方向を判定する垂直方向判定部と、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定する輪郭判定部と、上記画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶす画像処理を施す塗りつぶし部と、上記塗りつぶし部によって塗りつぶされた画像をアノテーション情報とするアノテーション情報化部と、を有し、上記画像とアノテーション情報は、教師用データとして、構造物の像を判定する推論モデルを作成するための機械学習に使用される。

第２の発明に係る機械学習装置は、上記第１の発明において、上記アノテーション情報の付された画像が所定枚数に達すると、アノテーション情報を付与するための機械学習を行って推論モデルを生成し、以後、この推論モデルを用いて、新たな画像に対してアノテーション情報を付与する。
第３の発明に係る機械学習装置は、上記第２の発明において、上記推論モデルを用いてアノテーション情報を付与した画像について、不適切と判定された場合には、不適切と判定された画像を除外し、不適切と判定されない画像を用いて、上記アノテーション情報を付与するための機械学習を行い、推論モデルを更新する。

第４の発明に係る機械学習装置は、上記第３の発明において、上記不適切と判定されなかった画像について、上記アノテーション情報について修正が必要か否かを判定し、修正が必要とされた場合には、修正された画像を、推論モデルを更新する際の機械学習にも用いる。
第５の発明に係る機械学習装置は、上記第１の発明において、上記輪郭判定部は、上記像のコントラスト変化および／または色変化がない部分においては、近傍の隣接部を参照することにより、上記部分の隣接部を決定する。
第６の発明に係る推論モデルは、上記第１の発明に記載のアノテーション化部によって生成された推論モデル。

第７の発明に係る表示装置は、撮像された対象物画像を解析して、測定対象部分を検出して表示する表示装置において、構造物の像の延伸方向を判定する延伸方向判定部と、上記延伸方向判定部によって判定された延伸方向に対して垂直な方向を判定する垂直方向判定部と、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定する輪郭部判定部と、を有し、上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習し、この機械学習によって作成された推論モデルを用いて上記測定対象部を検出する。

第８の発明に係る表示方法は、撮像された対象物画像を解析して、測定対象部分を検出して表示する表示方法において、学習時に、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定した後に、上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習し、この機械学習によって作成された推論モデルを用いて上記測定対象部分を検出する。
第９の発明に係る表示方法は、撮像された対象物画像を解析して、測定対象部分を検出して表示する表示方法において、学習装置において、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し、上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習することによって、推論モデルを生成し、表示装置において、上記機械学習によって作成された推論モデルを用いて上記測定対象部分を検出する。

第１０の発明に係るプログラムは、撮像された対象物画像を解析して、測定対象部分を検出して表示する表示装置に設けられたコンピュータを実行するためのプログラムにおいて、学習時に、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定した後に、上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習し、この機械学習によって作成された推論モデルを用いて上記測定対象部分を検出する、ことを上記コンピュータに実行させる。
第１１の発明に係るプログラムは、撮像された対象物画像を解析して、測定対象部分を検出して表示する表示装置に設けられたコンピュータを実行するためのプログラムにおいて、学習時に、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し、上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習することによって生成された推論モデルを受信し、上記受信した推論モデルを用いて上記測定対象部分を検出する、ことを上記コンピュータに実行させる。

第１２の発明に係る教師用データ作成装置は、画像を解析して、対象部を塗りつぶす画像処理を施す画像処理部と、上記画像処理部によって塗りつぶされた画像をアノテーション情報とするアノテーション情報化部と、上記画像と、上記アノテーション情報化部によって付与されたアノテーション情報の組合せを教師データとし、上記対象部を推論する推論モデルを、機械学習によって作成する学習部と、を具備し、上記学習部によって作成された推論モデルを用いて、上記画像とは異なる画像に対して、上記対象部を塗りつぶし、アノテーション情報を付与することにより、教師用データを作成する。

第１３の発明に係る教師用データ作成装置は、上記第１２の発明において、最初に所定数Ｎのアノテーション情報が蓄積されるまでは、上記画像処理部によって塗りつぶされた画像に基づいてアノテーション情報を作成し、上記所定数Ｎのアノテーション情報が蓄積された後は、上記学習部によって作成された推論モデルを用いて、上記アノテーション情報を作成する。
第１４の発明に係る教師用データ作成装置は、上記第１３の発明において、上記推論モデルを用いてアノテーション情報を付与した画像について、不適切と判定された場合には、不適切と判定された画像を除外し、不適切と判定されない画像を用いて、上記アノテーション情報を付与するための機械学習を行い、推論モデルを更新する。
第１５の発明に係る教師用データ作成装置は、上記第１４の発明において、上記不適切と判定されなかった画像について、上記アノテーション情報について修正が必要か否かを判定し、修正が必要とされた場合には、修正された画像を、推論モデルを更新する際の機械学習にも用いる。

第１６の発明に係る機械学習方法は、画像を解析して、構造物の像の延伸方向を判定し、上記判定された延伸方向に対して垂直方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し、上記画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶす画像処理を施し、上記塗りつぶされた画像をアノテーション情報とし、上記画像とアノテーション情報は、教師用データとして、構造物の像を判定する推論モデルを作成するための機械学習に使用される。

第１７の発明に係る教師用データ作成方法は、画像を解析して、対象部を塗りつぶす画像処理を施し、上記塗りつぶされた画像をアノテーション情報とし、上記画像と、上記アノテーション情報の組合せを教師データとし、上記対象部を推論する推論モデルを、機械学習によって作成し、上記推論モデルを用いて、上記画像とは異なる画像に対して、上記対象部を塗りつぶし、アノテーション情報を付与することにより、教師用データを作成する。
第１８の発明に係る教師用データ作成方法は、画像を解析して、上記画像にアノテーションを付与する第１のアノテーション処理を行い、上記第１のアノテーション処理によって作成された教師データを用いて、アノテーション付与を行うための推論モデルを生成し、上記推論モデルを用いて、上記画像とは異なる画像に対して、アノテーションを付与するための第２のアノテーション処理を行う。

本発明によれば、深層学習等の機械学習に使用するための教師用データを簡単に作成することができるようにした機械学習装置、教師用データ作成装置、推論モデル、および教師用データ作成方法を提供することができる。

本発明の一実施形態に係る撮像システムの主として電気的構成を示すブロック図である。 本発明の一実施形態に係る撮像システムにおいて、教師用データの生成と、教師用データを用いて作成された推論モデルを用いて行う推論を示すブロック図である。 本発明の一実施形態に係る撮像システムにおいて、推論結果の表示の例を示す図である。 本発明の一実施形態に係る撮像システムにおいて、アノテーションの動作を示すフローチャートである。 本発明の一実施形態に係る撮像システムにおいて、対象物に対してアノテーションを行う際に、対象範囲の特定を説明する図である。 本発明の一実施形態に係る撮像システムにおいて、推論モデルの作成の動作を示すフローチャートである。 本発明の一実施形態に係る撮像システムにおいて、画像取得装置の制御動作を示すフローチャートである。 本発明の一実施形態に係る撮像システムにおいて、対象物の大きさの測定方法を説明する図である。 本発明の一実施形態に係る撮像システムにおいて、アノテーションの動作の変形例を示すフローチャートである。

以下、本発明の好ましい実施形態として、本発明をカメラ（撮像装置）と外部装置を有する撮像システムに適用した例について説明する。この撮像システムの概略は以下の通りである。カメラは、外部機器とネットを通じて接続することができる。この外部装置は、画像を記録することができ、この記録された画像に対して、幅のある直線構造物の範囲を判定し、この構造物の輪郭部までの範囲をアノテーション（注釈）情報とする。すなわち、画像の中から、対象とする構造物を自動的に検出し、この画像にアノテーション情報を付した教師用データを作成することができる（詳しくは、図４、図５参照）。また、対象とする構造物としては、橋脚、トンネル・建築物等における柱、配管等、柱状の構造物であるが、これ以外にもロッカー、家具等、柱状に限られない。また、構造物としては、固定されていなくも本発明を適用することができる。

アノテーション情報を付した教師用データを作成すると、外部装置内の学習部（推論エンジン）は、深層学習を行い、対象物を測定するための推論モデルを作成することができる（詳しくは、図６を参照）。この作成された推論モデルによって画像を推論することによって、構造物を検出し、自動的に構造物の幅等の大きさを測定することができる（詳しくは、図７参照）。

また、本実施形態の変形例では、外部装置に記録された画像の内、所定枚数（Ｎ枚）の画像に対して、アノテーション情報を付与した教師用データを作成すると、この教師用データを用いて、アノテーション情報付与のための深層学習を行い、推論モデルを作成する。そして、残りの画像に対して、推論モデルを用いて、アノテーション情報の付与を行う（詳しくは、図９参照）。

図１は、本発明の一実施形態に係る撮像システムの主として電気的構成を示すブロック図を示す。この撮像システムは、情報取得装置１０と外部装置２０を有する。情報取得装置１０としては、カメラ、撮像部を有するスマートフォン、撮像部を有するＰＣ（パーソナルコンピュータ）、撮像部を有するタブレット等、画像等の情報を取得可能な機器であればよい。

情報取得装置１０は、画像処理および制御部１、情報取得部２、姿勢センサ３、記録部４、操作判定部５、通信部６、表示部８、タッチパネル８ａを有する。

情報取得部２は、対象物の画像データを取得する。この情報取得部２は、対象物の光学像を形成するための光学系と、この光学像を画像信号に変換するための撮像素子と、この撮像素子の制御および画像信号の読み出し等を行う撮像回路等を有する。撮像回路は、更に、画像信号の増幅処理や、画像データに変換するためのＡＤ変換回路等を有する。情報取得部２は、取得した画像データを画像処理および制御部１に出力する。

姿勢センサ３は、ジャイロセンサ、加速度センサ等を有する。姿勢センサ３は、情報取得装置３の姿勢を検知し、検知結果を画像処理および制御部１に出力する。なお、姿勢センサ３としては、傾きセンサであってもよく、この場合は、情報取得装置３の傾きを検知する。また、姿勢センサ３は電子コンパスであってもよく、この場合は、例えば、情報取得装置３の光学系の向いている方向を検知する。

記録部４は、電気的に書き換え可能な不揮発性メモリを有し、このメモリは、情報取得装置１０に装着可能な記録媒体であってもよく、また情報取得装置１０に固定された半導体メモリや、ハードディスク等であってもよい。記録部４は、推論情報４ａ、画像データ４ｂ、各種データ４ｃ等を記録する。推論情報４ａは、外部装置２０内の学習部によって深層学習がなされ、生成された推論モデル等の推論情報である。画像データ４ｂは、情報取得部２によって取得され、画像処理および制御部１によって画像処理が施された画像データである。各種データ４ｃは、情報取得装置１０を動作させるための各種調整データ等である。

操作判定部５は、ユーザが情報取得装置１０に対して指示を与えるインターフェースであり、各種操作ボタン、操作ダイヤル等の操作部材を有する。操作判定部５は、操作部材の操作状態を判定するための判定回路を有し、判定結果は、画像処理および制御部１に出力される。

通信部６は、無線通信および／または有線通信を行うための通信回路を有する。通信部６は、外部装置２０内の通信部３０と送受信を行う。通信部６を介して、情報取得装置１０は画像データを外部装置２０に送信し、外部装置２０から推論モデルを受信する。

表示部８は、液晶ディスプレイ（ＬＣＤ）や有機ＥＬ等のディスプレイを有する。表示部８は、情報取得部２によって取得された画像データに基づいてライブビュー画像を表示し、また記録部４に記録された画像データ４ｂに基づく画像を再生表示する。また、表示部８の表示面にはタッチパネル８ｂが設けられている。タッチパネル８ｂは、ユーザのタッチ操作を検知し、この検知結果を画像処理および制御部１に出力する。

画像処理および制御部１は、制御部１ａ、画像処理部１ｂ、推論部１ｃ、ガイド部１ｄ、表示制御部１ｅを有する。画像処理および制御部１は、プロセッサであり、また、ＡＳＩＣ（Application Specific Integrated Circuit）によって、構成してもよい。制御部１ａは、ＣＰＵ（Central Processor Unit）を有し、記録部４に記憶されているプログラムに従って、情報取得装置１０の各部を制御することによって、全体を制御する。

画像処理部１ｂは、画像処理回路を有し、情報取得部２によって取得された画像データに対して、種々の画像処理を施す。種々の画像処理としては、例えば、ノイズ処理、ＷＢゲイン補正、輪郭強調、偽色補正等の様々な画像処理がある。また、画像処理部１ｂは、表示部８におけるライブビュー画像に適した画像処理を施し、記録部４に記録する際に適した画像処理を施す。

推論部１ｃは、ハードウエアで構成された推論エンジンを有してもよく、また、ＣＰＵ等のプロセッサによってソフトウエアによる推論処理を実現してもよい。推論部１ｃは、外部装置２０の学習部２３において生成された推論モデルを入力して、ニューラル・ネットワークの重み付けや結合の強さを設定する。また、推論部１ｃは、情報取得部２によって取得された画像データを入力し、推論を行う。例えば、図３を用いて後述するように、情報取得装置１０によって取得した画像に基づいて、ロッカーや机等の器具・装置、配管・柱等の建築物等の対象物を推論し、この推論された対象物の長さを算出するまでを行ってもよい（図７のＳ４７、Ｓ５９参照）。なお、対象物の長さの算出にあたっては、推論部１ｃにおける推論結果のみを使用しなくてもよい。例えば、推論結果の信頼性の低い場合には、図４で行うような画像判定を情報取得装置１０の制御部１ａなどが実行して判定することによって、対象物の長さを算出することの補助や代行してもよい。

ガイド作成部１ｄは、ユーザが情報取得装置１０を用いて、種々の器具・装置・建築物を測定する際に、適切に測定できるように、種々のガイド表示を作成する。例えば、情報取得装置１０によって取得した画像に基づいて、推論部１ｃがロッカーや机等の器具・装置、配管・柱等の建築物等の対象物を推論すると、この推論された対象物の長さを算出してガイド情報を表示する。なお、ガイド作成部１ｄと推論部１ｃとの連携の仕方は、設計や学習（教師データによる）によって変更が可能である。つまり、推論部１ｃにおける推論結果をそのまま表示しても良く、また推論部１ｃは対象部分が何であるかについて判定のみを行い、判定された対象部分の長さ等の測定はガイド作成部１ｄが行ってもよい。上述したように、例えば推論結果の信頼性の低い場合には、特定の画像判定プログラム等を実行することによって、ガイド表示に必要な機能補助や機能代行すればよく、このような機能をガイド作成部１ｄに設けてもよい。また、正しい判断ができるように、撮像時の姿勢や距離やピントや露出などのガイドを出すようにしてもよい。ユーザは、このガイドを見ながら操作を行い、正しい計測、測定結果を得ることが可能となる。

表示制御部１ｅは、表示制御回路を有し、表示部８における表示の制御を行う。例えば、情報取得部２によって取得した対象物をライブビュー表示し、また記録部４に記録されている画像を再生表示する。強調部１ｅａは、ガイド表示する場合等、ユーザに特に気づいてもらいたい箇所を強調する表示を行うための制御を行う。例えば、対象物の大きさを表示する際に、測定箇所を表示しても良い（図３（ｃ）〜（ｅ）参照）。タッチパネル８ｂは、表示部８の表示面に設けられ、ユーザがタッチ操作すると、タッチ情報を検出し、画像処理および制御部１に出力する。この強調部１ｅａによって、アノテーション時に、例えば、図３（ｃ）〜（ｅ）に図示されるように、測定箇所が色やコントラストで強調された表現となるので、ユーザは対象となる部分を装置やシステムが正しく把握されたことを認識し、安心して作業が進められる。

外部装置２０は、制御部２１、情報記録部２２、学習部２３、直線構造物判定部２４、構造物延伸方向判定部２５、垂直方向判定部２６、アノテーション情報化部２７、垂直方向判定部２８、塗りつぶし部２９、通信部３０を有する。外部装置２０は、パーソナルコンピュータ（ＰＣ）等のスタンドアロン装置であってもよく、またインターネット上で接続されているサーバであってもよい。ＰＣ等のスタンドアロン装置の場合には、画像データは、通信部を介さず、ＵＳＢメモリ等から入力するようにしてもよい。

制御部２１は、プロセッサであり、また、ＡＳＩＣ（Application Specific Integrated Circuit）によって、構成してもよい。また、この制御部２１は、ＣＰＵ（Central Processing Unit）を有し、記憶部に記憶されたプログラムに従って、外部装置２０内の各部を制御し、全体を制御する。

情報記録部２２は、電気的に書き換え可能な不揮発性メモリであり、種々のデータ・画像等を記憶する。情報記録部２２は、測定対象物が正しい寸法であるかどうかを証拠として記録するものであり、必要に応じて関連機関に提出すべきドキュメントを記録する。この情報記録部２２は、さらに設計図２２ａ、部品データベース（ＤＢ）２２ｂ、画像データベース（ＤＢ）２２ｃを記憶する。設計図２２ａは、ロッカーや机等の器具・装置、配管・柱等の建築物等の設計図である。また、部品ＤＢ２２ｂは、ロッカーや机等の器具・装置、配管・柱等の建築物等の各部品に関するデータを記憶するデータベースである。画像ＤＢ２２ｃは、情報取得装置１０から送信されてきた画像を記録するデータベースである（図４のＳ３参照）。なお、画像ＤＢ２２ｃは、情報取得装置１０以外から取得した画像を記録するようにしてもよい。これらのデータは、アノテーションを付する際に利用するようにしてもよい。

学習部２３は、ハードウエアで構成された推論エンジンを有してもよく、また、ＣＰＵ等のプロセッサによってソフトウエアによって推論処理を実現してもよい。学習部２３は、アノテーション情報化部２７によって作成されたアノテーション付きの画像データ、すなわち教師データを用いて、深層学習を行い、推論モデルを作成する（図６のＳ２３参照）。作成された推論モデルは、通信部３０を通じて、情報取得装置１０内の推論部１ｃに送信される。

また、後述する変形例（図９参照）では、学習部２３は、アノテーション情報化部２７によって作成されたアノテーション付きの画像データが所定数Ｎ、蓄積されると、このアノテーション付き画像データを教師用データとして、アノテーション化のための深層学習を行い、推論モデルを作成する（図９のＳ８５、Ｓ８７参照）。学習部２３は、画像と、アノテーション情報化部によって付与されたアノテーション情報の組合せを教師データとし、対象部を推論する推論モデルを、機械学習によって作成する学習部として機能する。学習部によって作成された推論モデルを用いて、画像とは異なる画像に対して、対象部を塗りつぶし、アノテーション情報を付与することにより、教師用データを作成する。このため、所定数Ｎについて、ユーザがアノテーション情報を付与すれば、この情報に基づいて、推論モデルを作成し、この推論モデルに基づいて、他の画像について、アノテーションを付与することができ、迅速大量にアノテーション化を行うことができる。

本実施形態においては、機械学習として深層学習（ディープ・ラーニング）を行う。この深層学習は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。

ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることにより、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

直線構造物判定部２４は、情報取得装置１０から送信され、画像ＤＢ２２ｃに記録されている画像を、順次読出し、この読み出された画像の中から直線状の構造物がないかを判定する（図４のＳ５、図５（ａ）参照）。

構造物延伸方向判定部２５は、直線構造物判定部２４によって判定された直線状の構造物の延びている方向を判定する（図４のＳ７、図５（ｂ）参照）。構造物延伸方向判定部２５は、画像データに基づいて判断し、例えば、ほぼ同じ色が画面周辺に向かって続いているかどうか等を解析することによって、延伸方向を判定してもよい。構造物延伸方向判定部２５は、画像を解析して、構造物の像の延伸方向を判定する延伸方向判定部として機能する。

垂直方向判定部２６は、構造物延伸方向判定部２５によって判定された構造物の延伸方向と直角に交わる方向を判定する（図４のＳ９、図５（ｃ）参照）。構造物の延伸方向が決まれば、この方向と直交する方向が垂直方向として決まる。垂直方向判定部２６は、延伸方向判定部によって判定された延伸方向に対して垂直な方向を判定する垂直方向判定部として機能する。

垂直方向輪郭判定部２８は、垂直方向判定部２６によって判定された垂直方向において、構造物の輪郭部は判定する。情報取得部２において取得された画像は、光学系によって画像が形成された際に、被写界に奥行きが有る場合には、画面全体に亘ってピントが合っていない部分がある。このため、直線構造物判定部２４によって判定された構造物の輪郭部も、ピントがあっていない場合がる。そこで、垂直方向輪郭判定部２８は、垂直方向判定部２６によって判定された垂直方向に沿って、画像のコントラストの変化や、画像の色変化を解析することにより、構造物の輪郭部分がどこにあるかを判定する。構造物が柱状であることから、輪郭部は延伸方向に延びている。そこで、垂直方向輪郭判定部２８は延伸方向に沿って、順次、輪郭部を判定していく。

多くの構造物は、部品や構造物の強度や品質の均一さや、部品製造上、または部品を使った構造物の設計や施工を単純化するため、他の部分を参照して類推することが可能な場合が多い。例えば、机や椅子の脚なども、一本の脚を測れば、他の脚も同じ設計になっている場合が多い。このように部品レベルで太さや長さが同じものが多く、さらに特定の規格で標準化されたものが使われる傾向があるので、輪郭が不明瞭に写っていても、明瞭に撮影された類似部分からの類推が可能である。この事は、人体の骨格等でもある程度は同様であり、例えば、靴のサイズなども、ギブスで右足が測定できない場合であっても、左足で測定すれば類似の結果を得ることができる。建築現場でも汚れや養生の方法によっては、測定が難しい部分があるが、その部分を外して測定すれば良かったりする。

垂直方向輪郭部判定部２８は、構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定する輪郭判定部として機能する。この輪郭判定部は、像のコントラスト変化および／または色変化がない部分においては、近傍の隣接部を参照することにより、部分の隣接部を決定する。

塗りつぶし部２９は、画像中の構造物について、構造物の延伸方向に沿って、垂直方向輪郭部まで塗りつぶす。すなわち、塗りつぶし部２９は、画像の中で、構造物に相当する領域を指定するために、塗りつぶし処理を行う。前述したように、構造物が延伸方向に延びているので、輪郭部も垂直方向に延びている。塗りつぶし処理は、輪郭部および構造物の上端・下端で囲まれた領域に対して施せばよい。この塗りつぶし処理は、一般的な画像処理回路を利用すればよく、画像処理回路を設けなくても、画像処理ソフトを利用しても良い。

塗りつぶし部２９は、画像内の構造物に対して、垂直方向は上記輪郭部までを、構造物の延伸方向に沿って塗りつぶす画像処理を施す塗りつぶし部として機能する。塗りつぶし部２９は、画像を解析して、対象部を塗りつぶす画像処理を施す画像処理部として機能する。

なお、この画像処理は、対象部を塗りつぶす以外にも、囲み線で示したり、矢印で対象部が分かるようにしたり、色彩を変更する等、対象部を他と区別して表示できるような画像処理であればよい。また、塗りつぶしは、同じ対象であることを均一化によって、わかりやすくして、視認性を向上させるものであれば、他の方法でもよい。例えば、輪郭強調や斜線での網掛けや、漫画の技法である墨入れ、トーン処理などでもよい。その他、識別性を向上させる処理として、明るさを変えたり補色に変えたり原色を強調したりする画像処理方法もある。学習時に、この均一化アノテーション、識別性向上アノテーションをしておくと、対象物の測定現場において、情報取得装置１０が推論結果を表示する際に、同様の表示を行うことにより、視認性を高めることができる。測定現場における作業は迅速性が求められ、かつ小型の機器による作業が好ましい。視認性を向上させた、推論結果の表示やガイドは非常に効率化に寄与する。そのため、学習段階からこのようなアノテーションを行っておくことが好ましい。

アノテーション情報化部２７は、情報取得部２によって取得された画像に対して、塗りつぶし部２８によって、塗りつぶされた領域を、画像に関連付けする。すなわち、塗りつぶされた領域をアノテーション（注釈）として、画像に関連付ける。この関連付けされた画像は、学習部２３において、深層学習を行う際の教師データとして使用することができる（図２参照）。

アノテーション情報化部２７は、塗りつぶし部によって塗りつぶされた画像をアノテーション情報とするアノテーション情報化部として機能する。ここで、生成されたアノテーション情報、および画像は、教師用データとして、構造物の像を判定する推論モデルを作成するための機械学習に使用される。アノテーション情報化部２７は、画像処理部によって塗りつぶされた画像をアノテーション情報とするアノテーション情報化部として機能する。また、アノテーション情報化部によって、推論モデルが生成される。

なお、上述の直線構造物判定部２４、構造物延伸方向判定部２５、垂直方向判定部２６、アノテーション情報化部２７、垂直方向輪郭判定部２８、塗りつぶし部２９は、制御部２１、学習部２３と別体の構成としている。しかし、これに限らず、これらの全部または一部を１つまたは複数のプロセッサで構成してもよい。さらに、各部は、ハードウエア回路で構成してもよく、ＣＰＵ等によってソフトウエアで機能を実現するようにしてもよい。また、学習部２３において学習する際に使用する教師用データは、公開されているデータがある。例えば、特定の画像を扱う団体が研究用に配布しているデータや、評価者によって販売されているデータや、画像検索によって簡単に画像をサービスによって入手できるデータ等がある。これらのデータは、何枚セットとかの集合として使えるので、これを使ってアノテーションしてもよい。

学習部２３は、所謂人工知能（ＡＩ）を用いて深層学習（機械学習）を行う。具体的には、学習部２３は、アノテーション情報化部２７によって作成されたアノテーション付き画像（教師用データ）を母集合とすると共に教師データとして用いて、深層学習を行う。すなわち、ニューラル・ネットワークの入力層にアノテーション付き画像の画像データを入力し、出力結果が教師用データのアノテーション情報（構造物と判定（塗りつぶされた）された領域）となるように、中間層の重み付けを決定する。この中間層の重み付け（結合の強さ）が推論モデルとして出力される。深層学習については、図２を用いて後述する。

通信部３０は、無線通信および／または有線通信を行うための通信回路を有する。この通信部３０は、情報取得装置１０内の通信部６０と送受信を行う。通信部３０を介して、情報取得装置１０から画像データを受信し、また、外部装置２０は推論モデルを情報取得装置１０に送信する。

次に、図２を用いて、外部装置２０内の学習部２３における深層学習を行うための教師用データと、学習部２３が行う深層学習について説明する。

図２（ａ）は、学習部２３が行う教師用データを示す。Ａ画像４１は、情報取得部２によって取得された画像である。Ｂ答え４２は、アノテーション化部２７によって生成されたアノテーション情報（構造物と判定された領域）である。画像群４３は、アノテーション情報が付与された画像群（教師用データ）である。この画像群（教師用データ）を用いて、学習部２３内のニューラル・ネットワーク（ネットワークのデザイン）４４における深層学習を行う。

図２（ｂ）は、学習部２３が行う深層学習と、推論部１ｃが行う推論を説明する図である。画像群４３の内の画像をニューラル・ネットワーク４４の入力層に入力し、画像群４３の内の答え（アノテーション情報（構造物と判定された領域））を出力層に与える。そして、各入力に対して、各出力が一致するように、中間層（ニューラルネットワーク４４）の各層におけるニューロンの結合の強さや重み付け決めていく。中間層の結合の強さや重み付けが推論モデルとなる。学習部２３によって生成された推論モデル（中間層の結合の強さや重み付け）は、推論部１ｃに格納され、推論の際に使用される。

次に、図３を用いて、学習部２３によって生成された推論モデルを用いて、推論部１ｃが行う推論について説明する。図３に示す例は、情報取得部２によって画像を取得し、この画像に基づいて対象物の大きさを計測する様子である。ここでの対象物は、ロッカー（図３（ａ）〜（ｃ）参照）である。

図３（ａ）は、ユーザ５１が情報取得装置１０を用いて、対象物５２の大きさを計測している様子を示す。この情報取得装置１０は、計測を開始すると、図３（ｂ）に示すように、表示部８に計測中を示す。すなわち、スルー画５３には、情報取得部２によって取得された画像（この例では、ロッカーの画像）をスルー画として表示する。また、推論表示５４には、推論エンジン（推論部１ｃ）によって、対象物５２の計測位置を推論していることを表示する。また、撮影アイコン５５には、ユーザ５１が静止画撮影を行う際の指示を行うためのアイコンを表示する。ユーザ５１は、撮影する場合には、撮影アイコン５５をタッチすればよい。

推論エンジンによって計測位置を推論し、この計測位置の大きさを測定すると、図３（ｃ）に示すように、測定結果を表示する。すなわち、測定用画面５６には、測定位置について、矢印を用いて表示し、測定結果表示５７には、対象物の大きさの測定結果を表示する。なお、測定対象物の大きさの算出については、図８を用いて後述する。

測定用画面５６の表示は、図３（ｃ）に示した例に限らず、他の表示方法を用いてもよい。例えば、図３（ｄ）（ｅ）に示すように、測定用画面５６ａ、５６ｂには、測定対象物を塗りつぶし、計測位置を矢印で示してもよい。図３（ｄ）に示す例では、測定対象物は円筒の柱状態であり、また図３（ｅ）に示す例では、測定対象物は机・椅子等の側板の長さである。

次に、図４に示すフローチャートを用いて、アノテーション（注釈付与）動作について説明する。図４におけるアノテーションは、情報取得物２によって取得された画像に対して、ユーザ等が、測定対象物の領域を教示し、教師用のデータを生成する。このアノテーションのフローチャートは、外部装置２０の制御部２１内のＣＰＵが、メモリに記憶されたプログラムに従って、外部装置２０内の直線構造物判定部２４、構造物延伸方向判定部２５、垂直方向判定部２６、垂直方向輪郭部判定部２８、塗りつぶし部２９、およびアノテーション情報化部２７等を制御することによって実現する。

図４に示すアノテーションの動作が開始すると、まず、学習用画像があるか否かを判定する（Ｓ１）。前述したように、情報取得部２によって取得された画像は、通信部６、３０を通じて、情報記録部２２に画像ＤＢ２２ｃとして記録される。このステップでは、学習用画像として、情報記録部２２に画像が記録されているか否かについて判定する。

ステップＳ１における判定の結果、学習用画像がある場合には、次に、画像を取得する（Ｓ３）。このステップでは、情報記録部２２の画像ＤＢ２２ｃから、学習用の画像を読み出す。図５（ａ）に示す画像は、画像ＤＢ２２から学習用画像として読み出された画像の例である。図５（ａ）に示す例における測定対象物６１は、一方向（Ｙ方向）に延びた円柱であり、部分６１ａは、ピントが合っていない部分（所謂、ピンボケ部分）を示す。

画像を取得すると、次に、直線構造物判定を行う（Ｓ５）。このステップでは、直線構造物判定部２４が、ステップＳ３において読み出された画像に対して、直線構造物であるか否かを判定する。画像中に複数の直線構造物がある場合がある。この場合には、前面側を優先して検出してもよく、また対象物の重なり具合を考慮して、画面中の全ての直線構造物を検出するようにしてもよい。また情報取得部２によって取得された画像が、ステレオ画像の場合には、前後、奥行き関係を判定し、画面中の全ての直線構造物を検出するようにしてもよい。

ステップＳ５における判定の結果、測定対象物６１が直線対象物であった場合には、構造物延伸方向を判定する（Ｓ７）。このステップでは、構造物延伸方向判定部２５が、いずれの方向に延びているかを判定し、延伸方向の直線を式で算出する（一般式、Ｙ＝ａＸ＋ｂを算出）。

構造物延伸方向を判定すると、次に、延伸方向に対する垂直方向を判定する（Ｓ９）。このステップでは、垂直方向判定部２６が、ステップＳ７で算出した直線式を用いて算出する。延伸方向と垂直方向の２つの直線、すなわち、Ｙ＝ａＸ＋Ｂと、Ｙ＝ａ’Ｘ＋ｂ’が直交する条件は、ｍ×ｍ’＝−１である。したがって、延伸方向に垂直に交わる直線の式は、Ｙ＝−（１／ａ）Ｘ＋ｃにより算出することができる。

垂直方向を判定すると、次に、垂直方向輪郭部を判定する（Ｓ１１）。このステップでは、垂直方向輪郭部判定部２８が、画像のコントラストの変化、および／または色の変化に基づいて、輪郭部６１ａを判定する。構造物は、前述したように、延伸方向に延びた直線状であることから、輪郭部も延伸方向に沿って延びている。このため、垂直方向輪郭部判定部２８は、延伸方向に沿って、連続的（または断続的に）に輪郭部６１ａを検出する。なお、一部の輪郭部付近では、画像のコントラストの変化や色の変化がなくなる場合がある。この場合には、この部分の近傍で検出できた輪郭部を参照して（補間等により）、輪郭部を決定すればよい。

輪郭部を判定すると、次に、構造物延伸方向に沿って、垂直方向の輪郭部まで塗りつぶす（Ｓ１３）。このステップでは、塗りつぶし部２９が、ステップＳ７において求められた延伸方向に沿って、ステップＳ１１で求められた輪郭部で囲まれる範囲を塗りつぶす。すなわち、対象物の範囲が分かるように、塗りつぶしの画像処理を施す。なお、外部装置２０は、塗りつぶしを行った際に、情報取得装置１０等、表示部を有する機器において、塗りつぶし結果を表示するようにしてもよい。この場合、ユーザは、塗りつぶしされた領域が、不適切な場合には、塗りつぶし領域を修正するようにしてもよい。この修正は、自動的に行ってもよく、またユーザが手動で操作部を操作することにより、行ってもよい。また、塗りつぶしにあたっては、画像中における輪郭部の座標判定を行い、この座標を用いて、塗りつぶし処理を行うようにしてもよい。

ステップＳ１３において、塗りつぶしを行うと、次に、塗りつぶし済み画像をアノテーション情報化する（Ｓ１５）。このステップでは、アノテーション情報化部２７が、Ａ画像に対して塗りつぶされた画像Ｂを関連付ける。すなわち、図５（ｄ）に示すようなＡ画像に対するＢ答えのセットからなる教師用データを作成する（図２（ａ）参照）。

アノテーション情報化を行うと、ステップＳ１に戻り、次の学習用画像データがあるか否かを判定する。この判定の結果、学習用画像データがあれば、ステップＳ３〜Ｓ１５を実行し、アノテーション情報化を行う。一方、ステップＳ１における判定の結果、学習用画像がなくなると、図４に示すアノテーションの処理を終了し、元のフローに戻る。

このように、アノテーションのフローにおいては、情報取得部２において取得した画像に対して、画像の中から測定対象物の領域を自動的に検出し、その領域を画像に関連付けて記録する（アノテーション）。この画像に測定対象の領域を関連付けるアノテーションを行うことにより、深層学習を行うための教師用データを生成できる。ユーザが手動で測定領域を指定することに比較し、自動的に測定領域を指定することから、短時間で大量の教師用データを作成することができる。

次に、図６に示すフローチャートを用いて、推論モデル化の動作について説明する。この推論モデル化のフローは、外部装置２０内の学習部２３が実現する。

推論モデル化のフローが開始すると、まず、教師データを取得する（Ｓ２１）。ここでは、図４に示したアノテーションのフローに従って、アノテーション化部２７によって作成されたアノテーション付きの画像データ（教師データ）を取得する（図２（ａ）参照）。

教師データを取得すると、次に、推論モデルを作成する（Ｓ２３）。学習部２３は、図２（ｂ）を用いて説明したように、教師データを用いて、深層学習を行い、推論モデルを作成する。

推論モデルを作成すると、次に、検証データを入力して推論を行う（Ｓ２５）。ここでは、学習部２３は、学習部２３内の推論エンジンに検証データを入力し、推論結果を得る。検証データは、入力と回答が分かっているデータの組み合わせである。アノテーション化部２７によって作成された教師データの内、ステップＳ２３において推論モデル作成の際に使用しなかった教師データを使用してもよい。

検証データを用いて推論を行うと、次に、推論の信頼性が所定値以上であるか否かを判定する（Ｓ２７）。ここでは、ステップＳ２５において推論する際に、推論結果と予め分かっている回答を比較し、両者が一致する割合を求め、これを信頼性とする。所定値は、信頼性が高いか低いかを判断できるレベルに設定する。

ステップＳ２７における判定の結果、推論の信頼性が所定値以上でない場合には、学習母体を再設定する（Ｓ２９）。推論の信頼性が低いのは、学習母体が適切でない可能性がある。そこで、学習母体を再設定し、ステップＳ２３に戻り、深層学習をやり直す。具体的には、教師データの取捨選択や追加等を行う。

一方、ステップＳ２７における判定の結果、推論の信頼性が所定値以上の場合には、推論モデルを送信する（Ｓ３１）。ここでは、外部装置２０は、ステップＳ２３において作成した推論モデルを、通信部３０を用いて情報取得装置１０に送信する。推論モデルを情報取得装置に送信すると、このフローを終了する。

このように、図６に示す推論モデル化のフローにおいては、学習部２３は、図４に示したアノテーションによって作成した教師データを用いて（Ｓ２１参照）、推論モデルを生成する（Ｓ２３参照）。この推論モデルを用いて推論することにより、画像の中から直線構造物を見つけ出すことができる。

なお、学習の際に使用した画像によって推論モデルの仕様が変わる。つまり、水平および垂直が揃った画像だけで学習させると、上下左右に差異がある画像に対しては、正しい推論が出来ない可能性がある。そこで、そのような推論モデルを使用して推論する場合には、推論を行う前に、水平垂直の情報を入力して画像を判定させるような工夫を行うとよい。また、特定の距離から得た画像ばかりで学習を行うと、特定の距離以外で撮影された画像については、正しい推論が出来ない。そこで、距離の差異を打ち消すように遠い画像は拡大して、擬似的に近い画像にしてから、推論を行う等の工夫により精度を向上させることができる。したがって、どのような学習データを使用して作成された推論モデルであるかを示す情報をメモリ（例えば、推論情報４ａを記録した記録部４）等に記憶しておき、推論モデルの利用時に推論モデルを示す情報を読出して、正しく推論ができるように画像を補正する等の工夫を行えばよい。

次に、図７に示すフローチャートを用いて、画像取得装置の制御動作について説明する。この画像取得装置制御フローは、情報取得装置１０内の制御部１ａのＣＰＵが、メモリに記憶されたプログラムに従って、情報取得装置１０内の各部を制御することにより実現する。

画像取得装置制御のフローが開始すると、まず、推論モデル取得、履歴記録を行う（Ｓ４１）。このステップでは、情報取得装置１０は、必要に応じて推論モデルを外部装置２０から取得する。また、それまでの履歴を記録する。履歴としては、例えば、外部装置２０から取得した推論モデルの種類、取得日等を記録する。

続いて、画像を入力・表示し、アドバイスやガイド等を表示する（Ｓ４３）。ここでは、情報取得部２によって画像を入力し、この入力した画像を表示部８にスルー画表示する。また、後述する画像の推論（Ｓ４７参照）の際に、アドバイスやガイド等をできる場合には、この表示も行う。

次に、測定部の推論を行うか否かを判定する（Ｓ４５）。図３を用いて説明したように、ユーザが情報取得装置１０を用いて、対象物の大きさ等を測定する場合がある。このような場合に、ユーザは、測定すべき対象部を、推論によって設定する測定部推論モードを操作部によって設定できる。このステップでは、操作判定部５によってこのモードが設定されたか否かに基づいて判定する。

ステップＳ４５における判定の結果、測定部推論モードが設定されていた場合には、画像から推論する（Ｓ４７）。ここでは、推論部１ｃは、情報取得部２によって取得した画像を入力し、外部装置２０から取得した推論モデルを用いて、測定部を推論する。

続いて、推論結果に基づいて、塗りつぶし表示を行う（Ｓ４９）。ここでは、ステップＳ４７における推論結果に基づいて、塗りつぶしを表示する。例えば、図３（ｃ）〜（ｅ）の測定用画面における表示のように、測定部を塗りつぶして表示してもよい。但し、この段階では、延伸方向の判定が終了していないので、一部分のみの表示となる。続いて、塗りつぶし部の延伸方向の判定を行う（Ｓ５１）。ここでは、図５（ｂ）で説明したのと同様に、直線状の測定対象物の延伸方向を判定する。

次に、輪郭部直線性が良好か否かを判定する（Ｓ５３）。輪郭部は、コントラストの変化や、色の変化に基づいて判定するので、その直線性については必ずしも良いとは限らない。このステップでは、画像処理部が判定された輪郭部の直線性について判定する。

ステップＳ５３における判定の結果、輪郭部の直線性が良好でない場合には、塗りつぶしを補正する（Ｓ５５）。ここでは、画像処理部によって、輪郭部の輪郭線が直線となるように補正する。また、ユーザが手動で、輪郭線が直線となるように修正してもよい。

ステップＳ５５において塗りつぶし補正を行うと、またはステップＳ５３における判定の結果、輪郭部の直線性が良好の場合には、延伸方向に対して、垂直方向の塗りつぶし部を判定する（Ｓ５７）。ここでは、直線状の測定対象物において、延伸方向に垂直な方向の塗りつぶし部を判定する。すなわち、次のステップＳ５９において、幅を検出するので、このステップでは、幅方向を検出する。

続いて、幅データ検出、および表示を行う（Ｓ５９）。ここでは、ステップＳ５７において検出した延伸方向と垂直な方向の塗りつぶし部について、幅を算出する。例えば、図３（ｃ）〜（ｅ）に示した測定結果５７を表示する。幅の算出の詳細については、図８を用いて後述する。

ステップＳ５９において幅データ検出し表示すると、またはステップＳ４５における判定の結果、測定部推論でなかった場合には、撮影操作か否かを判定する（Ｓ６１）。ユーザが静止画撮影を行う場合には、操作部のレリーズボタンを操作し、または撮影アイコン５５（図３参照）をタッチ操作する。そこで、このステップでは、これらの操作がなされたか否かを判定する。図３に示したような対象物の長さ等を測定する場合には、測定値と共に、証拠としての写真撮影を行うことが望ましい。

ステップＳ６１における判定の結果、撮影操作がなされた場合には、ステップＳ４３に戻る。一方、撮影操作がなされなかった場合には、画像を撮影し、関連データを記録する（Ｓ６３）。ここでは、情報取得部２は画像を取得し、画像処理部１ｂによって画像処理を行ってから、記録部４に画像データ４ｂとして記録する。また、ステップＳ５９において、幅データを算出した場合には、この幅データと測定を行った塗りつぶし部の画像も併せて記録してもよい。画像撮影および関連データを記録すると、ステップＳ４３に戻る。

このように、画像取得装置制御のフローにおいては、外部装置２０の学習部２３によって作成した推論モデルを用いて、測定対象部を推論している（Ｓ４７参照）。このため、ユーザが手動で、測定対象部を入力しなくても、自動的に測定対象部を推論し、塗りつぶして表示し、測定対象物の大きさ等を測定できる。

次に、図８を用いて、測定対象物の大きさを算出する方法について説明する。図８（ａ）は、情報取得部２の光学系が、１つの光学系７２で構成されている場合である。測定の対象部位７１の幅をｗとし、光学系７２が対象部位７１を見込む画角をφとする。光学系７２によって、対象部位７１の画像が撮像素子７３上に形成され、撮像素子７３の幅はｘ０であり、対象部位７１の像の幅はｘとする。像幅ｘは、輪郭を検出することにより分かる。また、対象部位７１から光学系７２までの距離はｄであり、光学系７２の焦点距離はｆとする。オートフォーカス等によってピント位置が変わると、距離ｄも変わる。焦点距離ｆは、レンズ情報およびズーム情報から取得することができる。

図８（ａ）において、対象部位７１の幅ｗは、下記（１）式より算出することができる。
ｗ＝ｄ・ｘ／ｆ ・・・（１）
また、画角φは、下記（２）式より算出することができる。
φ≒ａｒｃｔａｎ ｘ０／ｆ ・・・（２）

図８（ｂ）は、情報取得部２の光学系が、２つの光学系７２ａ、７２ｂで構成され、撮像素子が２つの撮像素子７３ａ、７３ｂで構成されている場合である。図８（ｂ）においても対象部位の幅をｗとし、画角をφとし、光学系７２ａ、７２ｂから対象部位７１までの距離をｄとし、光学系７２ａ、７２ｂの焦点距離をｆとする。撮像素子７２ａと撮像素子７２ｂの中心間距離（視差）はＢだけ離れている。撮像素子７２ａの像位置が、光学系７２ａの光軸上にあり、撮像素子７２ｂ上の対象部位７１の像位置は、撮像素子７２ｂの中心位置よりΔｘだけずれている。すなわち、対象部位７１は、２つの撮像素子の間で、相対的にΔｘだけずれている。このときの距離ｄは、下記（３）式で算出できる。
ｄ＝Δｘ・Ｂ／ｆ ・・・（３）
距離ｄが求めると、上述の（１）式に代入することにより、対象部位７１の幅ｗを算出することができる。すなわち、距離が正確に算出できると、像幅ｗも同様に算出することができる。

このように、本発明の一実施形態においては、アノテーション（図４、図５参照）によって、直線状の測定対象物を抽出し、この対象物を塗りつぶす等の画像処理を行うことができる。この塗りつぶした部分をアノテーション（注釈）情報として、画像に関連させて記憶している（図４のＳ１５参照）。このアノテーション付きの画像データは、深層学習を行う際の教師用データとして使用することができる（図６のＳ２１、Ｓ２３参照）。深層学習のための教師用データは、１つ１つの画像に対して、回答（この例では、塗りつぶした部分）をアノテーションとして関連付けなければならず、手間のかかる作業である。しかし、本実施形態においては、自動的にアノテーション付きの画像データを作成することができ、迅速に教師用データを作成することができる。

次に、図９に示すフローチャートを用いて、図４に示したアノテーションのフローの変形例を説明する。本変形例は、最初に所定数Ｎのアノテーション付きの画像を作成し、Ｎ枚のアノテーション付きの画像ができると、このアノテーション付きの画像を用いて、測定部位抽出用の推論モデルを作成する。図９に示すフローは、図４のフローと比較すると、ステップＳ１、Ｓ５〜Ｓ１５は同様であるので、相違点を中心に説明する。

図９のフローが開始すると、まず、学習用画像があるか否かについて判定する（Ｓ１）。この判定の結果、学習用画像がある場合には、特定画像を取得する（Ｓ２）。ここでは、画像ＤＢ２２ｃに記憶された画像の中から、画像を読み出す。既にアノテーション情報が付加された画像は除外して読み出す。また、アノテーション情報が付加されていなくても、ステップＳ７５において、ＮＧと判断された画像は除外して読み出す。

特定画像を取得すると、次に、推論モデルがあるか否かについて判定する（Ｓ４）。後述するように、本変形例においては、最初に所定数Ｎの画像について、アノテーション付きの画像を生成し、このアノテーション付きの画像を教師データとして推論モデルを作成する（Ｓ８７参照）。このステップでは、推論モデルが作成済みであるか否かを判定する。

ステップＳ４における判定の結果、推論モデルが作成されていない場合には、ステップＳ５〜Ｓ１５において、画像を解析することにより、アノテーション付きの画像（教師用データ）を作成する。アノテーション情報を作成すると、次に、アノテーション情報を蓄積する（Ｓ１７）。作成されたアノテーション情報付きの画像は、情報記録部２２等のメモリに記録される。続いて、メモリに蓄積されたアノテーション付き画像がＮ枚あるか否かを判定する（Ｓ１９）。この判定の結果、Ｎ枚に達していない場合には、次の画像を取得する（Ｓ２０）。そして、この取得した画像に対して、ステップＳ５〜Ｓ１７において、アノテーション付き画像を作成する。

ステップＳ１９における判定の結果、アノテーション付き画像がＮ枚に達すると、アノテーション化のための深層学習を行う（Ｓ８５）。ここでは、学習部２３が、ステップＳ１７において蓄積したアノテーション付き画像を用いて、測定対象部位を抽出するための深層学習を行う。

深層学習を行うと、学習結果を推論モデルＭとする（Ｓ８７）。ここでは、学習部２３による学習結果を推論モデルＭとする。深層学習は、アノテーション付きの画像がＮ枚、蓄積されるたびに行われる。最初の深層学習の結果は推論モデル１として記憶され、次の深層学習の結果は推論モデル２として記憶される。以後、順次、推論モデル３、４、・・・Ｍと更新される。

推論モデルＭが作成されると、ステップＳ１に戻る。学習用画像があれば、特定画像を取得し、以後、ステップＳ４では推論モデルありと判定される。推論モデル有りと判定されると、推論モデルＭによって推論がなされる（Ｓ７１）。ここでは、ステップＳ２において読み出された画像を、推論モデルＭを用いて、測定対象部位を推論する。続いて、塗りつぶしを行う（Ｓ７３）。ここでは、ステップＳ７１における推論による測定部位を塗りつぶし、塗りつぶした画像を表示部８に表示する。

塗りつぶしを行うと、次に、ＮＧか否かを判定する（Ｓ７５）。ここでは、ユーザが表示部８に表示された画像を観察して、塗りつぶしがＯＫかＮＧかを判定する。推論モデルＭによって推論された結果、測定部位が良好に塗りつぶされる（抽出される）場合と、されない場合がある。そこで、ユーザが推論結果による画像を目視で判定する。この判定の結果、ＮＧと判定された場合には、ステップＳ１に戻る。すなわち、推論された結果が、ＮＧであることから、この推論結果はステップＳ８５における深層学習では除外される。

一方、ステップＳ７５における判定の結果、ＮＧでなかった場合には、次に、手直しが必要か否かを判定する（Ｓ７７）。ユーザが目視の結果、ＮＧとしなかったものの、推論で塗りつぶされた（抽出された）測定部位に修正が必要な場合がある。そこで、このステップでは、ユーザが目視の結果、手直しが必要と判断したか否かを判定する。

ステップＳ７７における判定の結果、手直しが必要と判断された場合には、修正を行う（Ｓ７９）。ここでは、表示部８に表示されている画像に対して、ユーザが操作部を操作することにより、修正を加える。

ステップＳ７９において修正すると、またはステップＳ７７における判定の結果、手直しが必要でない場合には、アノテーション情報を蓄積する（Ｓ８１）。ここでは、修正あり、または修正なしでＯＫとされたアノテーション付き情報を、メモリに蓄積する。

続いて、アノテーション付き画像がＮ枚に達したか否かを判定する（Ｓ８３）。ここでは、前回の深層学習を行ってから、Ｎ枚のアノテーション付き画像が蓄積されたか否かを判定する。この判定の結果、Ｎ枚のアノテーション付き画像が蓄積された場合には、前述のステップＳ８５に進み深層学習を行う。以後、前述の動作を繰り返し、学習用画像がなくなると（Ｓ１→Ｎｏ）、アノテーション化のための深層学習を終了する。

このように、本変形例においては、アノテーション付きの画像がＮ枚に達すると、深層学習により、アノテーション付きの画像を生成するための推論モデルを作成する（Ｓ１９、Ｓ８５、Ｓ８７参照）。そして、この推論モデルが作成されると、以後、推論モデルを用いてアノテーション付き画像の生成のための推論を行っている（Ｓ７１参照）。このため、アノテーション付きの画像データ（教師用データ）を迅速に大量に作成することができる。

また、推論モデルを用いて塗りつぶし領域を推論した画像が、ユーザの目視によって、ＮＧ（不適切）と判断された場合には、アノテーション付きの画像データ（教師用データ）から除外している（Ｓ７５Ｙｅｓ参照）。ＮＧと判定されない画像がＮ枚に達すると、再び、深層学習を行い、推論モデルを再作成している（Ｓ８３Ｙｅｓ、Ｓ８５、Ｓ８７参照）。これにより、推論モデルの信頼性を向上させることができる。

また、ＮＧ（不適切）と判定されなかった画像について、アノテーション情報について修正が必要か否かを判定し、修正が必要とされた場合には、修正された画像を、推論モデルを更新する際の深層学習（機械学習であればよい）に用いる（Ｓ７７、Ｓ７９、Ｓ８５、Ｓ８７参照）。このため、簡単に修正できる画像であれば、推論モデル作成ための学習の際に母体として利用することができる。

なお、本変形例においては、所定枚数Ｎは固定値としていたが、変動数としてもよく、例えば、モデルの更新番号を示すＭが増加すると、所定値Ｎが増加するようにしてもよく、逆に減少するようにしても良い。また、ステップＳ７５およびＳ７７において、ユーザが目視によって判断していたが、直線構造物か否か、および／または手直しが必要か否かを画像解析によって行ってもよい。また、図９に示したフローでは、ＮＧでなかった画像に対して修正可能であるか否かを判定し、修正可能である場合に修正している。しかし、この作業を省略してもよい。

また、本変形例においては、アノテーションを直線構造物に付与していた。しかし、アノテーションを付与する対象物は、直線構造物に限らず、球形でもよく、また立方体、直方体、円錐体等、種々の形状の構造物でもよい。さらに、対象物は、三次元に限らず、二次元であってもよい。

また、本変形例においては、アノテーション付き画像が所定値Ｎに達するまでは、図４のフローと同じく、画像データを解析することによって、アノテーションを付与していた。しかし、画像解析ではなく、ユーザが画像を目視し、アノテーションを付与すべき位置・エリアを、指示することによってアノテーションを付与するようにしてもよい。例えば、医師がＰＣ等に表示される画像を目視しながら、患部の範囲にアノテーションを付与するようにしてもよい。

以上説明したように、本発明の一実施形態および変形例においては、画像を解析して、構造物の像の延伸方向を判定し（図４のＳ７参照）、判定された延伸方向に対して垂直方向を判定し（図４のＳ９参照）、構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し（図４のＳ１１参照）、画像内の構造物に対して、垂直方向は輪郭部までを、構造物の延伸方向に沿って塗りつぶす画像処理を施し（図４のＳ１３参照）、塗りつぶされた画像をアノテーション情報とし（図４のＳ１５参照）、画像とアノテーション情報は、教師用データとして、構造物の像を判定する推論モデルを作成するための機械学習に使用される。このため、深層学習等の機械学習に使用するための教師用データを簡単に作成することができる。

また、画像を解析して、対象部を塗りつぶす画像処理を施し（図９のＳ１３参照）、塗りつぶされた画像をアノテーション情報とし（図９のＳ１５参照）、画像と、アノテーション情報の組合せを教師データとし、対象部を推論する推論モデルを、機械学習によって作成し（図９のＳ８５、Ｓ８７参照）、推論モデルを用いて、画像とは異なる画像に対して、対象部を塗りつぶし、アノテーション情報を付与することにより、教師用データを作成する（図９のＳ７１、Ｓ７３、Ｓ８１）。このため、深層学習等の機械学習に使用するための教師用データを簡単に作成することができる。

また、画像を解析して、画像にアノテーションを付与する第１のアノテーション処理を行い（図９のＳ２〜Ｓ１９参照）、第１のアノテーション処理によって作成された教師データを用いて、アノテーション付与を行うための推論モデルを生成し（図９のＳ８５、Ｓ８７参照）、推論モデルを用いて、画像とは異なる画像に対して、アノテーションを付与するための第２のアノテーション処理を行う（図９のＳ７１〜Ｓ８７参照）。このため、深層学習等の機械学習に使用するための教師用データを簡単に作成することができる。

また、最初に所定数Ｎのアノテーション情報が蓄積されるまでは、画像処理部によって塗りつぶされた画像に基づいてアノテーション情報を作成し（図９のＳ５〜Ｓ１９参照）、所定数Ｎのアノテーション情報が蓄積された後は、学習部によって作成された推論モデルを用いて、アノテーション情報を作成している（図９のＳ７１〜Ｓ８７参照）。このため、ユーザが所定数Ｎの画像に対してアノテーション化すれば、あとは推論モデルを用いてアノテーション情報を作成することができ、迅速、大量にアノテーション化することができる。

また、推論モデルを用いてアノテーション情報を付与した画像について、不適切と判定された場合には、不適切と判定された画像を除外し（図９のＳ７５Ｙｅｓ）、不適切と判定されない画像を用いて、アノテーション情報を付与するための機械学習を行い、推論モデルを更新する（図９のＳ８１、Ｓ８５、Ｓ８７参照）。不適切と判定された画像は、推論モデル作成の際に使用されないので、推論モデルの信頼性を高めることができる。

また、不適切と判定されなかった画像について、アノテーション情報について修正が必要か否かを判定し、修正が必要とされた場合には、修正された画像を、推論モデルを更新する際の機械学習にも用いている（図９のＳ７７、Ｓ７９、Ｓ８１、Ｓ８５、Ｓ８７参照）。このため、修正画像を用いて、推論モデルを生成するので、無駄をなくすことができる。

また、本発明の一実施形態および変形例においては、以下のような表示装置の発明も含まれている。この表示装置は、撮像された対象物画像を解析して、測定対象部分を検出して表示する（例えば、図３参照）。この表示装置は、構造物の像の延伸方向を判定する延伸方向判定部（例えば、図１の構造物延伸方向判定部２５参照）と、延伸方向判定部によって判定された延伸方向に対して垂直な方向を判定する垂直方向判定部（例えば、図１の垂直方向判定部２６参照）と、構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定する輪郭部判定部（例えば、図１の垂直方向輪郭判定部２８参照）と、を有している。そして、対象物画像内の構造物に対して、垂直方向は輪郭部までを、構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、アノテーション情報を教師用データとして機械学習し、この機械学習によって作成された推論モデルを用いて測定対象部を検出する。また、この表示装置と同様の構成を有する表示装置および表示装置に設けたコンピュータを実行するためのプログラムの発明も、含まれている。アノテーション情報に基づいて教師用データを作成すると、この教師用データを用いて推論モデルを生成することができるので、以後、この推論モデルを用いて、測定対象部分を推論することができる。

なお、推論モデルを生成する時、学習に使用した画像によって推論モデルの仕様が変わる。そこで、どのような学習をさせたかを示す情報をアノテーション作業時に設定し、この情報を情報取得装置１０の記録部４に推論情報４ａの一部として記録しておいてもよい。

例えば、水平・垂直が揃った画像だけを用いて学習して生成された推論モデルによって推論を行う場合、上下左右の差異がある画像に対しては、正しい推論が出来ない可能性がある。そこで、推論情報４ａから上述の情報を読み出し、撮像時に、姿勢センサ３からの水平または垂直の情報を加味して取得画像に対して、推論を行うことにより、正しい測定部位判定が可能となる。推論モデルを用いた推論を行う前に水平垂直の情報を入れて画像を判定させるような工夫は有効であり、この条件の情報や、画像を補正するためのセンサを有するようにすることが好ましい。

同様に、特定の距離から得た画像ばかりを用いて学習を行うと、特定の距離以外で撮影された画像については、正しい推論が出来ない。このような画像で生成された推論モデルを用いて推論する場合は、距離の差異を打ち消すように遠い画像は拡大して、擬似的に近い画像にして推論モデルを用いて推論する等の工夫によって精度を向上させることができる。この場合、距離センサなどを併用して、画像を推論する時に、画像の拡大縮小の実際と学習データの差異を補う補正を行う。どのような学習データを使って作られたモデルであるかを示す情報を記憶するためのメモリを備えておき、推論モデルを用いて推論するときには、上述の情報を利用して、推論モデルが正しい推論ができるように画像を補正するような工夫を行うとよい。

もちろん、撮影現場で起こる様々な撮影条件の差異に対応して、予め撮影現場での状況を加味し、あるいは未知の状況まで対処できるように、学習データも様々な状況に対応できるものを用意し、特定の報酬も与えて、強化学習の手法で学習させてもよい。強化学習とは、試行錯誤を通じて「価値を最大化するような行動」を学習するものであり、与えられた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるものである。特に、本実施形態において示すような現場で端末機器において、使用されるような携帯型のコンパクトサイズの推論エンジンを作成する時には、レイヤーの数、消費電流を考慮して、非常に手間のかかる学習を行って対処する。

また、本発明の一実施形態および変形例においては、直線状の構造物を例に挙げて、画像にアノテーション情報を付与する場合について説明した。しかし、本発明は、直線状の構造物に限らず、種々の構造物に適用できる。さらに、医師がＸ写真、内視鏡写真等の画像から、患部を抽出し、この患部をアノテーションする際にも適用することができる。この場合には、外部装置としては、スタンドアロンのＰＣ、インターネットやイントラネットに接続されたサーバ等に記憶された画像に対して、アノテーションを行えばよい。

カメラや携帯機器等の情報端末製品に搭載するコンパクトタイプの推論エンジンは、少ない層で高精度判断するための学習は困難であり、また時間がかかるため、正確なアノテーションや学習のさせ方に工夫することが望まれる。推論モデルを生成する時、学習に使用した画像によって推論モデルの仕様が変わるので、学習時の情報と連携して効率的な学習を行ってもよい。そこで、どのような学習をさせたかを示す情報をアノテーション作業時に設定し、この情報を情報取得装置１０の記録部４に推論情報４ａの一部として記録しておいてもよい。

例えば、一般の撮影画像によって取得した水平・垂直が揃った画像だけを用いて学習して生成された推論モデルによって推論を行う場合、上下左右の差異がある画像に対しては、正しい推論が出来ない可能性がある。そこで、推論情報４ａから上述の情報を読み出し、撮像時に、姿勢センサ３からの水平または垂直の情報を加味して取得画像に対して、推論を行うことにより、正しい測定部位判定が可能となる。推論モデルを用いた推論を行う前に水平垂直の情報を入れて画像を判定させるような工夫は有効であり、この条件の情報や、画像を補正するためのセンサを有するようにすることが好ましい。学習時にこのような制約を入れるかどうかで、推論エンジンの仕様や性能が変わるので、アノテーション作業を進めながら、このような試行錯誤ができてもよいし、その試行錯誤を表示させてもよい。

同様に、対象物に対して特定の距離から得た画像ばかりを用いて学習を行うと、特定の距離以外で撮影された画像については、正しい推論が出来ない。このような画像で生成された推論モデルを用いて推論する場合は、距離の差異を打ち消すように遠い画像は拡大して、擬似的に近い画像にして推論モデルを用いて推論する等の工夫によって精度を向上させることができる。この場合、距離センサなどを併用して、画像を推論する時に、画像の拡大縮小の実際と学習データの差異を補う補正を行う。どのような学習データを使って作られたモデルであるかを示す情報を記憶するためのメモリを備えておき、推論モデルを用いて推論するときには、上述の情報を利用して、推論モデルが正しい推論ができるように画像を補正するような工夫を行うとよい。このような補正が必要かどうかを、アノテーション作業時に気づくことがあり、本実施形態のようなアノテーション作業時に、仮の学習を検証可能にする工夫は有意義である。

もちろん、撮影現場で起こる様々な撮影条件の差異に対応して、予め撮影現場での状況を加味、あるいは未知の状況までを対処できるように学習データも様々な状況を含むようなものを用意し、特定の報酬も与えて学習させる強化学習の手法で学習させてもよい。強化学習とは、試行錯誤を通じて「価値や効果を最大化するような行動」を学習するもので与えられた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるものある。特に、本実施形態において示すような現場で端末機器において、使用されるような携帯型のコンパクトサイズの推論エンジンを作成する時には、レイヤーの数、消費電流を考慮して、非常に手間のかかる学習を行って対処する必要があるので、この学習時の報酬の与え方などもアノテーション作業時に考察することができる。仮学習の結果を確認しながら、仕様の見直しなどを前倒しで行うフィードバックが可能となり、優れた性能の推論エンジンを得るのに時間短縮を含め総合的に寄与することができる。

また、本発明の一実施形態や変形例においては、学習部２３、直線構造物判定部２４、構造物延伸方向判定部２５、垂直方向判定部２６、アノテーション情報化部２７、垂直方向輪郭判定部２８、塗りつぶし部２９は、制御部２１とは別体の構成としたが、各部の機能の全部または一部をＣＰＵ（Central Processing Unit）と周辺回路およびプログラムコードによって実現するようにしてもよく、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実行するようにしても勿論かまわない。

また、本実施形態においては、情報取得装置として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、アノテーションを付与するための画像を取得できる機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・画像処理および制御部、１ａ・・・制御部、１ｂ・・・画像処理部、１ｃ・・・推論部、１ｄ・・・ガイド作成部、１ｅ・・・表示制御部、１ｅａ・・・強調部、２・・・情報取得部、３・・・姿勢センサ、４・・・記録部、４ａ・・・推論情報、４ｂ・・・画像データ、４ｃ・・・各種データ、６・・・通信部、８・・・表示部、８ｂ・・・タッチパネル、１０・・・情報取得装置、２０・・・外部装置、２１・・・制御部、２２・・・情報記録部、２２ａ・・・設計図、２２ｂ・・・部品ＤＢ、２２ｃ・・・画像ＤＢ、２３・・・学習部、２４・・・直線構造物判定部、２５・・・構造物延伸方向判定部、２６・・・垂直方向判定部、２７・・・アノテーション情報化部、２８・・・垂直方向輪郭判定部、２９・・・塗りつぶし部、３０・・・通信部、４１・・・Ａ画像、４２・・・Ｂ答え、４３・・・画像群、４４・・・ネットワーク、５１・・・ユーザ、５２・・・対象物、５３・・・スルー画、５４・・・推論表示、５５・・・撮影アイコン、５６・・・測定用画面、５７・・・測定結果表示、６１・・・測定対象物、６１ａ・・・部分、７１・・・対象部位、７２・・・光学系、７２ａ・・・光学系、７２ｂ・・・光学系、７３・・・撮像素子、７３ａ・・・撮像素子、７３ｂ・・・撮像素子

Claims (18)

1. 画像を解析して、構造物の像の延伸方向を判定する延伸方向判定部と、
   上記延伸方向判定部によって判定された延伸方向に対して垂直な方向を判定する垂直方向判定部と、
   上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定する輪郭判定部と、
   上記画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶす画像処理を施す塗りつぶし部と、
   上記塗りつぶし部によって塗りつぶされた画像をアノテーション情報とするアノテーション情報化部と、
   を有し、
   上記画像とアノテーション情報は、教師用データとして、構造物の像を判定する推論モデルを作成するための機械学習に使用されることを特徴とする機械学習装置。
2. 上記アノテーション情報の付された画像が所定枚数に達すると、アノテーション情報を付与するための機械学習を行って推論モデルを生成し、以後、この推論モデルを用いて、新たな画像に対してアノテーション情報を付与することを特徴とする請求項１に記載の機械学習装置。
3. 上記推論モデルを用いてアノテーション情報を付与した画像について、不適切と判定された場合には、不適切と判定された画像を除外し、不適切と判定されない画像を用いて、上記アノテーション情報を付与するための機械学習を行い、推論モデルを更新することを特徴とする請求項２に記載の機械学習装置。
4. 上記不適切と判定されなかった画像について、上記アノテーション情報について修正が必要か否かを判定し、修正が必要とされた場合には、修正された画像を、推論モデルを更新する際の機械学習にも用いることを特徴とする請求項３に記載の機械学習装置。
5. 上記輪郭判定部は、上記像のコントラスト変化および／または色変化がない部分においては、近傍の隣接部を参照することにより、上記部分の隣接部を決定することを特徴とする請求項１に記載の機械学習装置。
6. 請求項１に記載のアノテーション化部によって生成された推論モデル。
7. 撮像された対象物画像を解析して、測定対象部分を検出して表示する表示装置において、
   構造物の像の延伸方向を判定する延伸方向判定部と、
   上記延伸方向判定部によって判定された延伸方向に対して垂直な方向を判定する垂直方向判定部と、
   上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定する輪郭部判定部と、
   を有し、
   上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習し、この機械学習によって作成された推論モデルを用いて上記測定対象部を検出することを特徴とする表示装置。
8. 撮像された対象物画像を解析して、測定対象部分を検出して表示する表示方法において、
   学習時に、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定した後に、
   上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習し、この機械学習によって作成された推論モデルを用いて上記測定対象部分を検出することを特徴とする表示方法。
9. 撮像された対象物画像を解析して、測定対象部分を検出して表示する表示方法において、
   学習装置において、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し、上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習することによって、推論モデルを生成し、
   表示装置において、上記機械学習によって作成された推論モデルを用いて上記測定対象部分を検出する、
   ことを特徴とする表示方法。
10. 撮像された対象物画像を解析して、測定対象部分を検出して表示する表示装置に設けられたコンピュータを実行するためのプログラムにおいて、
    学習時に、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定した後に、
    上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習し、この機械学習によって作成された推論モデルを用いて上記測定対象部分を検出する、
    ことを上記コンピュータに実行させることを特徴とするプログラム。
11. 撮像された対象物画像を解析して、測定対象部分を検出して表示する表示装置に設けられたコンピュータを実行するためのプログラムにおいて、
    学習時に、構造物の像の延伸方向を判定し、判定された上記延伸方向に対して垂直な方向を判定し、上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し、上記対象物画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶした画像をアノテーション情報とし、上記アノテーション情報を教師用データとして機械学習することによって生成された推論モデルを受信し、
    上記受信した推論モデルを用いて上記測定対象部分を検出する、
    ことを上記コンピュータに実行させることを特徴とするプログラム。
12. 画像を解析して、対象部を塗りつぶす画像処理を施す画像処理部と、
    上記画像処理部によって塗りつぶされた画像をアノテーション情報とするアノテーション情報化部と、
    上記画像と、上記アノテーション情報化部によって付与されたアノテーション情報の組合せを教師データとし、上記対象部を推論する推論モデルを、機械学習によって作成する学習部と、
    を具備し、
    上記学習部によって作成された推論モデルを用いて、上記画像とは異なる画像に対して、上記対象部を塗りつぶし、アノテーション情報を付与することにより、教師用データを作成することを特徴とする教師用データ作成装置。
13. 最初に所定数Ｎのアノテーション情報が蓄積されるまでは、上記画像処理部によって塗りつぶされた画像に基づいてアノテーション情報を作成し、
    上記所定数Ｎのアノテーション情報が蓄積された後は、上記学習部によって作成された推論モデルを用いて、上記アノテーション情報を作成する、
    ことを特徴とする請求項１２に記載の教師用データ作成装置。
14. 上記推論モデルを用いてアノテーション情報を付与した画像について、不適切と判定された場合には、不適切と判定された画像を除外し、不適切と判定されない画像を用いて、上記アノテーション情報を付与するための機械学習を行い、推論モデルを更新することを特徴とする請求項１３に記載の教師用データ作成装置。
15. 上記不適切と判定されなかった画像について、上記アノテーション情報について修正が必要か否かを判定し、修正が必要とされた場合には、修正された画像を、推論モデルを更新する際の機械学習にも用いることを特徴とする請求項１４に記載の機械学習装置。
16. 画像を解析して、構造物の像の延伸方向を判定し、
    上記判定された延伸方向に対して垂直方向を判定し、
    上記構造物の像のコントラスト変化および／または色変化に基づいて、垂直方向における輪郭部を判定し、
    上記画像内の上記構造物に対して、上記垂直方向は上記輪郭部までを、上記構造物の延伸方向に沿って塗りつぶす画像処理を施し、
    上記塗りつぶされた画像をアノテーション情報とし、
    上記画像とアノテーション情報は、教師用データとして、構造物の像を判定する推論モデルを作成するための機械学習に使用されることを特徴とする機械学習方法。
17. 画像を解析して、対象部を塗りつぶす画像処理を施し、
    上記塗りつぶされた画像をアノテーション情報とし、
    上記画像と、上記アノテーション情報の組合せを教師データとし、上記対象部を推論する推論モデルを、機械学習によって作成し、
    上記推論モデルを用いて、上記画像とは異なる画像に対して、上記対象部を塗りつぶし、アノテーション情報を付与することにより、教師用データを作成する、
    ことを特徴とする教師用データ作成方法。
18. 画像を解析して、上記画像にアノテーションを付与する第１のアノテーション処理を行い、
    上記第１のアノテーション処理によって作成された教師データを用いて、アノテーション付与を行うための推論モデルを生成し、
    上記推論モデルを用いて、上記画像とは異なる画像に対して、アノテーションを付与するための第２のアノテーション処理を行う、
    ことを特徴とする教師用データ作成方法。

Images