JP2019121283A - 予測モデル生成システム及び予測システム - Google Patents

Abstract

【課題】 画像における人体の特徴点の位置の予測を簡易かつ正確に行う。【解決手段】 画像分析システム１に含まれる予測モデル生成システム１０は、人体の画像を入力して当該画像における当該人体の特徴点の位置を予測する予測モデルを生成するシステムである。予測モデル生成システム１０は、機械学習に用いる学習データである人体の学習用画像及び当該学習用画像における当該人体の特徴点の位置を示す位置情報を取得する学習データ取得部１１と、学習用画像に基づく情報を予測モデルへの入力とし、位置情報に基づく情報を予測モデルの出力として機械学習を行って予測モデルを生成する予測モデル生成部１２とを備える。【選択図】 図１

Description

本発明は、人体の特徴点の位置を予測する予測モデルを生成する予測モデル生成システム及び当該予測モデルを用いた予測を行う予測システムに関する。

矯正歯科において、頭蓋に対する顎顔面のバランスを分析し適切な治療計画を立てることは重要である。従来はセファログラム（頭部Ｘ線規格写真）を使って分析を下していた（例えば、特許文献１参照）。これにより、上下顎の大きさとそのズレ、顎の形、歯の傾斜角度及び口元のバランス等が分かる。

特開２００６−１１５９９０号公報

分析は、セファログラムの主要な計測点を線で結んで得られる様々な角度及び距離を用いて行う。このようなセファロ分析の方法の一つとして、例えば、プロフィログラムを用いたものが知られている。セファログラムからプロフィログラムを生成するのに、経験豊富な医師でも１事例あたり数十分程度の時間がかかる。また、分析者である医師によってプロフィログラムが異なる形状となることが常である。プロフィログラムの作成時のズレが後の治療において致命的となる場合があり、プロフィログラムの作成には高い正確さが求められる。

本発明は、上記に鑑みてなされたものであり、画像における人体の特徴点の位置の予測を簡易かつ正確に行うことができる予測モデル生成システムを提供することを目的とする。

上記の目的を達成するために、本発明に係る予測モデル生成システムは、人体の画像を入力して当該画像における当該人体の特徴点の位置を予測する予測モデルを生成する予測モデル生成システムであって、機械学習に用いる学習データである人体の学習用画像及び当該学習用画像における当該人体の特徴点の位置を示す位置情報を取得する学習データ取得手段と、学習データ取得手段によって取得された学習用画像に基づく情報を予測モデルへの入力とし、学習データ取得手段によって取得された位置情報に基づく情報を予測モデルの出力として機械学習を行って予測モデルを生成する予測モデル生成手段と、を備える。

本発明に係る予測モデル生成システムでは、機械学習によって予測モデルが生成される。当該予測モデルを用いることで画像における人体の特徴点の位置の予測を簡易かつ正確に行うことができる。

予測モデル生成手段は、学習データ取得手段によって取得された学習用画像から複数の部分画像を切り出して、切り出した部分画像に基づく情報を予測モデルへの入力として、機械学習を行って予測モデルを生成することとしてもよい。この構成によれば、学習データの数が少ない場合でも、適切に機械学習を行うことができ、予測を正確に行うことができる予測モデルを生成することができる。

予測モデルは、頭部の画像を入力して当該画像における当該頭部の特徴点の位置を予測するものであることとしてもよい。また、予測モデルは、顎部の画像を入力して当該画像における当該顎部の特徴点の位置を予測するものであることとしてもよい。

予測モデルは、ニューラルネットワークを含むこととしてもよい。この構成によれば、確実かつ適切に本発明を実施することができる。

上記の予測モデル生成システムに加えて、以下の予測システムも、本発明に係る予測モデル生成システムに対応する新規な構成を有しており、発明に相当する。本発明に係る予測システムは、上記の予測モデル生成システムによって生成された予測モデルを用いて予測を行う予測システムであって、予測対象である人体の画像を取得する予測対象画像取得手段と、予測対象画像取得手段によって取得された人体の画像に基づく情報を、予測モデルへ入力して当該画像における当該人体の特徴点の位置を予測する予測手段と、予測手段によって予測された位置を示す位置情報を出力する出力手段と、を備える。

また、本発明に係る予測システムは、上記の予測モデル生成システムによって生成された予測モデルを用いて予測を行う予測システムであって、予測対象である人体の画像を入力する予測対象画像取得手段と、予測対象画像取得手段によって取得された人体の画像から複数の部分画像を切り出して、切り出した部分画像に基づく情報それぞれを、予測モデルへ入力して当該画像における当該人体の特徴点の位置を予測する予測手段と、予測手段によって予測された位置を示す位置情報を出力する出力手段と、を備える。

予測手段は、部分画像に基づく情報それぞれを予測モデルへ入力して得られた出力のうち、出力によって示される特徴点の位置が予測モデルへ入力した部分画像上にないものを除外して、当該特徴点の位置を予測することとしてもよい。この構成によれば、部分画像を用いて予測を行う場合に、より正確に予測を行うことができる。

本発明によれば、機械学習によって生成される予測モデルを用いることで画像における人体の特徴点の位置の予測を簡易かつ正確に行うことができる。

本発明の実施形態に係る予測モデル生成システム及び予測システムである画像分析システムの構成を示す図である。 本実施形態に係る画像分析システムで用いられる画像（セファログラム）の例を示す図である。 画像からのパッチ画像の切り出しを示す図である。 本実施形態におけるニューラルネットワークを模式的に示す図である。 特徴点の位置を予測するための画素のスコアの例を示す図である。 本発明の実施形態に係る画像分析システムにおいて、予測モデルを生成する際に実行される処理を示すフローチャートである。 本発明の実施形態に係る機械翻訳システムにおいて、特徴点の位置を予測する際に実行される処理を示すフローチャートである。

以下、図面と共に本発明に係る予測モデル生成システム及び予測システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る予測モデル生成システム及び予測システムである画像分析システム１を示す。画像分析システム１は、矯正歯科において用いられる画像を分析するシステムである。分析対象となる画像は、図２（ａ）に示すような患者頭部を撮像したセファログラムである。但し、分析対象となる画像は、必ずしもＸ線を用いた撮像装置によって撮像されたセファログラムでなくてもよく、側面からの患者の頭蓋及び歯の画像であればよい。例えば、当該画像は、患者の頭部のＣＴ（Computed Tomography）画像から、従来のソフトウェア等によって生成されたセファログラムに相当する二次元画像であってもよい。

画像分析システム１は、分析対象の画像を入力して、当該画像における患者（人体）の特徴点（注目点）の位置を予測する。図２（ｂ）に示すように、予測される特徴点Ｃは、プロフィログラムを生成するためのセファログラムの主要な計測点である。画像分析システム１は、複数の特徴点Ｃを予測して、当該特徴点を結ぶことでプロフィログラムを自動的に生成することとしてもよい。

画像分析システム１は、機械学習を行って予測モデル（学習済モデル）を生成して、生成した予測モデルを用いて特徴点Ｃの予測を行う。即ち、画像分析システム１は、ＡＩ（人工知能）によって特徴点の予測を行う。画像分析システム１は、予測モデルを生成する構成として予測モデル生成システム１０と、特徴点の予測を行う構成として予測システム２０とを含む。

画像分析システム１は、具体的には、ＣＰＵ（Central ProcessingUnit）、メモリ等のハードウェアを含むコンピュータであるサーバ装置によって構成されている。画像分析システム１の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。なお、画像分析システム１は、一つのコンピュータで実現されてもよいし、複数のコンピュータがネットワークにより互いに接続されて構成されるコンピュータシステムにより実現されていてもよい。

引き続いて、本実施形態に係る画像分析システム１に含まれる予測モデル生成システム１０と、予測システム２０とのそれぞれの機能を説明する。図１に示すように、予測モデル生成システム１０は、学習データ取得部１１と、予測モデル生成部１２とを備えて構成される。

学習データ取得部１１は、機械学習に用いる学習データ（教師データ）を取得する学習データ取得手段である。学習データは、人体の学習用画像及び当該学習用画像における当該人体の特徴点Ｃの位置を示す位置情報を含む。学習用画像は、既に特徴点Ｃが分かっている画像であり、予測対象（分析対象）となる予測対象画像（分析対象画像）と同様の形式の画像である。即ち、学習用画像は、既に特徴点が分かっている患者頭部を撮像したセファログラム等である。本実施形態で用いられるセファログラム等の画像は、撮像装置によって得られた画像が縮小されたもの（例えば、元画像の１／５にされたもの）であってもよい。位置情報は、具体的には例えば、画像中の特徴点の位置の座標（ｘ座標、ｙ座標）を示す情報である。通常、プロフィログラムの生成に用いられる特徴点には、Ｓ、Ｎ、Ｏｒ及びＡＮＳ等、複数の種類（１９種類）があるため、位置情報は、特徴点の種類毎の情報を含む。学習データのうち、学習用画像は、予測モデルへの入力に対応するものであり、位置情報は、予測モデルの出力に対応するものである。

学習データは、画像分析システム１の管理者等によって用意され、学習データ取得部１１は、用意された学習データを取得する。学習データの位置情報に係る特徴点の位置は、例えば、予め医師が学習用画像を分析して特定したものである。当該位置は、機械学習に用いるため、なるべく正確なものであることが望ましい。また、機械学習を適切に行うため、なるべく多くの（患者についての）学習データがあることが望ましい。また、学習データは、多くの年代及び性別（例えば、２０−８０歳の男女）に係るものであることが望ましい。学習データ取得部１１は、取得した学習データを予測モデル生成部１２に出力する。

予測モデル生成部１２は、学習データ取得部１１によって取得された学習用データを用いて機械学習を行って予測モデルを生成する予測モデル生成手段である。予測モデル生成部１２は、学習データ取得部１１によって取得された学習用画像に基づく情報を予測モデルへの入力とし、学習データ取得部１１によって取得された位置情報に基づく情報を予測モデルの出力として機械学習を行う。予測モデル生成部１２は、学習用画像から複数の部分画像を切り出して、切り出した部分画像に基づく情報を予測モデルへの入力として、機械学習を行う。

予測モデル生成部１２によって生成される予測モデルは、予測対象画像に基づく情報を入力して当該画像における当該人体の特徴点の位置を予測するモデルである。予測モデルは、ニューラルネットワークを含む。ニューラルネットワークは、多層のものであってもよい。即ち、予測モデル生成部１２は、ディープラーニングを行って予測モデルを生成してもよい。予測モデル生成部１２は、具体的には、以下のように予測モデルを生成する。

予測モデル生成部１２は、学習データ取得部１１から学習データを入力する。予測モデル生成部１２は、図３に示すように、各学習データに含まれる学習用画像から複数の部分画像（局所画像）であるパッチ画像Ｐを切り出して生成する。パッチ画像Ｐのサイズは、予め設定されている。例えば、学習用画像のサイズが３８７×４８０ピクセルであれば、パッチ画像のサイズは７０×７０ピクセルとされる。予測モデル生成部１２は、学習用画像から予め設定された数のパッチ画像Ｐを切り出す。例えば、予測モデル生成部１２は、１枚の学習用画像から３００枚のパッチ画像Ｐを切り出す。学習用画像におけるパッチ画像Ｐが切り出される位置は、ランダムとされる。あるいは、学習用画像におけるパッチ画像Ｐが切り出される位置は、予め設定された位置であってもよい。

予測モデル生成部１２は、切り出した各パッチ画像Ｐの学習用画像における位置と、学習データの位置情報によって示される当該学習用画像における特徴点Ｃの位置との位置関係を特定する。例えば、予測モデル生成部１２は、各パッチ画像Ｐの学習用画像における中心の位置と、特徴点Ｃの位置との差分（距離）ｄを算出する。当該差分ｄは、各パッチ画像Ｐの学習用画像における中心の位置のｘ座標及びｙ座標それぞれと、特徴点Ｃの位置のｘ座標及びｙ座標それぞれとの差分を取ることで算出できる。予測モデル生成部１２は、上記の差分ｄを特徴点Ｃの種類毎に算出する。

予測モデル生成部１２は、パッチ画像Ｐ及び差分ｄを用いて機械学習を行ってニューラルネットワークを生成する。図４に予測モデル生成部１２によって生成されるニューラルネットワークを模式的に示す。ニューラルネットワークは、パッチ画像Ｐの各ピクセル（画素）の画素値を入力して、入力したパッチ画素と特徴点Ｃの位置との差分ｄを出力するものである。

ニューラルネットワークの入力層Ｉには、パッチ画像Ｐの画素の数分のニューロンが設けられる。例えば、パッチ画像Ｐのサイズが７０×７０ピクセルとされた場合、入力層Ｉには４９００個のニューロンが設けられる。ニューラルネットワークの中間層Ｈは、例えば、図４に示すように３層設けられる。中間層Ｈを入力層に近い側から第１層、第２層及び第３層とすると、例えば、第１層には１０００個、第２層には２００個、第３層には１００個のニューロンが設けられる。なお、中間層Ｈの数及び各層のニューロンの数は、上記のものに限られない。ニューラルネットワークの出力層Ｏには、差分ｄを出力するためのニューロンが設けられる。例えば、差分ｄのｘ軸成分及びｙ軸成分の２つのニューロンが設けられる。

予測モデル生成部１２は、パッチ画像Ｐの各ピクセルの画素値をニューラルネットワークへの入力値とし、当該パッチ画像Ｐの差分ｄのｘ軸成分及びｙ軸成分のそれぞれの値をニューラルネットワークの出力値として機械学習を行ってニューラルネットワークを生成する。画素値を入力値とする際には、それぞれの画素（パッチ画像Ｐ上の画素の位置）に対応付いたニューロンの入力値とする。また、差分ｄのｘ軸成分及びｙ軸成分のそれぞれの値を出力値とする際には、それぞれに対応付いたニューロンの出力値とする。上記の機械学習自体は、従来と同様に行うことができる。

予測モデル生成部１２は、上記のニューラルネットワークである予測モデルを特徴点Ｃの種類毎に生成する。即ち、予測モデル生成部１２は、特徴点Ｃの種類毎に機械学習を行う。予測モデル生成部１２は、生成した予測モデルを予測システム２０に出力する。以上が、本実施形態に係る予測モデル生成システム１０の機能である。

引き続いて、本実施形態に係る予測システム２０の機能を説明する。図１に示すように、予測システム２０は、予測対象画像取得部２１と、予測部２２と、出力部２３とを備えて構成される。

予測対象画像取得部２１は、特徴点Ｃの予測対象である人体の画像である予測対象画像を取得する予測対象画像取得手段である。予測対象画像は、学習用画像と同様の形式の（特徴点Ｃが分かっていない）画像であり、例えば、上述したようにセファログラムである。

予測対象画像取得部２１は、例えば、端末２から送信される予測対象画像を受信して取得する。端末２は、例えば、セファログラムの特徴点Ｃを知りたい医師等によって用いられる。画像分析システム１と端末２とは、ネットワーク等を介して接続されており、互いに情報の送受信を行うことができるようになっている。なお、予測対象画像取得部２１は、上記以外の方法で予測対象画像を取得してもよい。予測対象画像取得部２１は、取得した予測対象画像を予測部２２に出力する。

予測部２２は、予測対象画像取得部２１によって取得された予測対象画像に基づく情報を、予測モデル生成システム１０によって生成された予測モデルへ入力して当該予測対象画像における当該人体の特徴点Ｃの位置を予測する予測手段である。予測部２２は、予測対象画像から複数の部分画像を切り出して、切り出した部分画像に基づく情報それぞれを、予測モデルへ入力して特徴点Ｃの位置を予測する。予測部２２は、部分画像に基づく情報それぞれを予測モデルへ入力して得られた出力のうち、出力によって示される特徴点Ｃの位置が予測モデルへ入力した部分画像上にないものを除外して、当該特徴点Ｃの位置を予測する。具体的には、予測部２２は、以下のように特徴点Ｃの予測を行う。

予測部２２は、予測モデル生成システム１０によって生成されたニューラルネットワークである予測モデルを入力して記憶しておき、特徴点Ｃの位置の予測に用いる。予測部２２は、予測対象画像取得部２１から予測対象画像を入力する。予測部２２は、予測対象画像から複数の部分画像であるパッチ画像Ｐを切り出して生成する。予測部２２によるパッチ画像Ｐの切り出しは、予測モデル生成部１２によるパッチ画像Ｐの切り出しと同様に行われる。

予測部２２は、切り出したパッチ画像Ｐの各ピクセルの画素値をニューラルネットワークへの入力値として、ニューラルネットワークからの出力値を得る。画素値をニューラルネットワークへの入力値とする際には、それぞれの画素（パッチ画像Ｐ上の画素の位置）に対応付いたニューロンの入力値とする。得られる出力値は、予測対象画像におけるパッチ画像Ｐの位置と（予測される）特徴点Ｃの位置との（予測される）差分ｄである。当該差分ｄは、予測モデル生成部１２によって算出される差分ｄに対応するものである。

予測部２２は、パッチ画像Ｐの予測対象画像における位置と差分ｄとから、（当該パッチ画像Ｐから予測される）予測対象画像における特徴点Ｃの位置（座標）を算出する。予測部２２は、算出された特徴点Ｃの位置が、予測元となったパッチ画像の領域に含まれるか否かを判断する。予測部２２は、パッチ画像の領域に含まれないと判断した特徴点Ｃの位置については、当該特徴点Ｃの位置の最終的な予測に用いるものから除外する。即ち、予測部２２は、パッチ画像の領域に含まれると判断した特徴点Ｃの位置のみから、当該特徴点Ｃの位置の最終的な予測を行う。

予測部２２は、パッチ画像の領域に含まれると判断した特徴点Ｃの位置（予測対象画像における座標）から、予測対象画像の各座標（画素）にスコアを付ける。例えば、スコアは、以下のように付けられる。予測部２２は、パッチ画像の領域に含まれると判断した特徴点Ｃの位置の画素に最も高いスコア（例えば、２）を付ける。また、予測部２２は、パッチ画像の領域に含まれると判断した特徴点Ｃの位置から１画素だけ離れた周囲の８画素に次に高いスコア（例えば、１）を付ける。予測部２２は、それ以外の画素のスコアを０とする。予測部２２は、パッチ画像の領域に含まれると判断した特徴点Ｃの全ての位置について、上記のスコア付けを行って、図５に示すように各画素についてのスコアの合計を算出する。予測部２２は、算出したスコアのうち、最もスコアが高い画素の位置を最終的な特徴点Ｃの位置とする。

上述したように予測モデルは、特徴点Ｃの種類毎に生成されている。予測部２２は、特徴点Ｃの種類毎の予測モデルを用いて、種類毎の特徴点Ｃを予測する。予測部２２は、予測した特徴点Ｃの位置（予測対象画像における座標）を示す位置情報を出力部２３に出力する。

出力部２３は、予測部２２によって予測された特徴点Ｃの位置を示す位置情報を出力する出力手段である。出力部２３は、予測部２２から予測された特徴点Ｃの位置を示す位置情報を入力する。出力部２３は、例えば、位置情報を端末２に送信して出力する。その際、図２（ｂ）に示すように、特徴点Ｃの位置を示す表示を重畳した予測対象画像を送信することとしてもよい。また、当該特徴点Ｃを結んだプロフィログラムを生成してもよい。

端末２では、位置情報が受信されて表示等がなされる。端末２を使用する医師等は、当該表示等を参照して、患者の特徴点Ｃの位置を把握することができる。画像分析システム１はＷｅｂアプリケーションによって構成されていてもよく、端末２ではＷｅｂベース（例えば、Ｗｅｂブラウザ等）で画像分析システム１との間で情報の送受信が行われてもよい。なお、端末２によって受信された表示される特徴点Ｃの位置は、端末２において修正等の編集ができるようになっていてもよい。また、出力部２３は、上記以外の方法で位置情報を出力してもよい。以上が、本実施形態に係る予測システム２０の機能である。

引き続いて、図６及び図７のフローチャートを用いて、本実施形態に係る画像分析システム１で実行される処理（画像分析システム１が行う動作方法）を説明する。まず、図６のフローチャートを用いて、予測モデルを生成する際に実行される処理、即ち、本実施形態に係る予測モデル生成システム１０で実行される処理を説明する。

本処理では、まず、学習データ取得部１１によって、機械学習に用いる学習データが取得される（Ｓ０１）。続いて、予測モデル生成部１２によって、学習データに含まれる学習用画像から複数のパッチ画像が切り出されて生成される（Ｓ０２）。また、あわせて、パッチ画像Ｐの学習用画像における位置と、学習データに含まれる位置情報によって示される当該学習用画像における特徴点Ｃの位置との差分ｄが算出される。続いて、予測モデル生成部１２によって、パッチ画像Ｐの各ピクセルの画素値を入力値とし、当該パッチ画像Ｐの差分ｄの値を出力値として機械学習が行われて、予測モデルであるニューラルネットワークが生成される（Ｓ０３）。以上が、予測モデルを生成する際に実行される処理である。

引き続いて、図７のフローチャートを用いて、特徴点Ｃの位置を予測する際に実行される処理、即ち、本実施形態に係る予測システム２０で実行される処理を説明する。本処理では、まず、予測対象画像取得部２１によって予測対象画像が取得される（Ｓ１１）。続いて、予測部２２によって、予測対象画像から複数のパッチ画像が切り出されて生成される（Ｓ１２）。続いて、予測部２２によって、パッチ画像Ｐの各ピクセルの画素値が、予測モデルであるニューラルネットワークへの入力値とされて、出力値である差分ｄが得られる。差分ｄは、パッチ画像Ｐの予測対象画像における位置と、当該予測対象画像における特徴点Ｃの位置との差分である。続いて、予測部２２によって、各パッチ画像Ｐから得られる差分ｄから、特徴点Ｃの位置が予測される（Ｓ１３）。続いて、出力部２３によって、予測された特徴点Ｃの位置を示す位置情報が出力される（Ｓ１４）。以上が、特徴点Ｃの位置を予測する際に実行される処理である。

上述したように本実施形態では、機械学習によって予測モデルが生成される。当該予測モデルを用いることで予測対象画像における人体の特徴点の位置の予測を簡易かつ正確に行うことができる。具体的には、セファログラム、あるいはセファログラムに類する画像から、プロフィログラムを生成するための特徴点Ｃの位置の予測を簡易かつ正確に行うことができる。

これにより、分析者である医師の習熟度による特徴点Ｃのズレ等のプロフィログラム生成時のヒューマンエラーを防止することができる。また、プロフィログラムの作成に係る医師の労力及び時間の負担を減らすことができる。

以下に、本発明の発明者によって行われた本実施形態に係る特徴点Ｃの予測結果の評価を示す。プロフィログラムを生成する１９の特徴点のうちの一つであるＳｅｌｌａが医師によって特定されている予測対象画像に対して、本実施形態による方法で予測を行った。当該予測において、以下のように評価値Ｐ_{ｚ＝４．０ｍｍ}を算出した。

上記の式において、Δｘ_ｋ及びΔｙ_ｋは、予測された特徴点と医師によって特定されている特徴点（正解の特徴点）とのｘ軸方向及びｙ軸方向の誤差である。ｋは、予測対象画像のインデックス、ｎは、予測対象画像の数である。Ｐ_{ｚ＝４．０ｍｍ}は、予測した特徴点が正解とみなせる範囲に誤差が入っている割合を示すものであり、値が高いほど予測が正確であることを示している。本実施形態による方法では、Ｐ_{ｚ＝４．０ｍｍ}＝９３．５％であり、本実施形態による方法が高い予測精度で予測できていることを示している。

また、本実施形態のようにパッチ画像を用いた予測モデルの生成及び特徴点Ｃの予測を行うこととしてもよい。この構成によれば、学習データの数が少ない場合でも、適切に機械学習を行うことができ、予測を正確に行うことができる予測モデルを生成することができ、予測を正確に行うことができる。

セファログラム全体を用いて、正確に予測を行うことができる予測モデルを生成するためには多くのセファログラムを用意する必要がある。また、機械学習を行うための学習データを生成するため、医師等がそのセファログラムにおける特徴点Ｃを特定する必要がある。特徴点が付与された多くのセファログラムを用意することが困難な場合であっても、上記の構成によれば予測を正確に行うことができる。

例えば、特徴点が付与されたセファログラムが２００枚しかない場合であっても、上述したように１枚のセファログラムから３００枚のパッチ画像を生成すれば、機械学習に用いることができるデータの総数を２００×３００＝６００００とすることができる。

但し、セファログラムを数多く取得できる場合等には、パッチ画像を生成せずにセファログラム全体をニューラルネットワークへの入力とする予測モデルを生成して、予測を行うこととしてもよい。

また、パッチ画像を用いた予測を行う場合に、パッチ画像の領域に含まれないと判断した特徴点Ｃの位置については、最終的な特徴点Ｃの位置の予測から除外することとしてもよい。この構成によれば、特徴点Ｃから離れたパッチ画像を特徴点Ｃの予測から除外することができ、パッチ画像を用いて予測を行う場合に、より正確に予測を行うことができる。なお、本実施形態では、スコアを用いて最終的な特徴点Ｃの位置を予測したがそれ以外の方法で予測を行ってもよい（例えば、各パッチ画像から予測された特徴点Ｃの位置の平均を取る等）。また、除外を行わずに全てのパッチ画像から予測された特徴点Ｃを用いて、最終的な特徴点Ｃの位置の予測を行うこととしてもよい。

また、生成される予測モデルは、本実施形態のようにニューラルネットワークを含むものとしてもよい。この構成によれば、確実かつ適切に本発明を実施することができる。但し、ニューラルネットワークを含まない予測モデルを機械学習によって生成して予測に用いることとしてもよい。

なお、本実施形態では、プロフィログラムを生成するための特徴点Ｃを予測するものであったが、本発明は、プロフィログラム以外に用いられる特徴点Ｃを予測するものであってもよい。例えば、リケッツ法又はノースウェスタン法等といった他の方法によるセファロ分析にも用いることができる。また、本実施形態では、分析対象となる画像は、患者（人体）の頭部の画像としたが、矯正歯科の目的であれば、頭部全体でなくても、患者（人体）の顎部のみの画像が分析対象となってもよい。また、本発明は、人体の特徴点の位置を予測するものであれば、歯科矯正以外の目的で画像の分析を行うものであってもよい。その場合、予測対象の画像は、頭部のみの画像ではなく、人体の任意の部分が写った任意の画像としてもよい。

本実施形態では、画像分析システム１は、予測モデル生成システム１０と、予測システム２０とを含むこととしたが、本発明としては、予測モデル生成システム１０と、予測システム２０とが独立してそれぞれ実施されてもよい。

また、予測モデル生成システム１０によって生成される予測モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。当該予測モデルは、ＣＰＵ及びメモリを備えるコンピュータにて用いられる。具体的には、コンピュータのＣＰＵが、メモリに記憶された予測モデルからの指令に従って、ニューラルネットワークの入力層に予測対象画像に基づく情報を入力して、ニューラルネットワークにおける学習済の重み付け係数等に基づく演算を行って、ニューラルネットワークの出力層から結果（特徴点の位置に係る情報）を出力するように動作する。

１…画像分析システム、１０…予測モデル生成システム、１１…学習データ取得部、１２…予測モデル生成部、２０…予測システム、２１…予測対象画像取得部、２２…予測部、２３…出力部、２…端末。

Claims (8)

1. 人体の画像を入力して当該画像における当該人体の特徴点の位置を予測する予測モデルを生成する予測モデル生成システムであって、
   機械学習に用いる学習データである人体の学習用画像及び当該学習用画像における当該人体の特徴点の位置を示す位置情報を取得する学習データ取得手段と、
   前記学習データ取得手段によって取得された学習用画像に基づく情報を予測モデルへの入力とし、前記学習データ取得手段によって取得された位置情報に基づく情報を予測モデルの出力として機械学習を行って予測モデルを生成する予測モデル生成手段と、
   を備える予測モデル生成システム。
2. 前記予測モデル生成手段は、前記学習データ取得手段によって取得された学習用画像から複数の部分画像を切り出して、切り出した部分画像に基づく情報を予測モデルへの入力として、機械学習を行って予測モデルを生成する請求項１に記載の予測モデル生成システム。
3. 前記予測モデルは、頭部の画像を入力して当該画像における当該頭部の特徴点の位置を予測するものである請求項１又は２に記載の予測モデル生成システム。
4. 前記予測モデルは、顎部の画像を入力して当該画像における当該顎部の特徴点の位置を予測するものである請求項３に記載の予測モデル生成システム。
5. 前記予測モデルは、ニューラルネットワークを含む請求項１〜４の何れか一項に記載の予測モデル生成システム。
6. 請求項１〜５の何れか一項に記載の予測モデル生成システムによって生成された予測モデルを用いて予測を行う予測システムであって、
   予測対象である人体の画像を取得する予測対象画像取得手段と、
   前記予測対象画像取得手段によって取得された人体の画像に基づく情報を、前記予測モデルへ入力して当該画像における当該人体の特徴点の位置を予測する予測手段と、
   前記予測手段によって予測された位置を示す位置情報を出力する出力手段と、
   を備える予測システム。
7. 請求項２に記載の予測モデル生成システムによって生成された予測モデルを用いて予測を行う予測システムであって、
   予測対象である人体の画像を入力する予測対象画像取得手段と、
   前記予測対象画像取得手段によって取得された人体の画像から複数の部分画像を切り出して、切り出した部分画像に基づく情報それぞれを、前記予測モデルへ入力して当該画像における当該人体の特徴点の位置を予測する予測手段と、
   前記予測手段によって予測された位置を示す位置情報を出力する出力手段と、
   を備える予測システム。
8. 前記予測手段は、部分画像に基づく情報それぞれを前記予測モデルへ入力して得られた出力のうち、出力によって示される特徴点の位置が前記予測モデルへ入力した部分画像上にないものを除外して、当該特徴点の位置を予測する請求項７に記載の予測システム。