JP2022124540A

JP2022124540A - モデル更新装置及びモデル更新方法

Info

Publication number: JP2022124540A
Application number: JP2021022241A
Authority: JP
Inventors: 泰樹矢野; Taiki Yano; 宣隆木村; Nobutaka Kimura
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-02-16
Filing date: 2021-02-16
Publication date: 2022-08-26
Anticipated expiration: 2041-02-16
Also published as: JP7430146B2

Abstract

【課題】変動分布を有するパラメータによって定義される物体のモデルの変動分布の調整を容易にかつ適切に行う。【解決手段】モデル更新装置は、それぞれが確率分布を有する１以上のパラメータで定義される変形モデルを保持し、当該パラメータそれぞれの確率分布に基づいて、物体の変形例を生成し、変形例と当該１以上のパラメータとを含む評価画面を表示し、評価画面において変形例の評価の入力を受け付け、変形例の評価に基づいて当該確率分布を更新する。【選択図】図１

Description

本発明は、モデル更新装置及びモデル更新方法に関する。

本技術分野の背景技術として、特開２０１９－５３３６９号公報（特許文献１）がある。この公報には、「本発明の３次元モデル作成装置１は、少なくとも２以上の物体を一緒に撮像乃至計測することで得られたデータに基づいて作成された一体モデルから、前記物体の個別の形状を示す個別モデルを作成する３次元モデル作成装置１であって、一体モデルを形成する各面を延長した延長面により該一体モデルを分割した複数の分割モデルを作成する３次元モデル分割処理部１３０と、分割モデルのそれぞれへのタグ付けを受け付けるユーザインタフェース部１４０と、分割モデルへのタグ付けに基づいて、物体の個別モデルを作成する個別モデル作成部１５０と、を備える。」と記載されている（要約参照）。

特開２０１９－５３３６９号公報

特許文献１に記載の技術は、ユーザインターフェース部からの指示に基づきモデルの部分形状を修正する処理は実行しているものの、変動分布を有するパラメータによって定義される物体のモデルの変動分布の調整は非熟練者には困難である。そこで、本発明の一態様は、非熟練者であっても、変動分布を有するパラメータによって定義される物体のモデルの変動分布の調整を容易にかつ適切に行うことができることを目的とする。

上記課題を解決するため、本発明の一態様は以下の構成を採用する。モデル更新装置は、プロセッサとメモリとを含み、入力装置と表示装置に接続され、前記メモリは、それぞれが確率分布を有する１以上のパラメータで定義される物体のモデルである変形モデルを保持し、前記プロセッサは、前記１以上のパラメータそれぞれの確率分布に基づいて、物体の変形例を生成し、前記生成した変形例と前記１以上のパラメータとを含む評価画面を前記表示装置に表示し、前記評価画面において、前記入力装置を介して前記変形例の評価の入力を受け付け、前記変形例の評価に基づいて、前記確率分布を更新する、モデル更新装置。

本発明の一態様によれば、変動分布を有するパラメータによって定義される物体のモデルの変動分布の調整を容易にかつ適切に行うことができる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

実施例１におけるモデル作成装置の機能構成例を示すブロック図である。実施例１におけるモデル作成装置のハードウェア構成例を示すブロック図である。実施例１におけるモデルデータの一例である。実施例１におけるサンプル画像データの一例である。実施例１におけるモデル更新処理の一例を示すフローチャートである。実施例１における評価画面の一例である。実施例１における変動分布の更新処理の一例を示す説明図である。実施例１における不適切な変形例のパラメータを更新するための更新画面の例である。実施例２におけるモデル更新処理の一例を示すフローチャートである。実施例２における評価画面の一例である。実施例２における更新画面の一例である。実施例３におけるモデル更新処理の一例を示すフローチャートである。実施例３における更新画面の一例である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

図１は、モデル作成装置の機能構成例を示すブロック図である。モデル作成装置１００は、変動可能な１以上のパラメータがよって複数の形態が定義されるモデル（変形モデル）の作成、及び更新を実行する。

モデル作成装置１００は、例えば、変形例生成部１１１、パラメータ調整部１１２、画像表示部１１３、及び入力受付部１１４を有する。変形例生成部１１１は、モデルの変動分布及び／又はパラメータ調整部１１２が変更したパラメータに基づいて、モデルから物体の画像を生成する。

パラメータ調整部１１２は、モデルの変動分布のパラメータを調整する。入力受付部１１４と画像表示部１１３はユーザインターフェース部を構成する。入力受付部１１４は、入力装置を介してユーザからの入力を受け付ける。画像表示部１１３は、画像を出力装置１５０に表示する。

また、モデル作成装置１００は、モデルデータ１３１及びサンプル画像データ１３２を保持する。モデルデータ１３１は、モデルを保持する。サンプル画像データは、サンプル画像を保持する。なお、実施例１のモデル作成装置１００は、サンプル画像データ１３２を有していなくてもよい。

図２は、モデル作成装置１００のハードウェア構成例を示すブロック図である。モデル作成装置１００は、例えば、プロセッサ１１０、メモリ１２０、補助記憶装置１３０、入力装置１４０、出力装置１５０、及び通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１６０を有し、これらがバス等の内部通信線１７０によって接続された計算機によって構成される。

プロセッサ１１０は、メモリ１２０に格納されたプログラムを実行する。メモリ１２０は、不揮発性の記憶素子であるＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１１０が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置１３０は、例えば、磁気記憶装置（ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ））等の大容量かつ不揮発性の記憶装置であり、プロセッサ１１０が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１３０から読み出されて、メモリ１２０にロードされて、プロセッサ１１０によって実行される。

入力装置１４０は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。出力装置１５０は、ディスプレイ装置やプリンタなどの、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。通信ＩＦ１６０は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。

プロセッサ１１０が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介してモデル作成装置１００に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１３０に格納される。このため、モデル作成装置１００は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

モデル作成装置１００は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、モデル作成装置１００が１つの計算機でなく、モデルの最初の登録を行うための計算機であるモデル登録装置と、モデルを更新するためのモデル更新装置と、に分かれていてもよい。

プロセッサ１１０は、例えば、それぞれ前述した機能部である、変形例生成部１１１、パラメータ調整部１１２、画像表示部１１３、及び入力受付部１１４を有する。

例えば、プロセッサ１１０は、メモリ１２０にロードされた変形例生成プログラムに従って動作することで、変形例生成部１１１として機能し、メモリ１２０にロードされたパラメータ調整プログラムに従って動作することで、パラメータ調整部１１２として機能する。プロセッサ１１０に含まれる他の機能部についても、プログラムと機能部の関係は同様である。

なお、プロセッサ１１０に含まれる機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェアによって実現されてもよい。

補助記憶装置１３０は、例えば、前述したモデルデータ１３１及びサンプル画像データ１３２を保持する。なお、補助記憶装置１３０に格納されている一部又は全部の情報は、メモリ１２０に格納されていてもよいし、モデル作成装置１００に接続されている外部のデータベース等に格納されていてもよい。

なお、本実施形態において、モデル作成装置１００が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。本実施形態ではテーブル形式で情報が表現されているが、例えば、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。

図３は、モデルデータ１３１の一例である。モデルデータ１３１は、例えば、ＩＤ欄１３１１、カテゴリ欄１３１２、要素欄１３１３、結合欄１３１４、結合状態欄１３１５、及び変動分布欄１３１６を含む。ＩＤ欄１３１１は、モデルデータ１３１のレコードを識別するＩＤを保持する。カテゴリ欄１３１２は、モデルによって生成される画像のカテゴリを保持する。

要素欄１３１３は、モデルによって生成される画像に含まれる１以上の要素（形状）を示す。結合欄１３１４は、結合されている要素を示す情報を保持する。結合状態欄１３１４は、結合されている要素がどのように結合されているかを示す情報を保持する。変動分布欄１３１６は、各要素（形状）を定義する各形状パラメータの変動分布（確率分布）を示す情報を保持する。各変動分布は、離散確率分布であってもよいし、連続確率分布であってもよい。

また、形状パラメータの変動分布は、当該形状パラメータにおいて独立していてもよいし、他の形状パラメータの変動分布に影響を受ける（他の形状パラメータを変数に含む）変動分布であってもよい。また、特定の形状パラメータにのみ紐づく変動分布を有する形状パラメータがあってもよい。

なお、本実施形態では、形状パラメータによって表現されるモデルについて説明するが、変動分布を有するモデルであればよい。例えば、ニューラルネットを利用したモデルが採用されてもよく、この場合、対象カテゴリのモデルを表現する潜在特徴及び潜在特徴の範囲が事前に獲得され、ニューラルネットの潜在空間の各点が特定の変形例となる。

また、モデルにおいて色の範囲やサイズの範囲や結合されている要素の可動範囲が変動分布で定義されていてもよい。また、モデルにおいて、各形状の変形有無（剛体、一様等倍、非一様等倍（軸ごとの等倍）、非線形等）が定義されていてもよく、このとき変形時の閾値（元のモデルからのズレの許容値等）が定義されていてもよい。

図４は、サンプル画像データ１３２の一例である。サンプル画像データ１３２は、例えば、ＩＤ欄１３２１、カテゴリ欄１３２２、及び画像欄１３２３を保持する。ＩＤ欄１３２１は、サンプル画像データ１３２のレコードを識別するＩＤを保持する。カテゴリ欄１３２２は、サンプル画像が属するカテゴリを保持する。画像欄１３２３は、画像データを保持する。

図５は、モデル更新処理の一例を示すフローチャートである。例えば、入力受付部１１４がユーザからモデルデータ１３１のモデル（レコード）を指定する入力を受け付け、パラメータ調整部１１２は、指定されたモデルの変動分布をモデルデータ１３１から取得する（Ｓ５０１）。

パラメータ調整部１１２は、各要素の形状パラメータの変動分布に基づいて、各要素の形状パラメータ値を生成する（Ｓ５０２）。具体的には、例えば、パラメータ調整部１１２は、各変動分布について（複数の形状パラメータの変動分布が依存しあう場合は、当該複数の形状パラメータで定義される変動分布について）、最も確率の高い形状パラメータ値を取得してもよいし、変動分布内における最も高い形状パラメータ値又は最も低い形状パラメータ値を取得してもよいし、変動分布における形状パラメータの期待値を取得してもよいし、変動分布における形状パラメータの中央値を取得してもよい。また、例えば、パラメータ調整部１１２は、変動分布における形状パラメータ値をランダムにサンプルしてもよい。また、パラメータ調整部１１２は、ユーザが入力装置１４０に入力した形状パラメータ値を取得して、当該形状パラメータ値を採用してもよい。

なお、パラメータ調整部１１２は、各変動分布について、複数の形状パラメータ値を取得してもよい。具体的には、例えば、パラメータ調整部１１２は、確率の高い順に複数の形状パラメータ値を取得してもよいし、変動分布内における高い順に又は低い順に複数の形状パラメータ値を取得してもよい。また、例えば、パラメータ調整部１１２は、変動分布における複数の形状パラメータを所定間隔で取得してもよい。

変形例生成部１１１は、パラメータ調整部１１２が生成した形状パラメータ値と、モデルデータ１３１が示す結合及び結合状態と、に従って、物体の変形例を生成する（Ｓ５０３）。なお、パラメータ調整部１１２が各変動分布について複数の形状パラメータ値を生成した場合には、変形例生成部１１１は、変動分布の複数の形状パラメータ値を組み合わせて複数の変形例を生成する。

画像表示部１１５は、生成した変形例を含む評価画面を出力装置１５０に表示する（Ｓ５０４）。評価画面の詳細については後述するが、ユーザは評価画面を介して少なくとも変動分布を変更可能である。変形例生成部１１１は、評価が終了したかを判定する（Ｓ５０５）。変形例生成部１１１は、評価が終了しなかったと判定した場合（Ｓ５０５：Ｎｏ）、パラメータ調整部１１２は変動分布に当該変更を反映して、ステップＳ５０２に戻る。

変形例生成部１１１は、評価が終了したと判定した場合（Ｓ５０５：Ｙｅｓ）、形状パラメータの変動分布をモデルデータ１３１に登録して、モデル更新処理を終了する。なお、図５では、モデル更新処理の例を説明したが、ステップＳ５０１において、パラメータ調整部１１２が入力受付部１１４を介してモデル（モデルデータ１３１のレコードに登録される値）を取得すれば、図５のフローチャートは、モデル登録処理にもなる。

図６は、評価画面の一例である。評価画面６００は、例えば、モデル標準表示領域６０１、モデル詳細表示領域６０２、変形例表示領域６０３、再生成ボタン６０４、及び登録ボタン６０５を含む。モデル標準表示領域６０１には、例えば、各変動分布内における最も確率の高い形状パラメータ値の形状によって構成された、又は各変動分布における形状パラメータの期待値の形状によって構成された、モデル標準が表示される。

モデル詳細表示領域６０２には、モデルデータ１３１から取得された現在のモデルの詳細が表示される。変形例表示領域６０３には、変形例生成部１１１が生成した１以上の変形例が表示される。また、変形例表示領域６０３には、〇ボタンと×ボタンとが表示されている。

なお、変形例表示領域６０３には、各変形例についてモデル標準と比較してどの形状パラメータがどれだけ変動しているかが表示されていてもよいし、各変形例の形状パラメータ値が表示されていてもよい。

ユーザは、変形例表示領域６０３に表示された各変形例を、入力装置１４０を介して選択して〇ボタン（適切）又は×ボタン（不適切）を選択することで、各変形例が、ユーザが所望する変形例に含まれるかを選択する。なお、評価は適切、又は不適切の２択ではなく、点数評価や変動分布の値でもよい。

各変形例について適切又は不適切が選択された上で、再生成ボタン６０４が選択されると、評価が終了せずステップＳ５０７においてパラメータ調整部１１２は適切された変形例のみで表現できるよう変動分布を更新する。変動分布の更新方法の例は後述する。

各変形例について適切又は不適切が選択された上で、登録ボタン６０５が選択されると、評価が終了してステップＳ５０８においてパラメータ調整部１１２は適切された変形例のみで表現できるよう変動分布を更新して、モデルを登録してもよいし、変動分布を更新することなくモデルを登録してもよい。なお、全ての変形例が適切と選択された場合には、自動的に登録処理へと移行してもよい。

図７は、図６で説明した変動分布の更新処理の一例を示す説明図である。図７の例では、形状パラメータ１と形状パラメータ２の変動分布が互いに依存している。変動分布が曲線内の領域で示され、ハッチングが濃いほど確率が高い。図７の上のグラフにおける複数の黒い丸は複数の変形例における形状パラメータ値を示す。

図７の下のグラフにおいて、左の２つの黒い丸が示す形状パラメータの変形例が適切され、右の２つの黒い丸が示す形状パラメータの変形例が不適切となったため、パラメータ調整部１１２は、右の２つの黒い丸が示す形状パラメータを含まないように形状パラメータ１と形状パラメータ２の変動分布を縮小する。なお、変形例生成部１１１が出力装置１５０に図７の上のグラフを表示して、ユーザが入力装置１４０を介して（例えば、グラフをドラッグしたり、数値を入力する等して）、変動分布を手動で縮小してもよい。

また、パラメータ調整部１１２は、不適切となった形状パラメータ値及びその周辺の形状パラメータ値に対応する変動分布の値を低下させてもよい。また、パラメータ調整部１１２は、形状パラメータ値と、入力装置１４０を介して選択された適切又は不適切の成否判定と、の組から成否判定を推定する推定器を学習してもよい。またパラメータ調整部１１２は、形状パラメータ値と、入力装置１４０を介して入力された点数評価又は変動分布の値と、の組をもとに点数及び変動分布の値の推定する推定器を学習してもよい。具体的には、パラメータ調整部１１２は、サポートベクターマシンやランダムフォレストを用いて成否判定の境界線を推定したり、線形回帰やニューラルネットを用いて点数評価値や変動分布の値を推定したりする。

図８は、評価画面６００によって選択された不適切な変形例のパラメータ（当該モデルの変動分布）を更新するための更新画面の例である。更新画面８００は、例えば、変形例表示領域８０１、変動分布表示領域８０２、変動分布調整領域８０３、再生成ボタン８０４、及び登録ボタン８０５を含む。変形例表示領域８０１には、評価画面６００において不適切であると選択された１以上の変形例が表示される。

変動分布表示領域８０２には、変動分布調整領域８０３においてユーザが選択した形状の形状パラメータの変動分布が表示される。変動分布表示領域８０２のグラフのバツは当該不適切となった変形例のパラメータを示す。これにより、ユーザは具体的にどの程度パラメータを調整すればよいかを理解しやすい。

変動分布調整領域８０３は、変動分布を調整するための領域である。ユーザは変動分布調整領域８０３において、形状と、形状パラメータと、変更後の変動分布を選択する。図８の例では、変動分布調整領域８０３において、変形例の円柱４の半径を隣接する円柱（円柱３）の半径よりも小さくする変更を行うことが選択され、当該変更を反映した変動分布が変動分布表示領域８０２に表示されている。なお、この変更を視覚的にユーザに理解しやすくするために、変形例表示領域８０１に表示されている変形例に対してもこの変更を反映してもよい（例えば、変更後の変動分布のうち最も高い確率を示すパラメータが採用されることで変更が反映される）。

なお、図８では、変動分布調整領域８０３において他の形状パラメータとの関係が修正される例を示しているが、変動分布における数値が直接修正されてもよい。また、パラメータ調整部１１２は、ユーザが指定した数値よりも所定数大きく又は所定数小さく形状パラメータを変更してもよい。また、変動分布が連続であれば更新画面８００において、形状パラメータ値の所定数以内の増減のみが許容されてもよい。

なお、更新画面８００は、例えば、評価画面として機能してもよく、この場合、例えば、変形例表示領域８０１に変形例生成部１１１が生成した変形例が表示され、変動分布表示領域８０２において当該変形例の変動分布が表示されてもよい。

また、図８の例では形状パラメータを更新する例を説明したが、形状そのものを変更可能であってもよいし、１つの形状を複数の形状に分割可能であってもよいし、複数の形状を１つの形状に統合可能であってもよい。

以上、本実施例のモデル作成装置１００は、モデルの変動分布に基づく変形例を生成して出力装置１５０に表示して、ユーザが視覚的に変形例を理解した上で、パラメータ調整を実行することができるため、モデル生成の非熟練者であっても適切なパラメータ調整を行うことができる。また、モデル作成の熟練者であってもパラメータの細かな調整が容易となる。

本実施例は、モデル更新処理の別例を示す。実施例１との相違点を説明する。図９は、モデル更新処理の一例を示すフローチャートである。ステップＳ５０１に続いて、パラメータ調整部１１２は、ステップＳ５０１で取得された変動分布と同じカテゴリのサンプル画像をサンプル画像データ１３２から取得する（Ｓ９０１）。

なお、パラメータ調整部１１２は、当該変動分布と同じカテゴリのサンプル画像をサンプル画像データ１３２から（例えばユーザから指定された）１つ取得してもよいし、同じカテゴリのサンプル画像をサンプル画像データ１３２から（例えばユーザから指定された）複数又は全て取得してこれらの平均画像を生成してもよい。なお、パラメータ調整部１１２は、サンプル画像データ１３２からサンプル画像を取得せずに、入力受付部１１４を介してユーザからサンプル画像の入力を受け付けてもよい。

ステップＳ５０３に続いて、変形例生成部１１１は、生成した変形例とサンプル画像との一致度を算出する（Ｓ９０２）。例えば、変形例生成部１１１は、変形例とサンプル画像とをフィッティングさせた場合の誤差を算出し、当該誤差に基づいて一致度を算出する。具体的には、例えば、変形例生成部１１１は、変形例とサンプル画像の形状とに対する、ＩＣＰ（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）若しくはｓｃａｌｅＩＣＰの位置合わせ誤差、又はＦＡＳＴ（ＦｅａｔｕｒｅｓｆｒｏｍＡｃｃｅｌｅｒａｔｅｄＳｅｇｍｅｎｔＴｅｓｔ）特徴点マッチングにおけるモデル－シーン間マッチング組数に基づく誤差を算出する。また、変形例生成部１１１は、ＳＡＣ（ＳＡｍｐｌｅＣｏｎｓｅｎｓｕｓ）手法を用いてサンプル画像より検出した平面や円柱などの形状と、モデルの要素(形状)とのサイズや位置合わせ誤差を算出してもよい。

例えば、変形例生成部１１１は、（ａ（ｘ））＝｛形状パラメータｘのみ固定した際のＩＣＰの位置合わせ誤差｝・・・（１）、（ａ（ｘ））＝｛ａ（ｘ）が関わる部分領域に限定したＩＣＰの位置合わせ誤差｝・・・（２）、又は（ａ（ｘ））＝｛（１）又は（２）の非線形変換｝を算出し、一致度ａをａ＝ｍｉｎ＿ｘ（ａ（ｘ））又はｍｅａｎ（ａ（ｘ））によって算出する。また、例えば、変形例生成部１１１は、変形例をサンプル画像に対する認識とし、その認識率及び位置姿勢誤差に基づいて、一致度を算出してもよい。

ステップＳ９０２に続いて、変形例生成部１１１は、サンプル画像との一致度が低い変形例（例えば、一致度が所定の閾値以下の変形例、一致度が最も低い変形例、又は一致度が低い順に所定数の変形例）を出力装置１５０に表示し（Ｓ９０３）、ステップＳ５０５以降の処理へと進む。

図１０は、評価画面の一例である。図１０の評価画面６００は、一致度表示領域１００１をさらに含む。一致度表示領域１００１には、変形例の各形状についてのサンプル画像との一致度が表示される。なお、複数の変形例が生成された場合には、当該複数の変形例それぞれの各形状についてのサンプル画像との一致度の平均である平均一致度が、一致度表示領域１００１に表示されてもよい。

図１１は、更新画面の一例である。図１１の更新画面８００は、一致度表示領域１１０１をさらに含む。一致度表示領域１１００には、一致度が低い変形例の各形状におけるサンプル画像の各画像との一致度が表示される。また、一致度表示領域１１００には、変形例のモデルのカテゴリと、サンプル画像のカテゴリと、が表示されている。

変形例表示領域８０１には、一致度が低い変形例が表示されている。なお、当該変形例とサンプル画像との一致度がなぜ低いかをユーザが視覚的に理解しやすくするために、当該変形例とサンプル画像の少なくとも一方を半透明で重ねて（位置合わせをして）表示される等してもよい。

変動分布表示領域８０２には、更新対象の変動分布に加え、一致度が最大となる当該変動分布の形状パラメータ値が黒い丸で示されている。これにより、ユーザはどのように変動分布を更新すれば一致度が高くなるかを容易に理解することができる。変動分布調整領域８０３の形状を選択するためのボックスには、一致度が最も低い形状が予め選択されていてもよい。

以上、本実施例のモデル作成装置１００は、サンプル画像と同カテゴリのモデルの変形例であって、当該サンプル画像との一致度が低い変形例を表示し、当該モデルのうち一致度が低い形状をユーザに認識させることにより、モデル生成の非熟練者であっても適切なカテゴリのサンプル画像とモデルが類似するようパラメータ調整を行うことができる。

本実施例は、モデル更新処理の別例を示す。実施例２との相違点を説明する。図１２は、モデル更新処理の一例を示すフローチャートである。ステップＳ５０１に続いて、パラメータ調整部１１２は、ステップＳ５０１で取得された変動分布と異なるカテゴリのサンプル画像をサンプル画像データ１３２から取得する（Ｓ１２０１）。

なお、パラメータ調整部１１２は、当該変動分布と、例えばユーザから指定された異なるカテゴリのサンプル画像をサンプル画像データ１３２から１つ取得してもよいし、同じカテゴリのサンプル画像をサンプル画像データ１３２から（例えばユーザから指定された）複数又は全て取得してこれらの平均画像を生成してもよい。なお、パラメータ調整部１１２は、入力受付部１１４を介して、サンプル画像データ１３２からサンプル画像を取得せずに、ユーザからサンプル画像の入力を受け付けてもよい。また、サンプル画像のカテゴリも１つに指定されていてもよいし、複数指定されていてもよい。

ステップＳ９０２に続いて、変形例生成部１１１は、サンプル画像との一致度が高い変形例（例えば、一致度が所定の閾値以上の変形例、一致度が最も高い変形例、又は一致度が高い順に所定数の変形例）を出力装置１５０に表示し（Ｓ１２０２）、ステップＳ５０５以降の処理へと進む。

図１３は、更新画面の一例である。実施例３の更新画面８００は、実施例２の更新画面８００の表示に加えてチェックボックス１２０１を含む。チェックボックス１２０１が選択されると表示されている変形例がＮＧ変形例として登録され、当該変形例が生成されないように変動分布が更新される。また、変形例の形状ごとにチェックボックス１２０１があってもよい（つまり各形状が生成されないように変動分布が更新可能であってもよい）。

変形例表示領域８０１には、一致度が高い変形例が表示されている。なお、当該変形例とサンプル画像との一致度がなぜ高いかをユーザが視覚的に理解しやすくするために、当該変形例とサンプル画像の少なくとも一方を半透明で重ねて（位置合わせをして）表示され等してもよい。

変動分布表示領域８０２には、更新対象の変動分布に加え、一致度が最小となる当該変動分布の形状パラメータ値が黒い丸で示されている。これにより、ユーザはどのように変動分布を更新すれば一致度が低くなるかを容易に理解することができる。変動分布調整領域８０３の形状を選択するためのボックスには、一致度が最も高い形状が予め選択されていてもよい。

以上、本実施例のモデル作成装置１００は、サンプル画像と異なるカテゴリのモデルの変形例であって、当該サンプル画像との一致度が高い変形例を表示し、当該モデルのうち一致度が高い形状をユーザに認識させることにより、モデル生成の非熟練者であっても適切でないカテゴリのサンプル画像とモデルが類似しないよう（つまり異なるカテゴリの画像と誤認識しないように）パラメータ調整を行うことができる。

なお、実施例３の処理を一部変更することにより、未登録のカテゴリのモデルを登録するモデル登録処理を実現することができる。ステップＳ９０１において、パラメータ調整部１１２は、１以上のモデルの形状パラメータを取得し、ステップＳ１２０１において、パラメータ調整部１１２は、ステップＳ９０１において取得された形状パラメータのモデルと異なるカテゴリであって、かつモデルデータ１３１に未登録の異なるカテゴリ、の１以上のサンプル画像を取得する。

ステップＳ１２０２において、画像表示部１１５は、サンプル画像との一致度が高い変形例を出力装置１５０に表示する。そして、更新画面８００においてユーザは、サンプル画像と類似度の高い変形例の変動分布を、さらに類似度が高くなるように調整することで、未登録のカテゴリのモデルが生成される。但し更新画面８００の変動分布表示領域８０２には、更新対象の変動分布に加え、一致度が最大となる当該変動分布の形状パラメータ値が黒い丸で示されるとよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００モデル作成装置、１１０プロセッサ、１１１パラメータ調整部、１１２変形例生成部、１１３画像表示部、１１４入力受付部、１２０メモリ、１３０補助記憶装置、１３１モデルデータ、１３２サンプル画像データ、１４０入力装置、１５０出力装置

Claims

モデル更新装置であって、
プロセッサとメモリとを含み、
入力装置と表示装置に接続され、
前記メモリは、それぞれが確率分布を有する１以上のパラメータで定義される物体のモデルである変形モデルを保持し、
前記プロセッサは、
前記１以上のパラメータそれぞれの確率分布に基づいて、物体の変形例を生成し、
前記生成した変形例と前記１以上のパラメータとを含む評価画面を前記表示装置に表示し、
前記評価画面において、前記入力装置を介して前記変形例の評価の入力を受け付け、
前記変形例の評価に基づいて、前記確率分布を更新する、モデル更新装置。
請求項１に記載のモデル更新装置であって、
前記プロセッサは、前記変形例の評価において、前記入力装置を介して、前記変形例が不適切であることを示す評価の入力を受け付けた場合、当該変形例のパラメータ値を含まないよう前記確率分布を更新する、モデル更新装置。
請求項１に記載のモデル更新装置であって、
前記プロセッサは、
前記確率分布を前記表示装置に表示し、
前記変形例の評価において、前記入力装置を介して前記表示した確率分布の変更を受けるつける、モデル更新装置。
請求項１に記載のモデル更新装置であって、
前記メモリは、物体の１以上のサンプル画像を含むサンプル画像データを保持し、
前記プロセッサは、
前記変形モデルと前記１以上のサンプル画像との一致度を算出し、
前記一致度を、前記評価画面に表示する、モデル更新装置。
請求項４に記載のモデル更新装置であって、
前記変形モデルの物体のカテゴリが定義され、
前記サンプル画像データの前記１以上のサンプル画像それぞれの物体のカテゴリが定義され、
前記プロセッサは、
前記変形モデルと同じカテゴリのサンプル画像を取得し、
前記変形モデルと前記取得したサンプル画像との一致度を算出し、
前記算出した一致度が所定の条件と比較して低い変形例を前記評価画面に表示する、モデル更新装置。
請求項４に記載のモデル更新装置であって、
前記変形モデルの物体のカテゴリが定義され、
前記サンプル画像データの前記１以上のサンプル画像それぞれの物体のカテゴリが定義され、
前記プロセッサは、
前記変形モデルと異なるカテゴリのサンプル画像を取得し、
前記変形モデルと前記取得したサンプル画像との一致度を算出し、
前記算出した一致度が所定の条件と比較して高い変形例を前記評価画面に表示する、モデル更新装置。
請求項４に記載のモデル更新装置であって、
前記メモリは複数の前記変形モデルを保持し、
前記複数の変形モデルそれぞれの物体のカテゴリが定義され、
前記サンプル画像データの前記１以上のサンプル画像それぞれの物体のカテゴリが定義され、
前記プロセッサは、
前記複数の変形モデルのカテゴリのいずれにも含まれないカテゴリのサンプル画像を前記サンプル画像データから取得し、
前記複数の変形モデルそれぞれと前記取得したサンプル画像との一致度を算出し、
前記算出した一致度が所定の条件と比較して高い変形例を前記評価画面に表示する、モデル更新装置。
モデル更新装置によるモデル更新方法であって、
前記モデル更新装置は、
プロセッサとメモリとを含み、
入力装置と表示装置に接続され、
前記メモリは、それぞれが確率分布を有する１以上のパラメータで定義される物体のモデルである変形モデルを保持し、
前記モデル更新方法は、
前記プロセッサが、前記１以上のパラメータそれぞれの確率分布に基づいて、物体の変形例を生成し、
前記プロセッサが、前記生成した変形例と前記１以上のパラメータとを含む評価画面を前記表示装置に表示し、
前記プロセッサが、前記評価画面において、前記入力装置を介して前記変形例の評価の入力を受け付け、
前記プロセッサが、前記変形例の評価に基づいて、前記確率分布を更新する、モデル更新方法。