JP2001155026A - ３次元画像データベース装置及び３次元画像データベース構築方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、３次元画像の検索を行うために、３
次元画像の持つ特有の特徴を用いて効率的な検索を行う
ことのできる３次元画像データベース装置及び３次元画
像データベース構築方法を提供する。 【解決手段】本発明の一態様によると、入力された３次
元画像に類似した画像を検索する画像データベース装置
において、３次元画像データを入力する画像入力手段
と、上記画像入力手段によって入力された３次元画像デ
ータに対して指定の条件に基づき関心領域を設定する関
心領域設定手段と、上記関心領域設定手段によって設定
された３次元画像データの関心領域に対して、この関心
領域を正規化及び可視化して３次元画像データを再構成
する３次元再構成手段と、上記３次元再構成手段によっ
て再構成された３次元画像データを、上記画像入力手段
によって入力された３次元画像データと対応させて蓄積
する３次元画像データ蓄積手段と、を具備することを特
徴とする３次元画像データベース装置が提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は３次元画像データベ
ース装置及び３次元画像データベース構築方法に係り、
特に、３次元画像から関心領域抽出及び特徴量算出を行
い、これらのデータに基づいて、類似画像検索を行うた
めのデータベースの構築を行う方法及び装置に関する。

【０００２】

【従来の技術】従来より、画像検索を行うシステムとし
て、一般的に、２次元の画像データを用いたものが利用
されている。

【０００３】これらのシステムでは、２次元の画像デー
タより特徴を抽出し、これらの特徴量をデータベースに
蓄積し、これらの特徴量に基づいた検索が行われてい
る。

【０００４】さらに、３次元画像の普及とともに、３次
元画像データから利用者の関心のある領域を抽出し、そ
れを３次元オブジェクト化した上で表示装置に表示する
ことにより、各種検討を行うことが近年盛んに行われる
ようになってきている。

【０００５】しかるに、これらの３次元画像データは、
そのデータ量が膨大であるとともに、扱い方も非常に複
雑なものである。

【０００６】これらの膨大な量の３次元画像データをデ
ータベース内に蓄積する際には、これらの画像データの
中から利用者が要求する画像データの効率的な検索を可
能とするために、データベースそのものを事後の検索が
し易いような形態として効率よく構築しておく必要があ
る。

【０００７】このような目的に対して、特開平５−１５
９００１号公報には、３次元図形を検索する装置に関し
て開示されている。

【０００８】この装置は、３次元図形に対し、その特徴
をよく表している正面図、断面図、鳥瞰図のような２次
元情報を検索キーを付加した上でデータベースに蓄積し
ておき、これらの、関連付けの行われている２次元情報
を順次、画面上に表示しながら、利用者の所望する図形
が探索されたときに、対応する３次元図形の情報が呼び
出されるものである。

【０００９】また、特開平６−２１５１０５号公報によ
る３次元画像処理装置においては、物体の３次元幾何形
状情報及び属性情報を格納し、これらの３次元幾何形状
情報及び属性情報に基づいた画像検索を行うことによ
り、その検索結果の３次元幾何形状情報及び属性情報に
より２次元投影像を表示する例が開示されている。

【００１０】

【発明が解決しようとする課題】しかしながら、上述し
たような従来技術としての２次元画像検索システムで
は、検索に用いられる特徴が２次元画像データから得ら
れるものであり、必然的にデータベースに蓄積される特
徴量としても、２次元的なものとなり、３次元的な情報
を持つ画像の特徴を表すことはできないので、このよう
なデータベースを３次元的な類似画像データを検索する
手段としては用いることができないという問題点があ
る。

【００１１】また、従来技術として述べた特開平５−１
５９００１号公報に開示されているような３次元図形を
検索する装置では、主としてＣＡＤデータのようないわ
ゆる構造データであり、このような構造データはワイヤ
ーフレーム的な情報のみしかデータベース内に蓄積する
ことができない。

【００１２】しかしながら、一般的な３次元画像は、こ
のような構造的情報のみならず、画素の、濃淡の情報、
テクスチャ的な情報等の複雑な情報を持っている。

【００１３】このため、上述の特開平５−１５９００１
号公報に開示されている３次元図形を検索する装置で
は、一般的な３次元画像が持っている複雑な情報の特徴
から導出される表面の細かい形状変化や、物体の内部情
報に関する類似性を考慮した検索を行うことができない
という問題点がある。

【００１４】また、この装置では、検索結果の表示に関
しても、２次元的な情報を複数提示するのみであるが、
３次元画像を表示装置に表示するためには、任意の視点
からの表示を行わなければその画像情報を利用者に正確
に伝達することは困難であり、このような観点からも、
詳細な３次元情報を視覚的に表示することができないと
いう問題点がある。

【００１５】同様に、特開平６−２１５１０５号公報に
開示されているような３次元画像処理装置においても、
入力される情報はポリゴンパッチの頂点位置、頂点の接
続情報及び材料特性のみであり、物体の持つテクスチャ
的な特徴に関する考慮はなされていない。

【００１６】本発明は、上記の問題点を解決すべくなさ
れたものであり、３次元画像の検索を行うために、３次
元画像の持つ特有の特徴を用いて効率的な検索を行うこ
とのできる３次元画像データベース装置及び３次元画像
データベース構築方法を提供することを目的とする。

【００１７】

【課題を解決するための手段】また、本発明によると、
上記課題を解決するために、（２） が提供される。

【００１８】本発明によると、上記課題を解決するため
に、（１） 入力された３次元画像に類似した画像を検
索する画像データベース装置において、３次元画像デー
タを入力する画像入力手段と、上記画像入力手段によっ
て入力された３次元画像データに対して指定の条件に基
づき関心領域を設定する関心領域設定手段と、上記関心
領域設定手段によって設定された３次元画像データの関
心領域に対して、この関心領域を正規化及び可視化して
３次元画像データを再構成する３次元再構成手段と、上
記３次元再構成手段によって再構成された３次元画像デ
ータを、上記画像入力手段によって入力された３次元画
像データと対応させて蓄積する３次元画像データ蓄積手
段と、を具備することを特徴とする３次元画像データベ
ース装置が提供される。

【００１９】また、本発明によると、上記課題を解決す
るために、（２） 上記関心領域設定手段によって設定
された３次元画像データの関心領域に対して画像データ
の特徴量を計算する特徴量演算手段を有し、上記３次元
画像データ蓄積手段は、上記特徴量演算手段によって計
算された画像データの特徴量を上記画像入力手段によっ
て入力された３次元画像データと対応させて蓄積するこ
とを特徴とする（１）に記載の３次元画像データベース
装置が提供される。

【００２０】また、本発明によると、上記課題を解決す
るために、（３） 入力された３次元画像データに類似
した画像データを検索する画像データベースの構築方法
であって、３次元画像データを入力するステップと、上
記入力された３次元画像データに対して指定の条件に基
づき関心領域を設定するステップと、上記設定された３
次元画像データの関心領域に対して、この関心領域を正
規化及び可視化して３次元画像データを再構成するステ
ップと、上記再構成された３次元画像データを上記入力
された３次元画像データと対応させて蓄積するステップ
と、を具備することを特徴とする３次元画像データベー
ス構築方法が提供される。

【００２１】

【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。

【００２２】図１は、本発明の一実施の形態による類似
画像検索システムのための３次元画像データベース装置
の構成を示すブロック図である。

【００２３】すなわち、この３次元画像データベース装
置は、図１に示すように、演算装置１と、該演算装置１
にそれぞれ接続される画像（データ）入力装置２と、表
示装置３と、指示デバイス４及び外部データベース装置
５とから構成される。

【００２４】図２は、図１の演算装置１内で行われる各
処理の機能を実行する構成を示したブロック図である。

【００２５】すなわち、この演算装置１は、３次元画像
の特徴を算出すべき関心領域を抽出・設定するための演
算を行う関心領域設定機能部６と、該関心領域設定機能
部６によって設定された関心領域の特徴量を算出するた
めの特徴量算出機能部７と、該特徴量算出機能部７で算
出された特徴量に基づいて類似性を算出するための類似
性算出機能部８とから構成される。

【００２６】図１において、類似画像検索のための対象
とする画像データは、画像入力装置２から演算装置１内
に入力される。

【００２７】ここで、画像入力装置２によって入力され
る画像データとしては、ＣＴやＭＲＩのような医用検査
画像で、断層スライス画像がある間隔ごとに撮影され、
全体の集合としてボリューム情報となるようなデータ、
ＣＡＤデータのように３次元の構造を表現するデータ、
レンジファインダのような距離画像を計測する装置によ
り計測されたデータ等の３次元の情報を持つ任意のデー
タを取り扱うことができるものとする。

【００２８】図２において、演算装置１内の関心領域設
定機能部６では、上記画像入力装置２によって入力され
る画像データとしての３次元データ、すなわち、ボリュ
ームデータや、ＣＡＤデータ、距離画像データに対し
て、利用者の所望の位置、または領域の指定を図１の指
示操作入力装置４を用いて行うことにより関心領域とし
て抽出を行う。

【００２９】また、特徴量算出機能部７では、このよう
にして演算装置１内の関心領域設定機能部６で設定され
た関心領域に関して、３次元的に特徴量を算出し、さら
に、関心領域として設定されたオブジェクトを３次元可
視化できるように変換した後、原３次元画像データ、特
徴量データと関連付けを行った上で、図１のデータベー
ス５内に保存する。

【００３０】また、類似性算出機能部８においては、類
似画像を抽出する検索手段として、入力された参照画像
に関し、前記特徴量算出機能部７で入力された対象画像
に関して算出された特徴量データに基づいて、該対象画
像から算出された特徴量と同様にして類似性を算出する
とともに、類似画像検索のために、データベース５内に
保存されているデータとの比較算出を行うことにより、
データベース５内のデータとの類似性の順位付けを行
う。

【００３１】以上のように、関心領域設定機能部６と、
特徴量算出機能部７と、類似性算出機能部８とが演算装
置１内に組み込まれていることにより、類似画像検索シ
ステムのための３次元画像データベース装置としての中
枢システムが構成される。

【００３２】図３は、本発明による３次元画像データベ
ース構築方法及び装置が、類似画像検索システムのため
に用いられるものであるので、類似画像検索手段も含め
て全体の動作を説明するために示したフローチャートで
ある。

【００３３】すなわち、この図３は、以上における画像
入力から、類似画像検索結果の表示までの流れを詳細に
説明するために示したフローチャートである。

【００３４】この図３に基づいて、各機能部６、７、８
に関し、以下に詳細に述べていくもものとする。

【００３５】この処理の流れとしては、前処理として、
検索対象画像から関心領域の設定と、特徴の算出を行う
ステップＳ９と、検索のための条件設定、及び検索実行
のステップＳ１０との大まかには２つのステップから構
成される。

【００３６】先ず、前処理として、検索対象画像から関
心領域の設定と、特徴の算出を行うステップＳ９に含ま
れるステップＳ１１では、演算装置１に接続されている
図１の画像入力装置２から、検索の対象とする３次元画
像の入力を行う。

【００３７】次に、ステップＳ１２では、入力された画
像を演算装置１に接続されている図１の表示装置３で表
示する。

【００３８】このとき、入力データがボリュームデータ
である場合には、表示装置３上には一連のスライス画像
が表示され、演算装置１に接続されている図１の指示・
操作入力装置４からの操作により任意のスライス画像を
表示することができる。

【００３９】また、入力データが、ＣＡＤデータある場
合には、表示装置３上に３次元にレンダリングされた画
像が表示される。

【００４０】また、入力データが、距離画像データであ
る場合には、距離画像及び該距離画像の撮影領域と同じ
領域をカラー画像として撮影した画像や、または、反射
強度画像と、これらの画像情報より３次元にレンダリン
グされた画像が表示装置３上に表示されることになる。

【００４１】次に、ステップＳ１３では、入力された検
索の対象となる画像に対して関心領域の設定を行う。

【００４２】この際、３次元関心領域設定法としては様
々は手法があるが、主に、下記の手法（１），（２），
（３），（４）が考えられる。

【００４３】これらの手法（１），（２），（３），
（４）は、それぞれ、利用者が表示装置３等のディスプ
レイ上のスライス画像、または３次元画像を見ながら指
示・操作入力装置４等の指示装置によりインタラクティ
ブに操作を行うことにより、処理を進めていくものであ
る。

【００４４】（１）の手法では、ボリュームデータをス
ライス画像毎に表示装置３に表示した上で、スライス画
像上でマウスのような指示装置を用いて領域の設定を行
うことにより、該スライス画像上における領域の設定を
行うことを全てのスライス画像に対して繰り返して行う
ことにより、全てのスライス画像についての関心領域の
設定を行うことにより、ボリュームデータ全体としての
３次元的関心領域の設定を行う。

【００４５】（２）の手法では、スライス画像に対し
て、画素値の上限と、下限の閾値を与えることにより、
画像を２値化することができ、さらに、上限と、下限値
を複数組与えることにより多値化を行うことができる。

【００４６】このようにして、画像を複数の領域に分割
した後に、利用者が必要とする領域を指示装置により指
定して関心領域を設定する。

【００４７】（３）の手法では、各スライスをエッジ情
報に基づき、画像のセグメンテーションを行った後で、
関心領域を含む領域を指示装置により指定することによ
り、抽出して関心領域とする。

【００４８】この手法では、各スライス毎に領域を指定
する以外に、数スライス離れたスライスについて領域指
定を行った後で、中間のスライス画像に関しては関心領
域抽出済みのスライス画像を基準にして、領域拡張の手
法により自動的に領域の抽出を行う方法を用いることも
できる。

【００４９】（４）の手法では、ボリュームデータをボ
リュームレンダリング、またはサーフェスレンダリング
の手法により３次元レンダリングし、このレンダリング
ウィンドウ内で指示装置により関心領域に含まれる点を
指定し、指定された点の画素値に基づき、ある閾値を設
け、画素値の差がこの閾値以内にある領域を関心領域と
して３次元オブジェクト領域として設定する。

【００５０】そして、これらの手法（１），（２），
（３），（４）等で原ボリュームデータを処理して３次
元関心領域ボリュームデータとして設定することにより
３次元関心領域の設定を行う。

【００５１】以上の手法で関心領域を抽出する際、ノイ
ズのような領域が抽出されることがあるが、このような
場合には、そのノイズ領域を除去する手段も併せ持つも
のとする。

【００５２】例えば、領域の大きさで判断を行い、ある
一定の大きさより小さな領域が抽出された場合には、ノ
イズと見なすというような方法がある。

【００５３】次に、ステップＳ１４では画像の正規化を
行う。

【００５４】例えば、入力画像としてＣＴ、ＭＲＩ等の
医用検査画像を対象とする場合では、撮影時、すべての
被撮影者を撮影する際に、等しい位置、方向で撮影する
ことは困難であるので、撮影後のデータを変換して条件
が等しくなるように幾何学的変換を施す必要があり、こ
の作業を行う機能が正規化の機能になる。

【００５５】この正規化は、あらかじめ基準とする３次
元画像を選定しておき、または、解剖学的に位置と、構
造の既知である部位を定めておいた上で、その画像上の
参照とする数点Ｐ 1〜Ｐ nを設定した参照画像を作成し
ておき、この参照画像上で設定された点Ｐ 1′〜Ｐ n′
を対象とする画像上で指定する。

【００５６】これらの点を設定した後で、点Ｐ 1′〜Ｐ
n′が一致するように、対象画像を回転、平行移動、拡
大、縮小の処理を行うことにより、画像位置、大きさの
正規化を行うことができる。

【００５７】そして、このような関心領域設定、及び、
正規化処理の後、抽出されたオブジェクトに対してポリ
ゴンパッチによる３次元画像の再構成を行い、簡易に３
次元レンダリングが行えるように変換を行った後、原画
像と関連付けを行った上でデータベース５に保存してお
く。

【００５８】また、入力画像、またはオブジェクトが距
離画像として与えられる場合には、ボリュームデータに
おいてスライス画像に対して行ったのと同様な関心領域
抽出処理を行うことにより、関心領域の抽出を行う方法
や、さらに、入力された画像の各画素に対して、幾何学
的特徴として用いられる微分幾何学的な曲率、すなわち
ガウス曲率や平均曲率を算出した上で、各画素がガウス
曲率、または平均曲率を表すような画像として表示した
上で、これらの曲率画像に対して、閾値等の処理を行
い、関心領域を設定することも可能である。

【００５９】次に、ステップＳ１５では、上述のような
手法で設定された３次元画像の関心領域の特徴量の算出
を行う。

【００６０】この際、３次元特徴量としては、幾何学的
な特徴として、関心領域の重心の３次元位置座標Ｐ
（ｘ，ｙ，ｚ）、関心領域の体積Ｖ、関心領域の表面積
Ｓ、形状の複雑さを表すパラメータとして体積と表面積
の比の値ｓ^1/2 ／ｖ^1/3 、関心領域の３次元的な方向を
表すパラメータとして楕円近似したときの３つの主軸の
長さの比及び方向ベクトル等を用いる。

【００６１】また、濃度、テクスチャ的な特徴として、
式（１）で表される共起行列、さらには共起行列より算
出され、式（２）で示される方向性２次モーメントや、
３次元フーリェ特徴として、式（３）で表されるＭＰＳ
（Ｍｅｔｒｉｃ Ｐａｔｔｅｒｎ Ｓｉｇｎａｔｕｒ
ｅ）や式（４）で表されるＡＰＳ（Ａｎｇｕｌａｒ Ｐ
ａｔｔｅｒｎ Ｓｉｇｎａｔｕｒｅ）等を用いる。

【００６２】 Ｐ_δ（ｋ，ｌ）；δ＝（δｘ，δｙ，δｚ） …（１） ここで、ｋ、ｌは画素値であり、画素値ｋを持つ画素か
ら見てδ＝（δｘ，δｙ，δｚ）だけ離れた画素の持つ
画素値がｌである事象の同時生起確率を表している。

【００６３】 ΣΣ｛Ｐ_δ（ｋ，ｌ｝² …（２） ^ｋｌ ｐ（ｒ）＝ΣΣＰ（ｒ，θ，φ） …（３） ^θψ ｑ（ｒ）＝ΣΣＰ（ｒ，θ，φ） …（４） ^θψ 式（３）、（４）における、Ｐ（ｒ，θ，φ）は、３次
元フーリエ変換後の空間周波数領域における値のパワー
スペクトルを極座標表示した関数である。

【００６４】以上のようにして、ステップＳ１５の処理
で算出される特徴量は何れも３次元画像の持つ特有な特
徴であり、他にも、３次元的な特徴を表すような値であ
ればどのような値を用いてもよい。

【００６５】ここでも、入力画像が距離画像のような３
次元画像である場合については、ステップＳ１３の関心
領域設定において設定された関心領域内の距離画像、ま
たは、曲率画像に対して表面積、体積、各曲率の平均等
を算出し、これらの量を特徴量として定義することが可
能である。

【００６６】次に、ステップＳ１６では、関心領域の設
定、及び正規化処理が行われた画像に対して３次元表示
が行えるように３次元再構成を行う。

【００６７】この際、関心領域の表面をポリゴンパッチ
に変換することや、関心領域のみをボリュームデータす
るような処理が、ここでの処理に対応する。

【００６８】入力画像が距離画像である場合には、３次
元再構成の手段は、関心領域に対して、ポリゴンパッチ
で表現する手法を用いる。

【００６９】ここで、生成するポリゴンパッチとして
は、等間隔に三角形等のポリゴンを生成する方法や、曲
率に応じて、曲率が大きいほどポリゴンパッチの大きさ
が小さくなるような適応的なポリゴンパッチの生成方法
を利用することもできる。

【００７０】次に、ステップＳ１７では、以上のように
してステップＳ１３、Ｓ１４、Ｓ１５、Ｓ１６の一連の
処理により算出、または設定されたデータを、検索対象
となる原３次元画像と関連付けを行った上でデータベー
ス５に保存する。

【００７１】そして、このデータが蓄積されたデータベ
ース５を参照することにより、所望の画像の検索が行わ
れる。

【００７２】図４は、本発明による第１のデータベース
の構築方法として、作成されたデータのデータベースへ
の流れを示すフローチャートである。

【００７３】すなわち、ステップＳ２３で入力データが
入力され、ステップＳ２４で関心領域設定データが作成
され、該関心領域設定データより、ステップＳ２５で３
次元データが再構成され、２６で関心領域の特徴量デー
タが生成され、ステップＳ２３，Ｓ２４，Ｓ２５，Ｓ２
６ですべてのデータがそれぞれ関連付けが設定された状
態でステップＳ２７によりデータベース５に蓄積され
る。

【００７４】以上、図３のステップＳ９内の処理が終了
して、データベース５への蓄積が終了た後で、図３のス
テップＳ１０内の処理が実行される。

【００７５】まず、検索のための条件設定、及び検索実
行のステップＳ１０に含まれるステップＳ１８では、特
徴の分類を行う。

【００７６】上記ステップＳ１５で算出した様々な特徴
量は、類似した特徴、または、あるカテゴリーに分類さ
れるような特徴をまとめて一つのグループに分類するこ
とができる。

【００７７】このようにしてグループ化された特徴に関
し、その中のある特定のグループに対して類似性を持つ
画像の検索を行うことが可能となる。

【００７８】なお、この際、グループはただ１つの特徴
から構成されることもあり得る。

【００７９】例えば、表面積と体積とは、大まかに関心
領域の大きさとして扱うことができるので、これらの特
徴を同じグループに属するように設定することができ
る。

【００８０】特徴のグループ分けは、算出される全ての
特徴に対し、表示装置３上に表示した上で、これらの特
徴を指示・操作入力装置４、キーボード等のインタフェ
ース装置を用いてグループ分けする。

【００８１】グループ分けの結果、Ｇ₁ −Ｇ_k のｋ個の
グループに分類され、各グループは、それぞれ、ｎ_G1，
ｎ_G2，・・・，ｎ_GK個の要素から構成され、Ｇ1 ：｛ｆ
11，ｆ12，・・・，ｆ_1nG1｝，・・・のようにグループ
分けされる。

【００８２】次に、ステップＳ１９では、特徴の重み係
数の設定を行う。

【００８３】すなわち、各特徴の重要度を考慮すること
により、利用者の意図を反映したような検索結果を得る
ことが可能となる。

【００８４】例えば、関心領域の体積という特徴量を重
要と考え、重み係数を大きくして検索をかけると、体積
が類似した画像が効率よく検索できることになる。

【００８５】この処理においても、表示装置３上に算出
される特徴すべてを表示した上で、各特徴の重み係数を
設定するための対話的な表示が行われることにより、利
用者の任意の設定による重み係数の設定が行われる。

【００８６】ここで、重み係数の設定は、各特徴に関し
て各々設定することができ、さらには、ステップＳ１６
において行われた特徴ごとののグループに対しても行う
ことができる。

【００８７】図５は、各特徴に関する重み係数を設定す
るためのダイアログボックスＤ１を示している。

【００８８】すなわち、この場合には、マウス等の指示
・操作入力装置４を用いて、表示装置３上に表示された
ダイアログボックスＤ１により、重み係数の値を設定す
ることができる。

【００８９】図６は、各グループに対する重み係数の設
定のためのダイアログボックスＤ２を示している。

【００９０】すなわち、この場合には、マウス等の指示
・操作入力装置４を用いて、表示装置３上に表示された
ダイアログボックスＤ２により、各グループに対する重
み係数の設定を行うことができる。

【００９１】このようなステップＳ１８、Ｓ１９では、
特徴の分類、特徴の重み係数の設定機能について述べて
いるが、これらの条件設定は初期条件としてあらかじめ
設定された組み合わせが与えられており、初期条件のま
まで検索をかけることも、利用者が、ステップＳ１８、
Ｓ１９の処理を用いて任意の設定を行うことも可能であ
る。

【００９２】次に、ステップＳ２０では、上記ステップ
Ｓ１８、Ｓ１９で設定された条件に従って、検索を実行
する。

【００９３】上記ステップＳ１５で算出された特徴量
が、ｆ1 〜ｆM のＭ個であり、検索を行うデータベース
５内のデータがＩ1 〜ＩN のＮ個であるとして特徴量行
列式が式（５）で表されるとすると、ｑ番目の３次元画
像Ｉ_q の特徴量ベクトルは式（６）として表現される。

【００９４】式（６）において、ｋ_j を乗ずることによ
り、各特徴項は正規化されたものとなっている。

【００９５】

【数１】

【００９６】式（６）の特徴べクトルにより類似度を定
義することができる。

【００９７】すなわち、検索の対象とする画像がＩ_p で
あるとき、データベース５内の他の画像Ｉ_q との類似度
関数を式（７）

【００９８】

【数２】

【００９９】とすれば、Ｓｉｍ（ｐ，ｑ）が小さいほど
類似性が高いことになる。

【０１００】このようにして、データベース５内のすべ
ての画像に対してこの関数を計算することにより、類似
度の順序を決定することができる。

【０１０１】式（６）で定義した特徴量には、上記ステ
ップＳ１８の処理で行った特徴の分類に基づいた考慮が
されていないが、特徴のグループ分けを行った揚合に
は、各特徴項に乗ぜられている重み係数Ｗ_j をＷ_G(j)・
Ｗ_j と変更することによりグループ分けの設定が反映さ
れた特徴量の定義式となる。

【０１０２】但し、Ｗ_G(j)は、ｊ番目の特徴ｆ_j を含む
グループの重み係数である。

【０１０３】次に、ステップＳ２１においては、上記ス
テップＳ２０で検索をかけて決定された類似性に基づい
て類似性の高いものからあらかじめ設定された数だけの
データを取り出し、これらのデータについて、類似性の
順番で表示装置３上に表示する。

【０１０４】そして、検索の実行、及び、検索結果が表
示された後で、別な観点に基づいた検索を行いたい場合
には、検索条件の設定を行う。

【０１０５】この検索条件の設定は、各特徴量に対する
重み係数の編集が主な作業となり、設定は図３のステッ
プＳ１９で述べた設定と同様な方法で行われる。

【０１０６】図７は、検索結果の表示例を示している。

【０１０７】各子ウィンドウには検索対象画像、および
検索結果（図の例では検索結果１〜検索結果６までが表
示されている）の画像の関心領域が表示される。

【０１０８】これらの各ウィンドウには、扱う対象３次
元画像がボリュームデータである場合には、スライス画
像が表示される。

【０１０９】図８に示すように、各スライス画像表示ウ
ィンドウ内には画像操作コントロール部が設けられ、ス
ライダや指示装置によりそれぞれ独立して指定スライス
番号のスライス画像の閲覧を行うことができる。

【０１１０】また、指示・操作入力装置４により、関心
領域表示になっていたものを、原画像に変更して表示す
ることも可能である。

【０１１１】さらに、指示・操作入力装置４による指定
において３次元的にレンダリングされたウィンドウを開
き、このウィンドウ内には関心領域設定及び３次元オブ
ジェクトの作成の際に作成されたポリゴンパッチデータ
による３次元レンダリング画像、または関心領域に基づ
くボリュームレンダリング画像を表示することができ
る。

【０１１２】さらに、このウィンドウ内では、指示・操
作入力装置４、または、視点変更を行うための指示操作
ウィンドウの操作によりオブジェクトの任意視点表示、
及び、拡大縮小、平行移動等の変換操作を行うことがで
きる。

【０１１３】スライス画像を表示するためのウィンドウ
と同様に３次元画像表示用のウィンドウを図７と同様な
ものを作成し、スライス表示ウィンドウと、３次元画像
表示用検索結果表示ウィンドウが同時に表示装置３上に
表示されるような画面構成をとることもできる。

【０１１４】さらに、各子ウィンドウ内には、図８に示
すように、検索結果の画像の表示のみでなく、類似度の
定量的情報を表示するためのウィンドウを表示すること
ができる。

【０１１５】この表示ウィンドウには、ｆ1 〜ｆN まで
の各特徴に対し、検索対象画像の特徴と、検索結果画像
の特徴、及びその差の値がそれぞれ表示される。

【０１１６】また、式（７）で示した類似度算出のため
に利用した類似度評価関数の値も、対象画像及び検索結
果画像に対して、評価関数の値と、差の値がそれぞれ表
示される。

【０１１７】そして、検索結果の閲覧後、利用者の要求
により、重み係数の変更を行うためのメニュー、または
ボタンを配置しておき、検索後、迅速に、重み係数の検
討に移れるような画面構成にしてある。

【０１１８】（第２の実施の形態）図９は、第２の実施
の形態を表す表示画面である。

【０１１９】この画面構成では、対象とする検索画像に
対して、検索条件を、位置、大きさ、真球度等の３次元
形状に関する特徴グループに分類し、各グループ毎の類
似性に注目して検索した結果を表示するものである。

【０１２０】（第３の実施の形態）図１０は、本発明に
よる第３の実施の形態として、第２のデータベース構築
方法を説明するために示したフローチャートである。

【０１２１】この実施の形態では、図４のステップＳ２
３乃至ステップＳ２７で説明した第１のデータベース構
築方法の処理手順に加えて、ステップＳ２８で利用者
が、類似画像検索のための各種重要度係数等の検索条件
を設定した上で、実際にステップＳ２９で類似画像検索
を行つた結果を改めて、ステップＳ３０でデータベース
５内に蓄積するものである。

【０１２２】この際、関連付けの方法としては、検索条
件に対し検索結果として得られた画像をグループとして
関連付ける方法と、検索結果として得られた各画像に対
して検索条件を関連付ける方法とがある。

【０１２３】この関連付けされた検索条件を利用し、利
用者により新たに入力された参照画像に対し、検索条件
の設定を行うとき、この検索条件とデータベース５内の
検索条件とを比較し、類似する検索条件が存在する場合
には、この検索条件により検索された検索結果のみに対
し類似度算出の演算を行うことにより、検索時間の短縮
化を実現することができる。。

【０１２４】さらに、データベース５より、以前、行わ
れた検索条件を取り出す機能を有し、取り出された条件
より、関連付けられた検索結果を演算なしに出力するこ
とができる。

【０１２５】そして、上述したような実施の形態で示し
た本明細書には、特許請求の範囲に示した請求項１乃至
３以外にも、以下に付記１乃至付記７として示すような
発明が含まれている。

【０１２６】（付記１） 入力された３次元画像に類似
した画像を検索する画像データベースの構築方法であっ
て、３次元を画像入力するステップと、上記入力された
３次元画像に対して指定の条件に基づき関心領域を設定
するステップと、上記３次元画像の関心領域に対して、
この関心領域を正規化及び可視化し再構成するステップ
と、上記３次元画像の関心領域に対して画像の特徴量を
計算するステップと、上記再構成された３次元画像及び
上記画像の特徴量を上記入力された３次元画像と対応さ
せて蓄積するステップと、を具備することを特徴とする
３次元画像データベース構築方法。

【０１２７】（付記２） 入力された３次元画像に類似
した画像を検索する画像データベース装置において、３
次元画像を入力する画像入力手段と、上記入力された３
次元画像に対して指定の条件に基づき関心領域を設定す
る関心領域設定手段と、上記３次元画像の関心領域に対
して、この関心領域を正規化及び可視化し再構成する３
次元再構成手段と、上記再構成された３次元画像を上記
入力された３次元画像と対応させて蓄積する３次元画像
データ蓄積手段と、上記３次元画像データ蓄積手段に蓄
積された３次元画像に対して検索を行う条件を入力する
検索条件入力手段と、上記検索条件に基づき上記３次元
画像データ蓄積手段に蓄積された画像から類似画像を抽
出する類似画像抽出手段と、上記抽出された類似画像を
上記入力された３次元画像及び上記検索条件と対応させ
て蓄積する類似画像薔績手段と、を具備することを特徴
とする３次元画像データベース装置。

【０１２８】（付記３） 上記抽出された類似画像と上
記入力された３次元画像及び上記検索条件とを対応させ
て表示することを特徴とする付記２に記載の３次元画像
データベース装置。

【０１２９】（付記４） 入力された３次元画像に類似
した画像を検索する画像データベース構築方法であっ
て、３次元画像を入力するステップと、上記入力された
３次元画像に対して指定の条件に基づき関心領域を設定
するステップと、上記３次元画像の関心領域に対して、
この関心領域を正規化及び可視化し再構成するステップ
と、上記再構成された３次元画像を上記入力された３次
元画像と対応させて蓄積するステップと、上記３次元画
像データ蓄積手段に蓄積された３次元画像に対して検索
を行う条件を入力するステップと、上記検索条件に基づ
き上記３次元画像データ蓄積手段に蓄積された画像から
類似画像を抽出するステップと、上記抽出された類似画
像を上記入力された３次元画像及び上記検索条件と対応
させ蓄積するステップと、を具備することを特徴とする
３次元画像データベース構築方法。

【０１３０】（付記５） 抽出された類似画像と入力さ
れた３次元画像及び検索条件とを対応させて表示するス
テップを含むことを特徴とする付記４に記載の３次元画
像データベース構築方法。

【０１３１】（付記６） 利用者が指定した参照となる
３次元の入力画像、またはオブジェクトに類似した画
像、またはオプジェクトを検索するための画像データベ
ースを構築する方法および装置において、入力された３
次元画像、または３次元オブジェクトから関心領域を抽
出する手段と、該関心領域を３次元再構成する手段、並
びに３次元可視化を行う手段と、該３次元再構成したデ
ータを入力した参照となる３次元画像または３次元オブ
ジェクトと関連付けを行った上で該画像データベースに
蓄積する手段と、さらに、該関心領域に対する画像特徴
量を計算する手段と、計算された特徴量データを入力し
た参照となる３次元画像または３次元オブジェクトと関
連付けした上で該画像データベース内に蓄積する手段
と、を有することを特徴とした３次元画像データベース
構築法及び装置。

【０１３２】（作用効果）３次元画像またはオブジェク
トに対して、類似性検索を行うための関心領域を、利用
者が画面上でインタラクティブに操作し、領域指定及
び、ノイズの除去や、修正を行うことにより、利用者の
要求に合致した関心領域の設定を行うことができる。

【０１３３】利用者に指定された関心領域に対し改めて
３次元再構成を行うことにより、３次元可視化を行うた
めのデータを生成するため、検索結果を表示する際に、
再構成された領域のみを表示すればよいので、表示のた
めのデータ量を削減することができる。

【０１３４】さらに、表示においても、表示装置上に３
次元的に表示するため、利用者の操作に従い、任意の視
点方向からの表示ができ、分かり易い検索結果表示を行
うことができる。

【０１３５】また、算出される特徴量が、３次元画像に
特有なものであり、３次元画像の検索を行う際に、この
特有な特徴に従った検索を行うため、効率的に検索結果
を得ることができる。

【０１３６】３次元再構成したデータと算出された特徴
量データをそれぞれ入力された参照とする３次元画像、
またはオブジェクトと関連付けを行った上でデータベー
スに蓄積するため、検索の際には特徴量データのみにア
クセスすればよいので、検索時間を短縮することができ
る。

【０１３７】また、検索結果として最初に表示される画
像は３次元再構成されたデータの表示を行うが、利用者
の指示に従って、入力された原画像を表示することもで
き、多様な検索結果の表示を行うことができる。

【０１３８】（付記７） 付記６の３次元画像データベ
ース構築方法及び装置において、入力された３次元画
像、またはオブジェクトを参照画像として、該参照画像
に対し、利用者が類似性の検索の条件を設定し、その設
定に基づいた類似画像検索を該データベース内で行う手
段と、該検索結果に関し、設定した検索条件と、その結
果を関連付けする手段、または、検索結果の各３次元画
像、またはオブジェクトに対して、検索条件と、検索結
果とを関連付けする手段と、これらの関連付けされたデ
ータを該データベースに蓄積する手段と、該蓄積された
データを取り出し、表示する手段、とを有することを特
徴とした３次元画像データベース構築法及び装置。

【０１３９】（作用効果）入力された参照画像、または
オブジェクトに対し、利用者が設定した条件に基づいて
検索を行い、その検索条件及び検索結果を関連付けした
上で、または、各検索結果の３次元画像、またはオブジ
ェクトに対して、それぞれそのときの検索条件と検索結
果を関連付けした上でデータベースに蓄積しておくこと
により、新たな入力画像に対して、以前に検索したとき
と類似する設定条件で検索を行うような場合、データベ
ース内に蓄積されている検索条件を利用し、その際に行
った検索で出力された検索結果の類似度の順序を利用
し、新たに入力した参照画像との類似度比較の順序を考
慮して行うことにより、効率の良い検索を行うことがで
きるので、検索時間の短縮化を実現することができる。

【０１４０】さらに、データベースに蓄積された検索条
件を利用者が任意に選択して取り出す手段を有すること
により、選択された検索条件に対する以前に行った検索
結果を類似度比較の演算を行うことなく、素早く、検索
結果のみを出力することができるため、検索結果の検討
を容易に行うことができる。

【０１４１】

【発明の効果】従って、以上説明したように、本発明に
よれば、３次元画像の検索を行うために、３次元画像の
持つ特有の特徴を用いて効率的な検索を行うことのでき
る３次元画像データベース装置及び３次元画像データベ
ース構築方法を提供することができる。

【図面の簡単な説明】

【図１】図１は、本発明の第１の実施の形態による３次
元画像データベース装置の全体の構成を示すブロック図
である。

【図２】図２は、図１の演算装置１内で行われる各処理
の機能ブロックを示した構成図である。

【図３】図３は、画像入力から、類似画像検索結果の表
示までの流れを詳細に示したフローチャートである。

【図４】図４は、本発明の第１の実施の形態による第１
のデータベース構築方法を説明するために示したフロー
チャートである。

【図５】図５は、各特徴に関する重み係数を設定するた
めのダイアログボックスＤ１を示している。

【図６】図６は、各グループに対する重み係数の設定の
ためのダイアログボックスＤ２を示している。

【図７】図７は、検索結果の表示例を示す図である。

【図８】図８は、各スライス画像表示ウィンドウ内には
画像操作コントロール部を設け、スライダや指示装置に
よりそれぞれ独立して指定スライス番号のスライス画像
を閲覧可能とした表示例を示す図である。

【図９】図９は、本発明の第２の実施の形態を表す表示
画面である。

【図１０】図１０は、本発明の第３の実施の形態として
による第２のデータベース構築方法を説明するために示
したフローチャートである。

【符号の説明】 １…演算装置、 ２…画像（データ）入力装置、 ３…表示装置、 ４…指示・操作入力装置、 ５…データベース、 ６…関心領域設定機能部、 ７…特徴量算出機能部、 ８…類似性算出機能部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小坂 明生 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 Ｆターム(参考） 5B050 AA02 BA09 EA06 EA26 GA08 5B075 ND08 NK31 PQ46 PR08 PR10

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力された３次元画像に類似した画像を
   検索する画像データベース装置において、 ３次元画像データを入力する画像入力手段と、 上記画像入力手段によって入力された３次元画像データ
   に対して指定の条件に基づき関心領域を設定する関心領
   域設定手段と、 上記関心領域設定手段によって設定された３次元画像デ
   ータの関心領域に対して、この関心領域を正規化及び可
   視化して３次元画像データを再構成する３次元再構成手
   段と、 上記３次元再構成手段によって再構成された３次元画像
   データを、上記画像入力手段によって入力された３次元
   画像データと対応させて蓄積する３次元画像データ蓄積
   手段と、 を具備することを特徴とする３次元画像データベース装
   置。
2. 【請求項２】 上記関心領域設定手段によって設定され
   た３次元画像データの関心領域に対して画像データの特
   徴量を計算する特徴量演算手段を有し、 上記３次元画像データ蓄積手段は、上記特徴量演算手段
   によって計算された画像データの特徴量を上記画像入力
   手段によって入力された３次元画像データと対応させて
   蓄積することを特徴とする請求項１に記載の３次元画像
   データベース装置。
3. 【請求項３】 入力された３次元画像データに類似した
   画像データを検索する画像データベースの構築方法であ
   って、 ３次元画像データを入力するステップと、 上記入力された３次元画像データに対して指定の条件に
   基づき関心領域を設定するステップと、 上記設定された３次元画像データの関心領域に対して、
   この関心領域を正規化及び可視化して３次元画像データ
   を再構成するステップと、 上記再構成された３次元画像データを上記入力された３
   次元画像データと対応させて蓄積するステップと、 を具備することを特徴とする３次元画像データベース構
   築方法。