JP2011258036A - 3次元形状検索装置、3次元形状検索方法、及びプログラム - Google Patents
3次元形状検索装置、3次元形状検索方法、及びプログラム Download PDFInfo
- Publication number
- JP2011258036A JP2011258036A JP2010132612A JP2010132612A JP2011258036A JP 2011258036 A JP2011258036 A JP 2011258036A JP 2010132612 A JP2010132612 A JP 2010132612A JP 2010132612 A JP2010132612 A JP 2010132612A JP 2011258036 A JP2011258036 A JP 2011258036A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- dimensional
- shape
- feature
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 3次元形状検索装置1は、複数の3次元形状モデル50に関するデータベース5を有する。データベース5には、複数の3次元形状モデル50についてそれぞれ形状に関する少なくとも2種類の特徴量(例えば、輪郭線の画素連結性ヒストグラム及びシルエット画像の半径ヒストグラム)が予め記憶されている。ユーザにより任意の物体の手書き画像が入力されると、3次元形状検索装置1は、入力された手書き画像について上述の形状に関する少なくとも2種類の特徴量を抽出し、それらの特徴量に基づいて、データベース5から手書き画像に類似する3次元形状モデル50を検索し、検索結果を表示する。
【選択図】 図3
Description
例えば、非特許文献1には、ユーザにより手書き入力されたスケッチ(輪郭線情報)を基に3次元形状モデリングを行う技術が提案されている。非特許文献1に示すTeddyと呼ばれるシステムでは、タブレットやマウス等を利用して平面に手書き自由曲線(2次元の多角形)を描くと、描かれた多角形の芯線を見つけて上下に持ち上げ、元の多角形の周と持ち上げられた芯線とを包み込むようなポリゴンメッシュを生成することにより3次元形状を生成することが可能となっている。
例えば特許文献1には、データベースに多種類の3次元モデルのメッシュモデルデータの影画像を生成して、影画像用の特徴量であるGFD(Generic Fourier Description;特許文献1の段落[0025])、及び特徴稜線画像用の特徴量であるLBP(Local Binary Pattern;特許文献1の段落[0037])と対応付けて保持しておくとともに、デザイナが描く3面図やアイソメ図をもとに14方向の視点からデザインスケッチデータを描画して(特許文献1の段落[0023])、上述と同様にそれらの影画像を生成し、影画像のGFDを算出し、算出されたGFDを基にデータベース内から類似する3次元モデルを検索し、更に、LBPの類似性に基づいて絞込み検索する技術が開示されている。しかし、特許文献1では、GFDのように方向に依存する特徴量を用いて類似検索を行うので、データベースに登録された影画像と同一方向についてのスケッチを描かない限り、精度のよい検索が行われない。
これにより、手書き画像及び3次元形状モデルからそれぞれ抽出される形状に関する少なくとも2種類の特徴量に基づいて、類似する3次元形状モデルを検索できるので、手書きの2次元画像からの3次元形状モデルの検索を容易かつ高精度に行える。特に、形状について精度よく類似検索を行える。
これにより、例えば、デジタルカメラやスキャナ等から取り込んだ写真や絵画等の2次元画像データから、輪郭線をなぞり書きするという簡単かつユーザの画力に依存しない方法で、検索キーとなる2次元画像を入力できる。また、輪郭線は元の2次元画像から抽出されるエッジ形状に沿うように補正されるので、正確な輪郭線を入力でき、検索の精度を向上させることができる。
これにより、手書き画像及び3次元形状モデルから抽出される形状に関する少なくとも2種類の特徴量に基づいて類似する3次元モデルを検索できるので、手書きの2次元画像からの3次元形状モデルの検索を容易かつ高精度に行える。
まず、図1〜図2を参照して本発明の構成について説明する。
図1は、本発明に係る3次元形状検索装置1のハードウエア構成を示す図であり、図2は、データベース5のデータ構成を示す図である。
CPUは、記憶部12、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部11が後述する各種処理を行うために使用するワークエリアを備える。
周辺機器I/F(インタフェース)部17は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器I/F部17を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器I/F部17は、USBやIEEE1394やRS−232C等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は有線、無線を問わない。
通信部17は、通信制御装置、通信ポート等を有し、ネットワーク3との通信を媒介する通信インタフェースであり、通信制御を行う。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
具体的には、2次元形状特徴量53,54には、3次元形状モデル50の2次元投影画像51から算出される画素連結性ヒストグラム53及び半径ヒストグラム54が含まれる。
画素連結性ヒストグラム53及び半径ヒストグラム54については後述する。
なお、以下のフローチャートに含まれる処理は、コンピュータにより読み取り可能なプログラムの形式で記述される。すなわち、3次元形状検索装置1の制御部11は、制御部12から当該プログラムを読み込み、以下の各処理を実行する。
まず、ステップS1の2次元画像の入力処理について、図4及び図5を参照して説明する。図4に示すように、2次元画像の入力方法は、デジタルカメラやスキャナ等の周辺機器または記憶部12から写真等の2次元画像データを取り込んで、2次元画像データ内の所望の物体の輪郭線をなぞり書き入力する手法(ステップS11〜S14)、またはユーザが自由に線を入力する手法(ステップS15)のいずれを用いてもよい。
図5に、取り込まれた画像60と、なぞり書き入力された輪郭線65とを示す。
制御部11は、手書きにてなぞり書き入力された線65の各点を、抽出したエッジのうち最も近いエッジ(画素)に一致するように移動して、輪郭線補正する。
手書き入力された輪郭線65から3次元形状モデルを生成する方法については、周知の手法を用いればよい。例えば、特開平6−149943号公報に示すように、輪郭線の各部に断面形状を設定して3次元形状を生成したり、上述の非特許文献1に示すように、輪郭線の芯線を求め、その芯線を持ち上げて輪郭線と芯線とを包む図形を生成する手法を用いたりすればよい。
図9に、3次元形状特徴量を抽出する処理の流れを示す。
3次元形状特徴量を抽出する処理は上述のステップS81〜ステップS83の処理と同様である。
従って、形状に関する少なくとも2種類の特徴量に基づいて、類似する3次元形状モデルを検索し、提示するので、手書きの2次元画像から容易かつ高精度に、類似する3次元モデルを検索できる。特に、形状について精度よく検索できる。
また、取り込まれた画像の輪郭をなぞり書きすることで、様々な物体画像が含まれる例えばスナップ写真のような一般に入手しやすい画像データから、所望の物体画像のみを簡単かつ効率よく入力することができる。
これにより、手書きの2次元画像に基づいて簡単な3次元形状モデルを生成した後に、2次元及び3次元の形状に関する特徴量を考慮して、データベース5内の類似する完成された3次元形状モデルを検索できるので、検索の精度が向上し、CG制作の作業効率が向上する。
これにより、手書きの画像に類似する3次元形状モデルを更に検索キーに加えることが可能となり、また、2次元及び3次元の形状に関する特徴量を考慮してデータベース5内から類似する3次元モデルを再検索するので、検索の精度が向上し、所望の検索結果を効率よく導出できる。
5・・・・データベース
50・・・3次元形状モデル
51・・・3次元形状モデルの2次元投影画像
52・・・投影角度情報
53・・・画素連結性ヒストグラム(データベース5に格納されたもの)
54・・・半径ヒストグラム(データベース5に格納されたもの)
55・・・3次元形状特徴量
60・・・入力画像
62・・・手書き入力したい物体
65・・・手書き輪郭線
81・・・シルエット画像
11・・・制御部
12・・・記憶部
13・・・メディア入出力部
14・・・入力部
15・・・表示部
16・・・通信部
17・・・周辺機器1/F部
18・・・バス
CH・・・画素連結性ヒストグラム(入力画像から算出されるもの)
RH・・・半径ヒストグラム(入力画像から算出されるもの)
Claims (6)
- 複数の3次元形状モデルと、該3次元形状モデルの形状に関する少なくとも2種類の特徴量とを予め記憶するデータベースと、
任意の物体の手書き画像を入力する入力手段と、
前記入力手段により入力された手書き画像について、形状に関する少なくとも2種類の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出される形状に関する少なくとも2種類の特徴量に基づいて、前記データベースから前記手書き画像に類似する3次元形状モデルを検索する検索手段と、
前記検索手段による検索結果を提示する提示手段と、
を備えることを特徴とする3次元形状検索装置。 - 前記入力手段は、
前記物体を含む2次元画像データを取り込む2次元画像データ取り込み手段と、
前記2次元画像データ取り込み手段により取り込まれた2次元画像データを基に前記物体の輪郭線をなぞり書き入力する輪郭線入力手段と、
前記輪郭線入力手段により入力された輪郭線を、前記2次元画像データから抽出されるエッジ形状に沿うように補正する補正手段と、
を更に備えることを特徴とする請求項1に記載の3次元形状検索装置。 - 前記入力手段により入力された手書き画像に基づいて3次元形状モデルを生成する3次元形状モデル生成手段と、
前記3次元形状モデル生成手段により生成された3次元形状モデルについて、3次元形状に関する特徴量を抽出する3次元形状特徴量抽出手段と、を更に備え、
前記検索手段は、前記形状に関する少なくとも2種類の特徴量に加え、更に、前記3次元形状特徴量抽出手段により抽出された特徴量に基づいて、前記データベースから前記手書き画像に類似する3次元形状モデルを検索することを特徴とする請求項1に記載の3次元形状検索装置。 - 前記提示手段により提示された3次元形状モデルのうち、ユーザにより選択された3次元形状モデルについて3次元形状に関する特徴量を抽出する3次元形状特徴量抽出手段を更に備え、
前記検索手段は、前記形状に関する少なくとも2種類の特徴量に加え、更に、前記3次元形状特徴量抽出手段により抽出された特徴量に基づいて、前記データベースから前記手書き画像に類似する3次元形状モデルを再検索することを特徴とする請求項1に記載の3次元形状検索装置。 - 任意の物体の手書き画像を入力する入力ステップと、
入力された手書き画像について、形状に関する少なくとも2種類の特徴量を抽出する特徴量抽出ステップと、
複数の3次元形状モデルと、該3次元形状モデルの形状に関する少なくとも2種類の特徴量とを予め記憶したデータベースから、前記形状に関する少なくとも2種類の特徴量に基づいて、前記手書き画像に類似する3次元形状モデルを検索する検索ステップと、
検索結果を提示する提示ステップと、
を含むことを特徴とする3次元形状検索方法。 - コンピュータにより読み取り可能な形式で記述されたプログラムであって、
任意の物体の手書き画像を入力する入力ステップと、
入力された手書き画像について、形状に関する少なくとも2種類の特徴量を抽出する特徴量抽出ステップと、
複数の3次元形状モデルと、該3次元形状モデルの形状に関する少なくとも2種類の特徴量とを予め記憶したデータベースから、前記形状に関する少なくとも2種類の特徴量に基づいて、前記手書き画像に類似する3次元形状モデルを検索する検索ステップと、
検索結果を提示する提示ステップと、
を含む処理をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010132612A JP5560925B2 (ja) | 2010-06-10 | 2010-06-10 | 3次元形状検索装置、3次元形状検索方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010132612A JP5560925B2 (ja) | 2010-06-10 | 2010-06-10 | 3次元形状検索装置、3次元形状検索方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011258036A true JP2011258036A (ja) | 2011-12-22 |
JP5560925B2 JP5560925B2 (ja) | 2014-07-30 |
Family
ID=45474134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010132612A Expired - Fee Related JP5560925B2 (ja) | 2010-06-10 | 2010-06-10 | 3次元形状検索装置、3次元形状検索方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5560925B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016215597A (ja) * | 2015-05-26 | 2016-12-22 | 大日本印刷株式会社 | 立体物造形用データ出力規制装置 |
JP2016224791A (ja) * | 2015-06-02 | 2016-12-28 | 大日本印刷株式会社 | 立体物造形用データ出力規制装置 |
CN108021683A (zh) * | 2017-12-11 | 2018-05-11 | 首都航天机械公司 | 一种基于三维标注的相似模型检索实现方法 |
JP2018147262A (ja) * | 2017-03-06 | 2018-09-20 | 国立大学法人豊橋技術科学大学 | 画像特徴量及びそれを用いる三次元形状検索システム |
CN109242978A (zh) * | 2018-08-21 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 三维模型的视角调整方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0737107A (ja) * | 1993-06-29 | 1995-02-07 | Ge Yokogawa Medical Syst Ltd | 輪郭線修正方法および装置 |
JP2002288687A (ja) * | 2001-03-22 | 2002-10-04 | Olympus Optical Co Ltd | 特徴量算出装置および方法 |
JP2004164503A (ja) * | 2002-11-15 | 2004-06-10 | Olympus Corp | 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム |
JP2006285627A (ja) * | 2005-03-31 | 2006-10-19 | Hokkaido Univ | 3次元モデルの類似検索装置及び方法 |
JP2009163682A (ja) * | 2008-01-10 | 2009-07-23 | Toyota Central R&D Labs Inc | 画像識別装置及びプログラム |
-
2010
- 2010-06-10 JP JP2010132612A patent/JP5560925B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0737107A (ja) * | 1993-06-29 | 1995-02-07 | Ge Yokogawa Medical Syst Ltd | 輪郭線修正方法および装置 |
JP2002288687A (ja) * | 2001-03-22 | 2002-10-04 | Olympus Optical Co Ltd | 特徴量算出装置および方法 |
JP2004164503A (ja) * | 2002-11-15 | 2004-06-10 | Olympus Corp | 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム |
JP2006285627A (ja) * | 2005-03-31 | 2006-10-19 | Hokkaido Univ | 3次元モデルの類似検索装置及び方法 |
JP2009163682A (ja) * | 2008-01-10 | 2009-07-23 | Toyota Central R&D Labs Inc | 画像識別装置及びプログラム |
Non-Patent Citations (1)
Title |
---|
杠聡: ""ペン、パスファインダを使って細部を描く"", デジタルグラフィ, vol. 第010号, JPN6014006988, 1 May 2000 (2000-05-01), JP, pages 66 - 73, ISSN: 0002749564 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016215597A (ja) * | 2015-05-26 | 2016-12-22 | 大日本印刷株式会社 | 立体物造形用データ出力規制装置 |
JP2016224791A (ja) * | 2015-06-02 | 2016-12-28 | 大日本印刷株式会社 | 立体物造形用データ出力規制装置 |
JP2018147262A (ja) * | 2017-03-06 | 2018-09-20 | 国立大学法人豊橋技術科学大学 | 画像特徴量及びそれを用いる三次元形状検索システム |
CN108021683A (zh) * | 2017-12-11 | 2018-05-11 | 首都航天机械公司 | 一种基于三维标注的相似模型检索实现方法 |
CN108021683B (zh) * | 2017-12-11 | 2021-06-22 | 首都航天机械公司 | 一种基于三维标注的相似模型检索实现方法 |
CN109242978A (zh) * | 2018-08-21 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 三维模型的视角调整方法和装置 |
CN109242978B (zh) * | 2018-08-21 | 2023-07-07 | 百度在线网络技术(北京)有限公司 | 三维模型的视角调整方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5560925B2 (ja) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021036059A1 (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
US9508186B2 (en) | Pre-segment point cloud data to run real-time shape extraction faster | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
US11704357B2 (en) | Shape-based graphics search | |
CN110019914B (zh) | 一种支持三维场景交互的三维模型数据库检索方法 | |
KR102576344B1 (ko) | 비디오를 처리하기 위한 방법, 장치, 전자기기, 매체 및 컴퓨터 프로그램 | |
US11367195B2 (en) | Image segmentation method, image segmentation apparatus, image segmentation device | |
US9213897B2 (en) | Image processing device and method | |
JP5560925B2 (ja) | 3次元形状検索装置、3次元形状検索方法、及びプログラム | |
US20190066311A1 (en) | Object tracking | |
CN110598715A (zh) | 图像识别方法、装置、计算机设备及可读存储介质 | |
JP2002288687A (ja) | 特徴量算出装置および方法 | |
CN110910433A (zh) | 一种基于深度学习的点云匹配方法 | |
WO2023056835A1 (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
CN112163577A (zh) | 游戏画面中的文字识别方法、装置、电子设备和存储介质 | |
CN107203962B (zh) | 一种利用2d图片制作伪3d图像的方法及电子设备 | |
KR20130078130A (ko) | 가우시안 혼합 모델 및 알지비 클러스터링을 이용한 오브젝트 분할방법 | |
CN113688261B (zh) | 图像数据清理方法、装置、电子设备及可读存储介质 | |
KR101305725B1 (ko) | 로고인식 증강현실 시스템 및 그 구현 방법 | |
JP5051671B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2015184743A (ja) | 画像処理装置および物体認識方法 | |
CN103164504A (zh) | 一种智能手机精细化图片搜索系统及方法 | |
EP3115927A1 (en) | Method and apparatus for processing a scene | |
US11508083B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
WO2023056833A1 (zh) | 背景图生成、图像融合方法、装置、电子设备及可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5560925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |