JP2003296707A - Device and method for generating three-dimensional object - Google Patents

Device and method for generating three-dimensional object

Info

Publication number
JP2003296707A
JP2003296707A JP2002093800A JP2002093800A JP2003296707A JP 2003296707 A JP2003296707 A JP 2003296707A JP 2002093800 A JP2002093800 A JP 2002093800A JP 2002093800 A JP2002093800 A JP 2002093800A JP 2003296707 A JP2003296707 A JP 2003296707A
Authority
JP
Japan
Prior art keywords
information
dimensional
color
image
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002093800A
Other languages
Japanese (ja)
Other versions
JP3866602B2 (en
Inventor
Shunichi Numazaki
俊一 沼崎
Miwako Doi
美和子 土井
Takahiro Harashima
高広 原島
Norio Mihara
功雄 三原
Kunihisa Kishikawa
晋久 岸川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002093800A priority Critical patent/JP3866602B2/en
Publication of JP2003296707A publication Critical patent/JP2003296707A/en
Application granted granted Critical
Publication of JP3866602B2 publication Critical patent/JP3866602B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a three-dimensional object generating device in which even a nonexpert can easily generate a three-dimensional object. <P>SOLUTION: A target object B made of materials different in color for every component is irradiated with near infrared light from a light emitting light source 11, an image sensor 13 acquires a reflected light image, and the image sensor 13 also acquires a color image. A reflected light image dividing part divides the reflected light image on the basis of color information obtained from the color image. Reflection characteristic information showing the reflection characteristic of the materials of the target object is stored in a reflection characteristic information storing part 5. A three- dimensional information acquiring part 4 acquires three-dimensional information of the target object B on the basis of the reflection characteristic information and the reflected light image. The acquired three-dimensional information is once stored in a three-dimensional information storage part 6. Color information of the target object B and its attributes are stored to be made correspond to each other in an attribute information storage part. An attribute information impartation part 8 imparts the attribute information to the three-dimensional information to generate the three- dimensional object imparted with the attribute information. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、対象物体を撮影し
て、この撮影画像に基づいて対象物体の3次元的な画
像、形状情報(以下、3次元オブジェクトという)を生
成する3次元オブジェクト生成装置及び3次元オブジェ
クト生成方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional object generation for photographing a target object and generating a three-dimensional image and shape information (hereinafter referred to as a three-dimensional object) of the target object based on the photographed image. The present invention relates to a device and a three-dimensional object generation method.

【0002】[0002]

【従来の技術】計算機技術の発達と共に、計算機内での
3次元CGの生成及びその表示技術が目覚ましく発展し
てきた。それと同じくして、現実世界にある物体の3次
元画像を計算機内に取り込むという技術も発展してき
た。
2. Description of the Related Art With the development of computer technology, three-dimensional CG generation and display technology in the computer have been remarkably developed. At the same time, the technology of incorporating a three-dimensional image of an object in the real world into a computer has been developed.

【0003】[0003]

【発明が解決しようとする課題】しかし、3次元画像の
表示技術が非常に低価格なパーソナルコンピュータ(P
C)や家庭用ゲーム機でも実現できるようになったのに
比べ、3次元画像の入力技術は未だ一般的になっている
とはいえないのが現状である。また、入力された画像を
動画として動かす技術は更に難しく、高価で複雑な装置
に依存しているのが現状である。また、3次元情報を入
力して動画として動かす場合には、各種の編集が必要で
あり、熟練者以外には扱いにくいものであった。
However, the three-dimensional image display technology is very low-priced personal computer (P
C) and home-use game machines have become possible, but at present the three-dimensional image input technology is not yet popular. Further, the technique of moving an input image as a moving image is more difficult, and currently depends on an expensive and complicated device. Further, when inputting three-dimensional information and moving it as a moving image, various edits are required, and it is difficult for an unskilled person to handle.

【0004】[0004]

【課題を解決するための手段】本発明は、かかる問題点
に鑑みなされたもので、3次元情報を簡単に入力するこ
とができるとともに、複雑な編集作業を不要とした3次
元オブジェクト生成装置及び方法を提供することを目的
とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and is a three-dimensional object generation apparatus capable of easily inputting three-dimensional information and eliminating complicated editing work. The purpose is to provide a method.

【0005】上記目的達成のため、本出願の第1の発明
に係る3次元オブジェクト生成装置は、対象物体に特定
の波長の光を照射して生じた反射光により形成される反
射光画像を入力する反射光画像入力手段と、前記対象物
体のカラー画像を入力するカラー画像入力手段と、前記
反射光画像の形状情報又は前記カラー画像内における色
情報を用いて前記反射光画像内の対象物体を部分物体に
分割する反射光画像分割手段と、対象物体の色に関する
色特性情報と対応付けてその反射特性に関する反射特性
情報を記憶する反射特性情報記憶手段と、前記反射特性
情報記憶手段を参照し、前記反射光画像から3次元情報
を取得する3次元情報取得手段と、前記色情報と対応す
る前記部分物体の属性に関する属性情報を記憶する属性
情報記憶手段と、前記色情報に基づき前記3次元情報に
前記属性情報を付与する属性情報付与手段とを備えたこ
とを特徴とする。
To achieve the above object, the three-dimensional object generating apparatus according to the first invention of the present application inputs a reflected light image formed by reflected light generated by irradiating a target object with light of a specific wavelength. A reflected light image input means, a color image input means for inputting a color image of the target object, and a target object in the reflected light image using shape information of the reflected light image or color information in the color image. Refer to the reflected light image dividing means for dividing into partial objects, the reflection characteristic information storage means for storing the reflection characteristic information regarding the reflection characteristic in association with the color characteristic information regarding the color of the target object, and the reflection characteristic information storage means. Three-dimensional information acquisition means for acquiring three-dimensional information from the reflected light image, and attribute information storage means for storing attribute information relating to the attribute of the partial object corresponding to the color information, Further comprising an attribute information providing means for providing the attribute information to the three-dimensional information on the basis of the serial color information and said.

【0006】この発明によると、各構成要素ごとに異な
る色の材料で作成した対象物体について、カラー画像、
反射光画像が形成され入力される。反射画像内の形状情
報又はカラー画像内の色情報に基づいて、前記反射画像
内の対象物体が部分物体に分割される。対象物体の色に
関する色特性情報と、その反射特性に関する反射特性情
報とが反射特性情報記憶手段から読み出され、これらの
情報が、前記反射光画像に基づき前記対象物体の3次元
情報を取得する際に参照される。これにより、正確な3
次元情報が取得される。
According to the present invention, a color image of a target object made of materials of different colors for each constituent element,
A reflected light image is formed and input. The target object in the reflection image is divided into partial objects based on the shape information in the reflection image or the color information in the color image. Color characteristic information regarding the color of the target object and reflection characteristic information regarding the reflection characteristic thereof are read from the reflection characteristic information storage means, and these pieces of information acquire three-dimensional information of the target object based on the reflected light image. Will be referred to when. This will give you an accurate 3
Dimension information is acquired.

【0007】また、前記色情報と対応する前記部分物体
の属性に関する属性情報を属性情報記憶手段より読み出
して、前記3次元情報に付与する。これにより、前記3
次元情報により実際の物に近い性質を与えることがで
き、その性質に添った形式で画面内に配置させたり、或
いは動かしたりすることができる。そのように入力した
3次元オブジェクトを思い通りに動かすことができる。
身の回りにあるもののテクスチャ(模様や色など)を取
り込んで、自分が作成した3次元オブジェクトに容易に
張り込むことができる。
Further, attribute information relating to the attribute of the partial object corresponding to the color information is read from the attribute information storage means and added to the three-dimensional information. As a result, the above 3
It is possible to give a property close to an actual object by the dimension information, and it is possible to arrange or move it on the screen in a format according to the property. It is possible to move the three-dimensional object thus input as desired.
You can easily capture the textures (patterns, colors, etc.) of things around you and paste them into your own 3D objects.

【0008】上記目的達成のため、本出願の第2の発明
に係る3次元オブジェクト生成装置は、対象物体の距離
画像を入力する距離画像入力手段と、前記対象物体のカ
ラー画像を入力するカラー画像入力手段と、前記距離画
像から3次元情報を取り出す3次元情報抽出手段と、前
記3次元情報又は前記カラー画像内における色情報を用
いて前記対象物体を分割する画像分割手段と、前記色情
報と対応する前記部分物体の属性に関する属性情報を記
憶する属性情報記憶手段と、前記色情報に基づき前記3
次元情報に前記属性情報を付与する属性情報付与手段と
を備えたことを特徴とする。
To achieve the above object, a three-dimensional object generation apparatus according to a second invention of the present application is a distance image input means for inputting a distance image of a target object, and a color image for inputting a color image of the target object. Inputting means, three-dimensional information extracting means for extracting three-dimensional information from the distance image, image dividing means for dividing the target object using the three-dimensional information or color information in the color image, and the color information. Attribute information storage means for storing attribute information relating to the attribute of the corresponding partial object;
An attribute information adding unit for adding the attribute information to the dimension information.

【0009】上記目的達成のため、本出願の第3の発明
に係る3次元オブジェクト生成方法は、対象物体に特定
の波長の光を照射するとともに、その反射光により形成
される反射光画像を入力する反射光画像入力ステップ
と、前記対象物体のカラー画像を入力するカラー画像入
力ステップと、前記反射光画像の形状情報又は前記カラ
ー画像内における色情報を用いて前記反射光画像内の対
象物体を部分物体に分割する反射光画像分割ステップ
と、対象物体の色に関する色特性情報と対応付けてその
反射特性に関する反射特性情報を記憶する反射特性情報
記憶ステップと、前記反射特性情報を参照し、前記反射
光画像から3次元情報を取得する3次元情報取得ステッ
プと、前記色情報と対応する前記部分物体の属性に関す
る属性情報を記憶する属性情報記憶ステップと、前記色
情報に基づき前記3次元情報に前記属性情報を付与する
属性情報付与ステップとを備えたことを特徴とする。
To achieve the above object, a three-dimensional object generating method according to a third invention of the present application irradiates a target object with light having a specific wavelength and inputs a reflected light image formed by the reflected light. A reflected light image input step, a color image input step of inputting a color image of the target object, and a target object in the reflected light image using shape information of the reflected light image or color information in the color image. A reflected light image dividing step of dividing into partial objects, a reflection characteristic information storage step of storing reflection characteristic information regarding the reflection characteristic in association with color characteristic information regarding the color of the target object, and referring to the reflection characteristic information, A three-dimensional information acquisition step of acquiring three-dimensional information from the reflected light image, and storing attribute information relating to the attribute of the partial object corresponding to the color information. And sex information storage step, characterized in that an attribute information addition step of imparting the attribute information to the three-dimensional information based on the color information.

【0010】上記目的達成のため、本出願の第4の発明
に係る3次元オブジェクト生成方法は、対象物体の距離
画像を入力する距離画像入力ステップと、前記対象物体
のカラー画像を入力するカラー画像入力ステップと、前
記距離画像から3次元情報を取り出す3次元情報抽出ス
テップと、前記3次元情報内における形状情報又は前記
カラー画像内における色情報を用いて前記距離画像内の
前記対象物体を分割する画像分割ステップと、色と対応
する属性に関する属性情報を記憶する属性情報記憶ステ
ップと、前記色情報に基づき前記3次元情報に前記属性
情報を付与する属性情報付与ステップとを備えたことを
特徴とする。
In order to achieve the above object, a three-dimensional object generation method according to a fourth invention of the present application is such that a distance image input step of inputting a distance image of a target object and a color image inputting a color image of the target object. The input object, the three-dimensional information extraction step of extracting three-dimensional information from the distance image, and the shape information in the three-dimensional information or the color information in the color image are used to divide the target object in the distance image. An image dividing step, an attribute information storing step of storing attribute information relating to an attribute corresponding to a color, and an attribute information adding step of adding the attribute information to the three-dimensional information based on the color information. To do.

【0011】[0011]

【発明の実施の形態】次に本発明の実施形態を、図面に
基づいて詳細に説明する。図1は、本実施の形態に係る
3次元オブジェクト生成装置の全体構成を示している。
本実施の形態に係る3次元オブジェクト生成装置は、反
射光画像入力部1、カラー画像入力部2、反射光画像分
割部3、3次元情報獲得部4、反射特性情報格納部5、
3次元情報格納部6、属性情報格納部7、属性情報生成
部8を備えている。
BEST MODE FOR CARRYING OUT THE INVENTION Next, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows the overall configuration of a three-dimensional object generation device according to this embodiment.
The three-dimensional object generation device according to the present embodiment includes a reflected light image input unit 1, a color image input unit 2, a reflected light image division unit 3, a three-dimensional information acquisition unit 4, a reflection characteristic information storage unit 5,
A three-dimensional information storage unit 6, an attribute information storage unit 7, and an attribute information generation unit 8 are provided.

【0012】反射光画像入力部1は、発光光源11と、
撮像光学系12と、イメージセンサ13と、制御部14
とから構成される。発光光源11は、例えば近赤外光な
どの単色光を発光する光源であり、対象物体Bを照射す
る。発光光源11は、制御部14により、点灯と消灯と
を交互に繰り返すようにされている。なお、発明者が先
に出願した技術として、物体に近赤外光などの光を照射
し、その反射光を画像として取得し、3次元形状を簡易
に高速に取得するものが知られている(特開平10−1
77449)。反射光の強さは物体の位置(距離)と相
関をもつので、反射光画像を用いることによって、擬似
3次元画像を取得することができる。
The reflected light image input section 1 includes a light emitting source 11 and
Imaging optical system 12, image sensor 13, and control unit 14
Composed of and. The light emitting source 11 is a light source that emits monochromatic light such as near infrared light, and illuminates the target object B. The light emitting light source 11 is alternately turned on and off by the control unit 14. As a technique previously filed by the inventor, there is known a technique of irradiating an object with light such as near-infrared light and acquiring the reflected light as an image to easily and rapidly acquire a three-dimensional shape. (JP-A-10-1
77449). Since the intensity of the reflected light has a correlation with the position (distance) of the object, a pseudo three-dimensional image can be acquired by using the reflected light image.

【0013】本実施の形態では、物体の反射特性を反射
特性情報格納部5に蓄積しておき、これを利用すること
により、更に正確な3次元情報を取得するようにしてい
る。同じ物質であっても、黒色の部分では反射率は低
く、白色の部分では反射率は高い。また、同じ物質で同
じ色であっても、物体表面が粗い面である場合と鏡面状
である場合とでは反射光の量が異なってくる。このた
め、反射特性を予め取得して、反射光画像に基づいて3
次元情報の取得の際に利用することにより、より正確な
3次元情報の取得が可能になる。
In the present embodiment, the reflection characteristic of the object is stored in the reflection characteristic information storage unit 5, and by utilizing this, more accurate three-dimensional information is acquired. Even with the same material, the reflectance is low in the black portion and high in the white portion. Further, even if the same substance and the same color are used, the amount of reflected light differs depending on whether the object surface is a rough surface or a mirror surface. Therefore, the reflection characteristic is acquired in advance, and based on the reflected light image, 3
By using it when acquiring the dimensional information, it is possible to acquire more accurate three-dimensional information.

【0014】本実施の形態の対象物体Bは、ここでは粘
土を材料として作成されるものとする。後述するよう
に、粘土で様々な形状を作り、これを反射光画像、カラ
ー画像として撮像して適当な処理を施すことで、粘土の
形状が3次元オブジェクトとして計算機に取り込まれ
る。計算機に3次元オブジェクトとして取り込んだ後
は、これを3次元の仮想空間に配置したり、また動かし
たりするなど創造的な作業が可能となる。子供はよく粘
土遊びをするが、いろいろな形(動物、自動車など)を
作っては壊し、作っては壊す。これだけでも子供の知育
上非常に有効なものであるが、これをゲームの世界と組
み合わせることにより、より豊かな世界が広がる可能性
がある。例えば、作った粘土(乗り物、恐竜、動物、人
形など)を3次元形状として、ゲームの世界に取り込め
ば、粘土遊び自体が子供にとって知育上非常に効果の高
い遊びであるが、これを更に創造的な遊びへと発展させ
ることができる。
The target object B of this embodiment is made of clay here. As will be described later, various shapes are made of clay, the reflected light image and the color image are imaged, and appropriate processing is performed, so that the shape of the clay is captured as a three-dimensional object in the computer. After being captured as a three-dimensional object in a computer, it is possible to perform creative work such as placing it in a three-dimensional virtual space or moving it. Children often play clay, but make and destroy various shapes (animals, cars, etc.) and make and destroy them. This alone is very effective for children's education, but by combining this with the world of games, there is a possibility of expanding a richer world. For example, if the made clay (vehicles, dinosaurs, animals, dolls, etc.) is made into a three-dimensional shape and brought into the game world, clay play itself is a very effective educational play for children. Can be developed into a realistic play.

【0015】従来、ビデオゲーム等はともすると仮想空
間に没頭してしまい現実の世界との混同が生じ教育上良
くないとの懸念がされることもある。しかし、本実施の
形態の装置によれば、現実の存在としての粘土を手で触
り、現実に何かの形を作ることができるので、現実世界
と仮想世界とが適当に融合され、子供の創造性を高める
上で非常に有効なディジタルおもちゃが提供される。
Conventionally, there is a concern that a video game or the like may be immersive in a virtual space and may be confused with the real world, which is not good for education. However, according to the device of the present embodiment, since it is possible to touch clay as a real existence with a hand and actually form something, the real world and the virtual world are appropriately fused, and the child's Digital toys are provided that are extremely effective in increasing creativity.

【0016】この実施の形態では、対象物体Bは、その
構成要素ごとに予め定められた異なる色の粘土により作
成されているものとする。例えば、図1に示すような熊
の人形の場合、頭部分b1は赤の粘土、胴体部分b2は
黄色の粘土、腕部分b3は青の粘土、足部分b4は緑の
粘土というような具合である。これは、後述するよう
に、動きのある3次元オブジェクトを生成したり、テク
スチャの貼付けの際に必要となるためである。
In this embodiment, it is assumed that the target object B is made of clay of different colors which are predetermined for each of its constituent elements. For example, in the case of a bear doll as shown in FIG. 1, the head part b1 is red clay, the body part b2 is yellow clay, the arm parts b3 are blue clay, and the foot parts b4 are green clay. is there. This is because, as will be described later, it is necessary to generate a moving three-dimensional object or paste a texture.

【0017】撮像光学系12は、発光光源11からの近
赤外光に、及びそれ以外の光(太陽光、室内の蛍光灯の
光など)より照射された対象物体Bの像をイメージセン
サ13に結像させるためのものである。
The image pickup optical system 12 produces an image of the target object B illuminated by the near infrared light from the light emitting light source 11 and other light (sunlight, light of a fluorescent lamp in the room, etc.). It is for forming an image on.

【0018】また、カラー画像入力部2は、撮像光学系
12と、イメージセンサ13とから構成されており、発
光光源11以外からの光(例えば室内照明や太陽光な
ど)により、対象物体Bのカラー画像を撮影するための
ものである。図1のイメージセンサ13は、図2に示す
ように、カラー画像取得用画素13cと、反射光画像取
得用画素13r(図中斜線で示す)とが交互に配置され
る形式となっている。例えば、図2に示すように、カラ
ー画像取得用画素13cを奇数行目に、反射光画像取得
用画素13rを偶数行目に配置する。これにより、反射
光画像とカラー画像とを取得できるようにされている。
The color image input section 2 is composed of an image pickup optical system 12 and an image sensor 13, and the light from a source other than the light emission source 11 (for example, indoor lighting or sunlight) causes the target object B to be reflected. It is for taking a color image. As shown in FIG. 2, the image sensor 13 of FIG. 1 has a form in which color image acquisition pixels 13c and reflected light image acquisition pixels 13r (indicated by diagonal lines in the drawing) are alternately arranged. For example, as shown in FIG. 2, the color image acquisition pixels 13c are arranged in odd rows and the reflected light image acquisition pixels 13r are arranged in even rows. Thereby, the reflected light image and the color image can be acquired.

【0019】イメージセンサ13は、制御部14により
制御されている。制御部14は、例えば図2に示すよう
に、垂直選択部14a、水平選択部14b、蓄積部S
t,アナログ信号処理部14c、A/D変換部14d、
画像処理部14e、制御回路14fとを備えている。垂
直選択部14a、水平選択部14bは、画素位置を選択
し、その画素に蓄積された出力を取り出すためのもので
ある。蓄積部Stは、選択された画素から取り出された
電荷を、後述するアナログ信号処理部14dでの処理の
ため一時保持する部分である。
The image sensor 13 is controlled by the controller 14. The control unit 14 includes, for example, as shown in FIG. 2, a vertical selection unit 14a, a horizontal selection unit 14b, and a storage unit S.
t, the analog signal processing unit 14c, the A / D conversion unit 14d,
The image processing unit 14e and the control circuit 14f are provided. The vertical selection unit 14a and the horizontal selection unit 14b are for selecting a pixel position and taking out the output accumulated in the pixel. The storage unit St is a unit that temporarily holds the charges extracted from the selected pixel for processing in the analog signal processing unit 14d described later.

【0020】垂直選択部14aは、制御回路11の制御
信号に従い、発光光源11の消灯時には奇数行を選択
し、発光時には偶数行を選択するようにされる。すなわ
ち、光源11が発光しているときに偶数行の画素(反射
光画像取得用画素)で反射光画像の撮像を行い、発光し
ていないときに奇数行の画素(カラー画像取得用画素)
でカラー画像の撮像を行う。
According to the control signal of the control circuit 11, the vertical selection section 14a is adapted to select an odd row when the light emitting source 11 is turned off and an even row when emitting light. That is, when the light source 11 emits light, the even-numbered pixels (reflected light image acquisition pixels) capture reflected light images, and when the light source 11 does not emit light, odd-numbered pixels (color image acquisition pixels).
Take a color image with.

【0021】アナログ信号処理部14cは、蓄積部St
に蓄積された電荷を逐次読み出して、これに対応したア
ナログ信号を出力する。このアナログ信号はA/D変換
部14dにおいてディジタル値に変換され、画像処理部
14eにて所定の画像処理が施されることにより、カラ
ー画像、反射光画像が出力される。なお、図1では、反
射光画像入力部1と、カラー画像入力部2とが、撮影光
学系12とイメージセンサ13とを共用しているが、撮
影光学系12だけを共用し、イメージセンサは別々に2
つ設けてもよい。
The analog signal processing section 14c includes a storage section St.
The charges accumulated in the memory are sequentially read and an analog signal corresponding to the charges is output. This analog signal is converted into a digital value by the A / D conversion unit 14d and subjected to predetermined image processing by the image processing unit 14e, thereby outputting a color image and a reflected light image. Although the reflected light image input unit 1 and the color image input unit 2 share the photographing optical system 12 and the image sensor 13 in FIG. 1, only the photographing optical system 12 is shared and the image sensor is 2 separately
You may provide one.

【0022】図1に戻って、反射光画像分割部3は、イ
メージセンサ13からのカラー画像取得用画素から得ら
れたカラー画像中に含まれる色情報に基づき、反射光画
像を分割するものである。図3は、この反射光画像分割
部3の機能を説明する概念図である。対象物体Bのカラ
ー画像CI、反射光画像RIがイメージセンサ13より
入力される。対象物体Bとしての熊の人形は、前述した
ように、構成要素ごとに異なる色を有している。反射光
画像分割部3は、カラー画像CI中に含まれる色情報に
基づき、反射光画像RIを構成要素ごとに分割する。図
3に示す熊の人形の例では、反射光画像RIは、頭部分
b1に該当する部分1、胴体部分b2に該当する部分
2、腕部分b3に該当する部分3及び部分3´、足部分
b4に該当する部分4及び部分4´に分割される。な
お、単色の1つの材料によって対象物体Bが構成されて
いる場合には、この反射光画像分割部3は機能しない
が、こうした単色の対象物体Bでも構成要素への分割を
可能にするため、公知のテンプレートマッチング等の手
法により、対象物体Bを分割する手法も補助的に利用で
きるようにしておいてもよい。
Returning to FIG. 1, the reflected light image dividing section 3 divides the reflected light image based on the color information contained in the color image obtained from the color image acquisition pixels from the image sensor 13. is there. FIG. 3 is a conceptual diagram illustrating the function of the reflected light image division unit 3. The color image CI and the reflected light image RI of the target object B are input from the image sensor 13. The bear doll as the target object B has a different color for each component, as described above. The reflected light image division unit 3 divides the reflected light image RI into each component based on the color information included in the color image CI. In the example of the bear doll shown in FIG. 3, the reflected light image RI includes a portion 1 corresponding to the head portion b1, a portion 2 corresponding to the body portion b2, a portion 3 and a portion 3 ′ corresponding to the arm portion b3, and a foot portion. It is divided into a part 4 and a part 4'corresponding to b4. When the target object B is made of one monochromatic material, the reflected light image division unit 3 does not function, but since the monochromatic target object B can be divided into constituent elements, A method of dividing the target object B by a known method such as template matching may also be used in a supplementary manner.

【0023】3次元情報獲得部4は、反射特性情報格納
部5に格納される反射特性情報を用いて反射光画像21
を解析して対象物体Bの3次元形状情報を獲得するもの
である。すなわち、反射特性情報格納部5には、対象物
体Bの材料の反射特性が記憶される。ここでは、上述し
たように対象物体Bが赤、青、黄色、緑の粘土で構成さ
れるため、これら4色の粘土の反射特性が反射特性情報
格納部5に記憶される。3次元情報獲得部4は、反射特
性情報格納部5から読み出された各色の粘土の反射特性
情報に基づき、反射光画像21を、分割された部分1、
2、3、3´、4、4´毎に解析して、対象物体Bの3
次元情報を獲得する。反射光画像21は、図3に示すよ
うに、ドットの密度が対象物体Bの3次元形状を表わし
ているが、構成要素ごとの反射率の相違により、正確に
3次元形状を表わしているわけではない。この反射特性
情報を利用することにより、正確な3次元情報の取得が
可能となる。
The three-dimensional information acquisition unit 4 uses the reflection characteristic information stored in the reflection characteristic information storage unit 5 to reflect the reflected light image 21.
To obtain the three-dimensional shape information of the target object B. That is, the reflection characteristic information storage unit 5 stores the reflection characteristic of the material of the target object B. Here, since the target object B is composed of red, blue, yellow, and green clay as described above, the reflection characteristics of these four color clays are stored in the reflection characteristic information storage unit 5. The three-dimensional information acquisition unit 4 divides the reflected light image 21 into the divided portions 1 based on the reflection characteristic information of the clay of each color read from the reflection characteristic information storage unit 5.
Analysis of every 2, 3, 3 ', 4, 4', 3 of the target object B
Acquire dimension information. In the reflected light image 21, as shown in FIG. 3, the dot density represents the three-dimensional shape of the target object B, but due to the difference in reflectance between the constituent elements, the reflected light image 21 accurately represents the three-dimensional shape. is not. By using this reflection characteristic information, accurate three-dimensional information can be acquired.

【0024】3次元情報格納部6は、3次元情報獲得部
4で獲得された対象物体Bの3次元形状情報を格納する
部分である。属性情報格納部7は、対象物体Bの構成要
素の色に関する色情報と、その構成要素の属性に関する
属性情報とを関連付けて記憶する部分である。例えば、
図3に示す熊の人形でいえば、赤色の部分は動物の頭、
黄色の部分は動物の胴体、というように、色とその構成
要素の種類を属性情報として記憶することができる。属
性情報の他の例としては、その色で構成された物体がど
のような動きをし得るかを示す動作情報を含めることも
できる。例えば、頭であれば、その下側を回転中心とし
て動く、というような動作情報を含めることができ、足
であれば、その根元を回転中心とするとともに、中心付
近で折り曲げ可能となっているなどの動作情報を含める
ことができる。
The three-dimensional information storage section 6 is a section for storing the three-dimensional shape information of the target object B acquired by the three-dimensional information acquisition section 4. The attribute information storage unit 7 is a unit that stores the color information regarding the color of the component of the target object B and the attribute information regarding the attribute of the component in association with each other. For example,
In the bear doll shown in Fig. 3, the red part is the animal's head,
The color and the types of its constituent elements can be stored as attribute information such that the yellow part is the body of the animal. As another example of the attribute information, it is also possible to include motion information indicating what kind of movement an object constituted by that color can move. For example, if it is a head, it can include motion information such that the lower side moves about the center of rotation, and if it is a foot, its root is the center of rotation and it can be bent near the center. Operation information such as can be included.

【0025】また、属性情報の中に、構成要素の物理的
特性を含めることも可能である。例えば、構成要素の弾
性特徴や比重を属性情報として含め、対象物体Bがその
特性に合わせた動き(例:丸いものは転がり、四角いも
のは転がらない、など)をするようにしたり、又は時間
が経つと溶け出す、というような属性情報を含めたりす
ることができる。また、特定の構成要素について、効果
音を発するという属性情報を格納しておき、この構成要
素が動くたびに効果音を発生させる、というような動き
をさせることもできる。
It is also possible to include the physical characteristics of the constituent elements in the attribute information. For example, the elastic characteristics and specific gravities of the constituent elements are included as attribute information, and the target object B is caused to move according to its characteristics (eg, a round object rolls, a square object does not roll, etc.), or It is possible to include attribute information such that it will melt out after a while. It is also possible to store attribute information that a sound effect is generated for a specific component, and to make a motion such that a sound effect is generated each time this component moves.

【0026】属性情報付与部8は、以上のような属性情
報のうち、各部分1、2,3、3´、4、4´の色情報
に対応したものを読み出して、この読み出した属性情報
を各部分1、2,3、3´、4、4´に付与する。これ
により、3次元オブジェクトの生成が完了する。すなわ
ち、各部分1、2,3、3´、4,4´は、3次元情報
獲得部4により正確な3次元形状を付与されるととも
に、属性情報格納部7により、その各部分の属性情報が
付与される。属性情報格納部7に各部分1、2,3、3
´、4,4´の動きの情報が格納されている場合には、
属性情報付与部は、各構成要素に動き情報を付加する動
き情報生成部として機能することになる。例えば、適当
な指示情報に従い、この3次元オブジェクトをビデオゲ
ームなどの中で動かすこともできるし、或いは何らかの
プロトコルの下、ひとりでに動き出すように制御するこ
ともできる。
The attribute information adding section 8 reads out the attribute information corresponding to the color information of each of the portions 1, 2, 3, 3 ', 4 and 4'from the above attribute information, and reads the attribute information thus read out. To each part 1, 2, 3, 3 ', 4, 4'. This completes the generation of the three-dimensional object. That is, each part 1, 2, 3, 3 ', 4, 4'is given an accurate three-dimensional shape by the three-dimensional information acquisition unit 4, and the attribute information storage unit 7 causes the attribute information of each part. Is given. Each part 1, 2, 3, 3 in the attribute information storage unit 7
If the motion information of ', 4, 4'is stored,
The attribute information addition unit functions as a motion information generation unit that adds motion information to each component. For example, the three-dimensional object can be moved in a video game or the like according to appropriate instruction information, or can be controlled so as to move by itself under some protocol.

【0027】3次元オブジェクトにモーフィング(ディ
ジタル画像に描かれた物体の形状をスムーズに変化させ
る画像処理技術。詳しくは「モーフィング入門」(スコ
ット・アンダーソン 著、酒井 啓 訳、海文堂出版発
行)参照)を施す際にも、この属性情報によってモーフ
ィングのさせ方を変えることもできる。例えば、重力の
影響、物体の柔らかさ/硬さをモーフィングに反映させ
ることもできる。
Morphing for three-dimensional objects (image processing technology for smoothly changing the shape of an object drawn in a digital image. For details, see "Introduction to Morphing" (Scott Anderson, translated by Kei Sakai, published by Kaibundou Publishing)). Also when applying, it is possible to change the morphing method by this attribute information. For example, the influence of gravity and the softness / hardness of an object can be reflected in morphing.

【0028】上述の説明では、対象物体の材料が粘土の
場合を例示したが、本発明はこれに限定されるものでは
なく、例えば、発泡スチロールやダンボール紙、玩具メ
ーカから市販されている組み立てブロックなど、あらゆ
る材料が使用可能である。これらの材料の場合にも、予
めその材料の反射特性等を反射特性情報格納部5に格納
させておくことにより、上述の粘土の例とまったく同様
の効果を得ることもできる。
In the above description, the case in which the material of the target object is clay has been illustrated, but the present invention is not limited to this, and examples thereof include styrofoam, cardboard paper, and building blocks commercially available from toy makers. , Any material can be used. In the case of these materials as well, by storing the reflection characteristics and the like of the materials in the reflection characteristic information storage unit 5 in advance, it is possible to obtain the same effect as that of the above-mentioned example of clay.

【0029】また、使用者が属性情報格納部7の内容を
編集することができるようにすることもできる。例え
ば、腕部分の色情報が青色として記憶されている場合
に、この色を他の色に変更するように編集することがで
きる。足部分に関する情報について、中間付近で折れ曲
がるという情報だけが属性情報として格納されている場
合に、例えば足首付近も折れ曲がる、という属性情報を
書き加えることができる。
Further, the user can edit the contents of the attribute information storage section 7. For example, when the color information of the arm portion is stored as blue, this color can be edited to be changed to another color. Regarding the information regarding the foot portion, when only the information that the bending is performed near the middle is stored as the attribute information, the attribute information that the bending is also performed near the ankle can be added.

【0030】また、1つの対象物体について複数の3次
元情報を格納し、属性情報生成部8において、データ補
間によりこの複数の3次元情報の中間状態の3次元情報
を生成して、なめらかな変化が表現されるようにする。
この中間状態の情報は、3次元情報格納部6に格納して
その変化の順番に3Dムービー的に再生してもよいし、
また要求に応じて生成して、その後適宜表示させるよう
にしてもよい。
Further, a plurality of three-dimensional information is stored for one target object, and the attribute information generating unit 8 generates three-dimensional information in an intermediate state of the plurality of three-dimensional information by data interpolation to make a smooth change. To be expressed.
The information on the intermediate state may be stored in the three-dimensional information storage unit 6 and reproduced in a 3D movie in the order of change.
Further, it may be generated in response to a request and then may be appropriately displayed.

【0031】また、本装置を使用者の前に置き,使用者
は装置の前で、図4に示すように、例えばブロック状の
粘土を加工して所望の形状を作り上げていき、イメージ
センサ13により常にこの粘土細工の作業を撮像するよ
うにしてもよい。これにより、対象物体Bが出来上がっ
ていく途中の粘土細工の形状を取得することができる。
使用者の手などが入力されてしまわないように、使用者
が手を休めた合間を縫って撮像するようにすることもで
きる。
The apparatus is placed in front of the user, and the user processes the block-shaped clay to form a desired shape in front of the apparatus as shown in FIG. Therefore, the clay work may be always imaged. Thereby, the shape of the clay work on the way of the completion of the target object B can be acquired.
In order to prevent the user's hand or the like from being input, the user may sew the space between the rested hands to capture an image.

【0032】このようにして取得された一連の3次元形
状をそのまま連続的に変化させれば、あたかも何もない
状態から形状が湧き出てきて対象物体Bが形作られてい
くようなアニメーションを簡単に作成することができ
る。
By continuously changing the series of three-dimensional shapes acquired in this way as it is, it is easy to create an animation in which the shape emerges from an empty state and the target object B is formed. Can be created.

【0033】〔第2の実施の形態〕図5は、本発明の第
2の実施の形態に係る3次元オブジェクト生成装置の構
成を示すブロック図である。図3中、図1と同一の構成
要素については同一の番号を付し、その詳細な説明は以
下では省略する。また、本実施の形態でも、図1と同様
の反射光画像入力部1、カラー画像入力部2を使用する
が、図2ではこれらについては図示を省略している。
[Second Embodiment] FIG. 5 is a block diagram showing a configuration of a three-dimensional object generation apparatus according to a second embodiment of the present invention. In FIG. 3, the same components as those in FIG. 1 are designated by the same reference numerals, and detailed description thereof will be omitted below. Also in this embodiment, the reflected light image input section 1 and the color image input section 2 similar to those in FIG. 1 are used, but these are omitted in FIG.

【0034】本実施の形態では、3次元オブジェクトに
色やテクスチャを付けるための構成として、テクスチャ
情報抽出部21、テクスチャ情報格納部22、テクスチ
ャ貼付け部23を備えている。これにより、例えば、作
成した想像上の動物の形状としての3次元オブジェクト
に、別のぬいぐるみの模様(例えば、キリンのぬいぐる
みの模様)を貼り付けるなどすることができる。テクス
チャ情報抽出部21は、イメージセンサ13からのカラ
ー画像情報及び反射光画像情報から、対象物体Bのテク
スチャ情報を抽出する。カラー画像には、背景も含め対
象物体Bの回りの画像も映っているが、反射光画像情報
を用いることにより、対象物体Bのテクスチャ情報を容
易に抽出することができる。
In this embodiment, a texture information extraction unit 21, a texture information storage unit 22, and a texture pasting unit 23 are provided as a configuration for adding color or texture to a three-dimensional object. Thereby, for example, another stuffed animal pattern (for example, a giraffe stuffed animal pattern) can be pasted on the created three-dimensional object as an imaginary animal shape. The texture information extraction unit 21 extracts the texture information of the target object B from the color image information and the reflected light image information from the image sensor 13. Although the image around the target object B including the background is also shown in the color image, the texture information of the target object B can be easily extracted by using the reflected light image information.

【0035】抽出されたテクスチャ情報は、テクスチャ
情報格納部22に一時格納される。テクスチャ貼付け部
23は、属性情報付与部8で属性情報を付与された3次
元オブジェクトに対し、テクスチャ情報格納部22に格
納されたテクスチャ情報を付与し、テクスチャ付きオブ
ジェクトに変換するためのものである。本実施の形態に
おける対象物体Bは、図1のように、各構成要素が異な
る材料で作成され、そのため構成要素ごとにテクスチャ
も異なることを基本的に想定している。
The extracted texture information is temporarily stored in the texture information storage unit 22. The texture pasting unit 23 is for assigning the texture information stored in the texture information storage unit 22 to the three-dimensional object to which the attribute information is assigned by the attribute information assigning unit 8 and converting it into a textured object. . As shown in FIG. 1, the target object B in the present embodiment is basically assumed that each constituent element is made of a different material, and therefore the texture is different for each constituent element.

【0036】抽出されたテクスチャをそのままテクスチ
ャ貼付け部23により3次元オブジェクトに貼り付ける
ようにすることもできるが、例えば、Aというテクスチ
ャ情報が抽出された場合にはこのテクスチャa1を、B
というテクスチャ情報が抽出された場合にはテクスチャ
b1を、というように、別個のテクスチャを貼り付ける
ようにしてもよい。また、複数のテクスチャをモニタ画
面等に提示し、使用者の好みのものを選ばせるようにす
ることもできる。また、複数のテクスチャ情報が抽出さ
れた場合に、そのうち対象物体B中で面積の占める割合
の最も大きいテクスチャ情報のみを抽出し、そのテクス
チャを対象物体B全体に貼付けるようにしてもよい。
It is possible to paste the extracted texture as it is to the three-dimensional object by the texture pasting unit 23. However, for example, when the texture information of A is extracted, this texture a1 is
If the texture information is extracted, the texture b1 may be pasted, and a separate texture may be pasted. It is also possible to present a plurality of textures on a monitor screen or the like so that the user can select a desired one. Further, when a plurality of pieces of texture information are extracted, only the texture information having the largest area ratio in the target object B may be extracted and the texture may be attached to the entire target object B.

【0037】〔第3の実施の形態〕次に、本発明の第3
の実施の形態を、図6に基づいて説明する。本実施の形
態の3次元オブジェクト生成装置は、一旦取り込んだ3
次元オブジェクトを、仮想的な工具24により使用者に
加工させるようにしたものである。例えば、表示部26
に図6に示すように生成した3次元オブジェクトを表示
させるとともに、使用者に、仮想工具24を持たせ、撮
影光学系12の前に位置させる。仮想工具24は、例え
ば図6に示すような彫刻刀であり、柄の部分と刃の部分
とで色を異ならせ、その反射特性を反射特性情報格納部
5に記憶させておくことにより、3次元情報獲得部4に
より、仮想工具24の形状位置が把握されるようになっ
ている。獲得された仮想工具24の刃先の位置情報に基
づき、表示制御部26により表示部25上での仮想工具
24の位置が変化する。
[Third Embodiment] Next, a third embodiment of the present invention will be described.
The embodiment will be described with reference to FIG. The three-dimensional object generation device according to the present embodiment uses the 3
The dimensional object is made to be processed by the user with the virtual tool 24. For example, the display unit 26
The three-dimensional object generated as shown in FIG. 6 is displayed, and the user is caused to have the virtual tool 24 and positioned in front of the photographing optical system 12. The virtual tool 24 is, for example, a chisel as shown in FIG. 6, and by making the pattern portion and the blade portion have different colors and storing their reflection characteristics in the reflection characteristic information storage unit 5, The shape information of the virtual tool 24 is grasped by the dimension information acquisition unit 4. The position of the virtual tool 24 on the display unit 25 is changed by the display control unit 26 based on the acquired position information of the cutting edge of the virtual tool 24.

【0038】使用者が仮想工具24を握った手を動かす
と、表示部上の仮想工具24を示すグラフィックの位置
が変化し、これにより、生成された3次元オブジェクト
に対し加工が施される。実際に対象物体Bに彫刻刀など
を入れて加工するのと同じ感覚で画面内の3次元オブジ
ェクトを加工することができる。
When the user moves the hand holding the virtual tool 24, the position of the graphic showing the virtual tool 24 on the display unit changes, and thereby the generated three-dimensional object is processed. It is possible to process a three-dimensional object on the screen with the same feeling as when actually processing a target object B with a chisel or the like.

【0039】〔第4の実施の形態〕次に、本発明の第4
の実施の形態を図7乃至9に基づいて説明する。図7乃
至9において、図1と共通する部分については同一の符
号を付しその説明は省略する。本実施の形態の3次元オ
ブジェクト生成装置は、図7乃至9に示すように、レー
ザレンジファインダ、ステレオカメラなど、対象物体ま
での距離を示す距離情報を含んだ距離画像を入力可能と
した距離画像入力部31を備えている。レンジファイン
ダは典型的には、レーザスポット光あるいはレーザスリ
ット光で対象物体Bをスキャニングし、その反射光の受
光位置から三角測量の原理で求めるものである。距離画
像情報そのものに3次元情報が含まれるため、本実施の
形態では、第1乃至第5の実施の形態のような3次元情
報獲得部4、反射特性情報格納部5は不要となる。
[Fourth Embodiment] Next, a fourth embodiment of the present invention will be described.
The embodiment will be described with reference to FIGS. 7 to 9, the same parts as those in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted. As shown in FIGS. 7 to 9, the three-dimensional object generation device according to the present embodiment can input a distance image including distance information indicating a distance to a target object such as a laser range finder and a stereo camera. The input unit 31 is provided. The range finder typically scans the target object B with a laser spot light or a laser slit light, and obtains it from the light receiving position of the reflected light by the principle of triangulation. Since the range image information itself includes three-dimensional information, the present embodiment does not require the three-dimensional information acquisition unit 4 and the reflection characteristic information storage unit 5 as in the first to fifth embodiments.

【0040】また、本実施の形態の3次元オブジェクト
生成装置は、3次元情報抽出及び分割部33を備えてい
る。この3次元情報抽出及び分割部33は、この距離画
像情報から3次元情報を抽出するとともに、この3次元
情報をカラー画像入力部2から得られた色情報に基づ
き、抽出された3次元情報を構成要素ごとに分割する。
この分割された3次元情報に対し、第1の実施の形態と
同様、属性格納部7に格納された属性情報が、属性情報
付与部8により付与される。図8は図7に3次元情報格
納部6を付加したものであり、図9は図5と同様、テク
スチャ貼付けのための構成を付加したものである。
Further, the three-dimensional object generation device of this embodiment is provided with a three-dimensional information extraction and division unit 33. The three-dimensional information extracting / dividing unit 33 extracts three-dimensional information from the distance image information, and extracts the three-dimensional information from the three-dimensional information based on the color information obtained from the color image input unit 2. Divide into each component.
The attribute information stored in the attribute storage unit 7 is added to the divided three-dimensional information by the attribute information addition unit 8 as in the first embodiment. FIG. 8 is a diagram in which the three-dimensional information storage unit 6 is added to FIG. 7, and FIG. 9 is a diagram in which a structure for texture pasting is added as in FIG.

【0041】[0041]

【発明の効果】以上述べたように、本発明に係る3次元
オブジェクト生成装置によれば、複雑な属性入力等の手
間が省略され、非熟練者でも簡単に3次元オブジェクト
を生成することができる。
As described above, according to the three-dimensional object generation apparatus of the present invention, complicated attribute input and the like can be omitted, and even a non-skilled person can easily generate a three-dimensional object. .

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の第1の実施の形態に係る3次元オブ
ジェクト生成装置の全体構成を説明するための図であ
る。
FIG. 1 is a diagram for explaining an overall configuration of a three-dimensional object generation device according to a first embodiment of the present invention.

【図2】 図1に示すイメージセンサ13及び制御部1
4の構成の詳細を示す。
FIG. 2 is an image sensor 13 and a control unit 1 shown in FIG.
4 shows the details of the configuration.

【図3】 図1に示す反射光画像分割部3の機能を概念
的に示す図である。
3 is a diagram conceptually showing a function of a reflected light image division unit 3 shown in FIG.

【図4】 第1の実施の形態の3次元オブジェクト生成
装置の利用例を説明する概念図である。
FIG. 4 is a conceptual diagram illustrating a usage example of the three-dimensional object generation device according to the first embodiment.

【図5】 本発明の第2の実施の形態に係る3次元オブ
ジェクト生成装置の構成を示す図である。
FIG. 5 is a diagram showing a configuration of a three-dimensional object generation device according to a second embodiment of the present invention.

【図6】 本発明の第3の実施の形態に係る3次元オブ
ジェクト生成装置の構成を示す図である。
FIG. 6 is a diagram showing a configuration of a three-dimensional object generation device according to a third embodiment of the present invention.

【図7】 本発明の第4の実施の形態に係る3次元オブ
ジェクト生成装置の構成を示す図である。
FIG. 7 is a diagram showing a configuration of a three-dimensional object generation device according to a fourth embodiment of the present invention.

【図8】 本発明の第4の実施の形態に係る3次元オブ
ジェクト生成装置の構成を示す図である。
FIG. 8 is a diagram showing a configuration of a three-dimensional object generation device according to a fourth embodiment of the present invention.

【図9】 本発明の第4の実施の形態に係る3次元オブ
ジェクト生成装置の構成を示す図である。
FIG. 9 is a diagram showing a configuration of a three-dimensional object generation device according to a fourth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

B…対象物体、 1・・・反射光画像入力部、 2・・・カラ
ー画像入力部、 3・・・反射光画像分割部、 4・・・3次
元情報獲得部、 5…反射特性情報格納部、6…3次元
情報格納部、 7・・・属性情報格納部、 8・・・属性情
報付与部、11…発光光源、 12…撮影光学系、 1
3…イメージセンサ、 14…制御部、 CI…カラー
画像、 RI…反射光画像、 21…テクスチャ抽出
部、22…テクスチャ格納部、 23…テクスチャ貼付
け部、 24…仮想工具、25…表示部、 26…表示
制御部、 31…距離画像入力部、 33…3次元情報
抽出及び分割部、 8…属性情報付与部
B ... Target object, 1 ... Reflected light image input unit, 2 ... Color image input unit, 3 ... Reflected light image division unit, 4 ... Three-dimensional information acquisition unit, 5 ... Reflection characteristic information storage Part, 6 ... Three-dimensional information storage part, 7 ... Attribute information storage part, 8 ... Attribute information providing part, 11 ... Emitting light source, 12 ... Photographing optical system, 1
3 ... Image sensor, 14 ... Control part, CI ... Color image, RI ... Reflected light image, 21 ... Texture extraction part, 22 ... Texture storage part, 23 ... Texture pasting part, 24 ... Virtual tool, 25 ... Display part, 26 ... Display control unit, 31 ... Distance image input unit, 33 ... Three-dimensional information extraction and division unit, 8 ... Attribute information addition unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 15/00 100 G06T 17/40 B 17/40 G01B 11/24 K (72)発明者 原島 高広 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 三原 功雄 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 岸川 晋久 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 Fターム(参考) 2F065 AA53 BB05 DD06 FF04 GG22 JJ03 JJ26 QQ03 QQ31 5B050 AA06 BA06 BA08 BA09 BA13 CA07 DA04 EA06 EA07 EA09 EA18 EA24 EA28 EA30 FA02 FA05 FA08 FA14 5B057 AA20 BA02 CA01 CA02 CA08 CA12 CA16 CB01 CB08 CB13 CB17 CD14 DA07 DA08 DA17 DB02 DB05 DB06 DB09 DC22 DC25 DC30 DC32 DC36 5B080 FA02 GA22 5L096 AA02 AA03 AA06 BA08 CA04 FA15 FA66 GA38 GA43 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G06T 15/00 100 G06T 17/40 B 17/40 G01B 11/24 K (72) Inventor Takahiro Harashima Kanagawa Komukai-shi Toshiba-cho, Kawasaki-shi 1st Incorporated company Toshiba Research and Development Center (72) Inventor Isao Mihara Komukai-shishi-cho 1 Kawasaki-shi, Kanagawa Prefecture Komukai Toshiba-cho Incorporated company Toshiba Research and Development Center (72) Inventor Kishikawa Shinkyu 1 Komukai Toshiba-cho, Sachi-ku, Kawasaki-shi, Kanagawa F-term (reference) in Toshiba Research and Development Center, a stock company 2F065 AA53 BB05 DD06 FF04 GG22 JJ03 JJ26 QQ03 QQ31 5B050 AA06 BA06 BA08 BA09 BA13 CA07 DA04 EA06 EA07 EA07 EA07 EA07 EA07 EA07 EA24 EA28 EA30 FA02 FA05 FA08 FA14 5B057 AA20 BA02 CA01 CA02 CA08 CA12 CA16 CB01 CB08 CB13 CB17 CD14 DA07 DA08 DA17 DB02 DB05 DB06 DB09 DC22 DC25 DC30 DC32 DC36 5B080 FA02 GA22 5L096 AA02 AA03 AA06 BA08 CA04 FA15 FA66 GA38 GA43

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 対象物体に特定の波長の光を照射して生
じた反射光により形成される反射光画像を入力する反射
光画像入力手段と、 前記対象物体のカラー画像を入力するカラー画像入力手
段と、 前記反射光画像の形状情報又は前記カラー画像内におけ
る色情報を用いて前記反射光画像内の対象物体を部分物
体に分割する反射光画像分割手段と、 対象物体の色に関する色特性情報と対応付けてその反射
特性に関する反射特性情報を記憶する反射特性情報記憶
手段と、 前記反射特性情報記憶手段を参照し、前記反射光画像か
ら3次元情報を取得する3次元情報取得手段と、 前記色情報と対応する前記部分物体の属性に関する属性
情報を記憶する属性情報記憶手段と、 前記色情報に基づき前記3次元情報に前記属性情報を付
与する属性情報付与手段とを備えたことを特徴とする3
次元オブジェクト生成装置。
1. A reflected light image input means for inputting a reflected light image formed by reflected light generated by irradiating a target object with light of a specific wavelength, and a color image input for inputting a color image of the target object. Means, reflected light image dividing means for dividing the target object in the reflected light image into partial objects using shape information of the reflected light image or color information in the color image, and color characteristic information about the color of the target object A reflection characteristic information storage unit that stores reflection characteristic information related to the reflection characteristic in association with the reflection characteristic information storage unit; and a three-dimensional information acquisition unit that refers to the reflection characteristic information storage unit and acquires three-dimensional information from the reflected light image, Attribute information storage means for storing attribute information relating to the attribute of the partial object corresponding to color information, and an attribute information assigning means for assigning the attribute information to the three-dimensional information based on the color information. Characterized by having a step 3
Dimensional object generation device.
【請求項2】 対象物体の距離画像を入力する距離画像
入力手段と、 前記対象物体のカラー画像を入力するカラー画像入力手
段と、 前記距離画像から3次元情報を取り出す3次元情報抽出
手段と、 前記3次元情報又は前記カラー画像内における色情報を
用いて前記対象物体を分割する画像分割手段と、 前記色情報と対応する前記部分物体の属性に関する属性
情報を記憶する属性情報記憶手段と、 前記色情報に基づき前記3次元情報に前記属性情報を付
与する属性情報付与手段とを備えたことを特徴とする3
次元オブジェクト生成装置。
2. A distance image input means for inputting a distance image of a target object, a color image input means for inputting a color image of the target object, and a three-dimensional information extracting means for extracting three-dimensional information from the distance image. An image dividing unit that divides the target object using the three-dimensional information or color information in the color image; an attribute information storage unit that stores attribute information regarding an attribute of the partial object corresponding to the color information; An attribute information adding unit for adding the attribute information to the three-dimensional information based on color information.
Dimensional object generation device.
【請求項3】 前記属性情報記憶手段は、属性情報とし
て前記部分物体の動きに関する動き情報を記憶し、前記
属性情報記憶手段はこの動き情報に基づき前記3次元情
報に動き情報を付与するようにされた請求項1又は2に
記載の3次元オブジェクト生成装置。
3. The attribute information storage means stores motion information relating to the movement of the partial object as attribute information, and the attribute information storage means adds motion information to the three-dimensional information based on the movement information. The three-dimensional object generation device according to claim 1 or 2.
【請求項4】 前記3次元オブジェクトを前記動き情報
に基づいて複数作成し、指示情報に基づき前記3次元オ
ブジェクトを動画として動かすように構成した請求項2
に記載の3次元オブジェクト生成装置。
4. A plurality of the three-dimensional objects are created based on the movement information, and the three-dimensional objects are moved as a moving image based on the instruction information.
The three-dimensional object generation device according to item 1.
【請求項5】 前記カラー画像中からテクスチャ情報を
抽出するテクスチャ情報抽出手段と、抽出した前記テク
スチャ情報を獲得した前記3次元情報の全部又は一部に
貼り付けるテクスチャ情報貼付け手段とを備えた請求項
1又は2に記載の3次元オブジェクト生成装置。
5. A texture information extracting means for extracting texture information from the color image, and a texture information pasting means for pasting the extracted texture information to all or a part of the acquired three-dimensional information. Item 3. The three-dimensional object generation device according to Item 1 or 2.
【請求項6】 前記対象物体は、複数の色の工作素材で
作成され、前記反射特性情報記憶手段は、該複数の色の
工作素材の反射特性を記憶するようにされた請求項1に
記載の3次元オブジェクト生成装置。
6. The object according to claim 1, wherein the target object is made of a work material of a plurality of colors, and the reflection characteristic information storage means stores the reflection characteristics of the work materials of a plurality of colors. 3D object generation device.
【請求項7】 前記工作素材は粘土である請求項6に記
載の3次元オブジェクト生成装置。
7. The three-dimensional object generation device according to claim 6, wherein the work material is clay.
【請求項8】 生成された3次元オブジェクトを表示す
るための表示手段を備え、該3次元オブジェクトを加工
するための仮想工具とを備え、前記該仮想工具の3次元
情報を前記反射光画像入力手段、前記カラー画像入力手
段、反射光画像入力手段、前記3次元情報獲得手段によ
り獲得し、獲得された3次元情報に基づき生成された前
記3次元オブジェクトの形状を変更するように構成され
た請求項1に記載の3次元オブジェクト生成装置。
8. A display means for displaying the generated three-dimensional object, a virtual tool for processing the three-dimensional object, and three-dimensional information of the virtual tool for inputting the reflected light image. Means, the color image inputting means, the reflected light image inputting means, the three-dimensional information acquiring means, and the shape of the three-dimensional object generated based on the acquired three-dimensional information. Item 3. The three-dimensional object generation device according to item 1.
【請求項9】 対象物体に特定の波長の光を照射すると
ともに、その反射光により形成される反射光画像を入力
する反射光画像入力ステップと、 前記対象物体のカラー画像を入力するカラー画像入力ス
テップと、 前記反射光画像の形状情報又は前記カラー画像内におけ
る色情報を用いて前記反射光画像内の対象物体を部分物
体に分割する反射光画像分割ステップと、 対象物体の色に関する色特性情報と対応付けてその反射
特性に関する反射特性情報を記憶する反射特性情報記憶
ステップと、 前記反射特性情報を参照し、前記反射光画像から3次元
情報を取得する3次元情報取得ステップと、 前記色情報と対応する前記部分物体の属性に関する属性
情報を記憶する属性情報記憶ステップと、 前記色情報に基づき前記3次元情報に前記属性情報を付
与する属性情報付与ステップとを備えたことを特徴とす
る3次元オブジェクト生成方法。
9. A reflected light image inputting step of irradiating a light of a specific wavelength to a target object and inputting a reflected light image formed by the reflected light, and a color image input of inputting a color image of the target object. A reflected light image dividing step of dividing the target object in the reflected light image into partial objects using the shape information of the reflected light image or the color information in the color image; and color characteristic information about the color of the target object. A reflection characteristic information storing step of storing reflection characteristic information relating to the reflection characteristic in association with the three-dimensional information obtaining step of obtaining three-dimensional information from the reflected light image by referring to the reflection characteristic information; An attribute information storage step of storing attribute information relating to an attribute of the partial object corresponding to the attribute information in the three-dimensional information based on the color information. A three-dimensional object generation method, comprising:
【請求項10】 対象物体の距離画像を入力する距離画
像入力ステップと、 前記対象物体のカラー画像を入力するカラー画像入力ス
テップと、 前記距離画像から3次元情報を取り出す3次元情報抽出
ステップと、 前記3次元情報内における形状情報又は前記カラー画像
内における色情報を用いて前記距離画像内の前記対象物
体を分割する画像分割ステップと、 色と対応する属性に関する属性情報を記憶する属性情報
記憶ステップと、 前記色情報に基づき前記3次元情報に前記属性情報を付
与する属性情報付与ステップとを備えたことを特徴とす
る3次元オブジェクト生成方法。
10. A distance image input step of inputting a distance image of a target object, a color image input step of inputting a color image of the target object, a three-dimensional information extraction step of extracting three-dimensional information from the distance image, An image dividing step of dividing the target object in the distance image using shape information in the three-dimensional information or color information in the color image, and an attribute information storing step of storing attribute information about attributes corresponding to colors And a attribute information giving step of giving the attribute information to the three-dimensional information based on the color information.
JP2002093800A 2002-03-29 2002-03-29 3D object generation apparatus and method Expired - Fee Related JP3866602B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002093800A JP3866602B2 (en) 2002-03-29 2002-03-29 3D object generation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002093800A JP3866602B2 (en) 2002-03-29 2002-03-29 3D object generation apparatus and method

Publications (2)

Publication Number Publication Date
JP2003296707A true JP2003296707A (en) 2003-10-17
JP3866602B2 JP3866602B2 (en) 2007-01-10

Family

ID=29386838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002093800A Expired - Fee Related JP3866602B2 (en) 2002-03-29 2002-03-29 3D object generation apparatus and method

Country Status (1)

Country Link
JP (1) JP3866602B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004318A (en) * 2005-06-22 2007-01-11 Sega Corp Image processing method, program for executing image processing and storage medium with its program stored
JP2012518844A (en) * 2009-02-25 2012-08-16 ディメンジョナル フォトニクス インターナショナル,インコーポレイテッド Luminance and color display for 3D measurement systems
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102508426B1 (en) 2016-01-29 2023-03-09 삼성전자주식회사 Sensor capable of detecting stiffness, mobile apparatus having the same, and 3D printer using the same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004318A (en) * 2005-06-22 2007-01-11 Sega Corp Image processing method, program for executing image processing and storage medium with its program stored
JP2012518844A (en) * 2009-02-25 2012-08-16 ディメンジョナル フォトニクス インターナショナル,インコーポレイテッド Luminance and color display for 3D measurement systems
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9990565B2 (en) 2013-04-11 2018-06-05 Digimarc Corporation Methods for object recognition and related arrangements

Also Published As

Publication number Publication date
JP3866602B2 (en) 2007-01-10

Similar Documents

Publication Publication Date Title
Foster et al. Integrating 3D modeling, photogrammetry and design
Alexander et al. The digital emily project: Achieving a photorealistic digital actor
JP5785254B2 (en) Real-time animation of facial expressions
Alexander et al. The digital emily project: photoreal facial modeling and animation
US7006952B1 (en) 3-D model providing device
Rivers et al. Sculpting by numbers
CN110517355A (en) Environment for illuminating mixed reality object synthesizes
Montero et al. Designing and implementing interactive and realistic augmented reality experiences
JP2004520652A (en) 3D reconstruction from shadow
US20230065252A1 (en) Toy system and a method of operating the toy system
JP6431259B2 (en) Karaoke device, dance scoring method, and program
US20060003111A1 (en) System and method for creating a 3D figurine using 2D and 3D image capture
JPH0947576A (en) Three dimensional game device and image synthesize method
JP2003296707A (en) Device and method for generating three-dimensional object
KR100924598B1 (en) Method for generating three dimension model
JP6313003B2 (en) Karaoke apparatus, image output method, and program
Kumar Beginning PBR texturing: Learn physically based rendering with allegorithmic’s substance painter
Lansdown The computer in choreography
Soile et al. Accurate 3D textured models of vessels for the improvement of the educational tools of a museum
Zeman Essential Skills for 3D Modeling, Rendering, and Animation
JP2004297754A (en) Automatic photograph making apparatus
JP3984149B2 (en) Image processing system and image processing method
Raghavachary Rendering for Beginners: Image Synthesis using RenderMan
Fabio et al. Body movement based architecture
TWM549379U (en) Animation interactive system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061005

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees