JP2010271152A - Shape estimating system, photographing device, shape estimation method, program and recording medium - Google Patents

Shape estimating system, photographing device, shape estimation method, program and recording medium Download PDF

Info

Publication number
JP2010271152A
JP2010271152A JP2009122619A JP2009122619A JP2010271152A JP 2010271152 A JP2010271152 A JP 2010271152A JP 2009122619 A JP2009122619 A JP 2009122619A JP 2009122619 A JP2009122619 A JP 2009122619A JP 2010271152 A JP2010271152 A JP 2010271152A
Authority
JP
Japan
Prior art keywords
shape
light source
photographing
shadow
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009122619A
Other languages
Japanese (ja)
Other versions
JP5461064B2 (en
Inventor
Tomokazu Hiratsuka
Retsu Yamakawa
烈 山川
智一 平塚
Original Assignee
Kyushu Institute Of Technology
国立大学法人九州工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute Of Technology, 国立大学法人九州工業大学 filed Critical Kyushu Institute Of Technology
Priority to JP2009122619A priority Critical patent/JP5461064B2/en
Publication of JP2010271152A publication Critical patent/JP2010271152A/en
Application granted granted Critical
Publication of JP5461064B2 publication Critical patent/JP5461064B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a shape estimation system estimating more properly an object shape from an object shadow generated by a light source, or the like. <P>SOLUTION: In this shape estimation system 1, a shadow photographing device 5 arranges, for example, a plurality of light sources 15<SB>1</SB>-15<SB>N</SB>around a photographing part 19, and performs, for example, lighting control in the N-times for lighting one at a time, and a photographing part 19 photographs synchronously with each lighting control. Photographed data are stored in a photographed data storage part 21, and correction processing such as noise removal is applied by an image data correction part 27, and a characteristic information generation part 29 performs, for example, multi-stage wavelet multiple resolution analysis, and generates characteristic information showing a characteristic of the object 3 shadow acquired by taking a root mean square of each component. When the object 3 has a known shape, a learning part 31 allows learning of, for example, a self-organizing map. When the object 3 has an unknown shape, an estimation part 35 estimates one of known shapes as the object 3 shape by presenting it to the self-organizing map after learning. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本願発明は、形状推定システム、撮影装置、形状推定方法、プログラム及び記録媒体に関し、特に対象物の形状を推定する形状推定システム等に関する。   The present invention relates to a shape estimation system, a photographing apparatus, a shape estimation method, a program, and a recording medium, and particularly to a shape estimation system that estimates the shape of an object.
対象物体の三次元計測は、これまで、計測装置の煩雑さや処理全体の計算量の増大,あるいは前提条件の厳しさなど、ユーザーが簡便に利用するにあたって解決すべき問題点が存在する。   Until now, three-dimensional measurement of a target object has problems to be solved by the user for easy use, such as the complexity of the measurement apparatus, the increase in the amount of calculation of the entire process, or the strictness of the preconditions.
人間(生物)が三次元物体を立体として認知するメカニズムに関して、生理学的および心理学的な観点から、立体視における判断要素として物体の影情報を利用することが三次元情報取得の有効な手法である。このような手法として、例えば、特許文献1に記載されている、回転光源による凹みの検出が知られている。特許文献1には、光源をモーターなどの機械的な機構によって回転させ、光源からの光をミラーに反射させて試料を照明するものが記載されている。   From the physiological and psychological viewpoints, the effective method of acquiring 3D information is to use the shadow information of an object as a judgment element in stereoscopic vision, regarding the mechanism by which a human (living organism) recognizes a 3D object as a 3D object. is there. As such a technique, for example, detection of a dent by a rotating light source described in Patent Document 1 is known. Japanese Patent Application Laid-Open No. 2004-133867 describes a technique in which a sample is illuminated by rotating a light source by a mechanical mechanism such as a motor and reflecting light from the light source to a mirror.
特開2007−225539号公報JP 2007-225539 A
しかしながら、特許文献1記載の技術は、機械的な機構を用いるため、機械的な故障が発生しやすい。また、装置の小型化には不向きである。さらに、回転させることにより光源は円周上のみであり、カメラシャッターと回転光源の同期がとりづらく、さらに、慣性力により光源の高速回転が困難である。実際、特許文献1では、6rpmで、1回転で8回撮影するものである。   However, since the technique described in Patent Document 1 uses a mechanical mechanism, mechanical failure is likely to occur. Moreover, it is not suitable for downsizing of the apparatus. Further, by rotating, the light source is only on the circumference, and it is difficult to synchronize the camera shutter and the rotating light source, and it is difficult to rotate the light source at high speed due to inertial force. Actually, in Patent Document 1, the image is taken eight times at one revolution at 6 rpm.
よって、本願発明は、光源からの光により生じる対象物の影から対象物の形状をより適切に推定可能な形状推定システム等を提供することを目的とする。   Therefore, an object of this invention is to provide the shape estimation system etc. which can estimate the shape of a target object more appropriately from the shadow of the target object which arises with the light from a light source.
請求項1に係る発明は、対象物の形状を推定する形状推定システムであって、前記対象物の影を撮影する影撮影装置と前記影撮影装置により得られた撮影データから特徴情報を生成して前記対象物の形状を推定する形状推定装置を備え、前記影撮影装置は、前記対象物に対して光を放射する複数の光源と、前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影して撮影データを得る撮影手段を有する撮影装置を備え、前記形状推定装置は、前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、複数の既知の形状を撮影して生成された特徴情報について、相似する形状と相似しない形状とを区別可能な分類用データを記憶する分類用データ記憶手段と、前記撮影データを画像処理することにより、前記撮影データにおける対象物の影の特徴を示す分類対象特徴情報を生成する特徴情報生成手段と、前記分類用データにおいて、前記分類対象特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定する推定手段を備える。   The invention according to claim 1 is a shape estimation system for estimating the shape of an object, and generates feature information from a shadow imaging device that images a shadow of the object and imaging data obtained by the shadow imaging device. A shape estimation device configured to estimate the shape of the object, wherein the shadow imaging device performs a plurality of light sources that emit light to the object and a light source control that causes each light source to illuminate or not illuminate a plurality of times. A combination of a light source to be illuminated and a light source not to be illuminated in each light source control, and a shadow of the object is photographed multiple times in synchronization with each illumination control by the light source control means An imaging device having imaging means for obtaining imaging data, wherein the shape estimation device includes imaging data storage means for storing imaging data obtained by the imaging means, and a plurality of known shapes. About the feature information generated by shadowing, the classification data storage means for storing the classification data capable of distinguishing between the similar shape and the non-similar shape, and subjecting the imaging data to image processing by subjecting the imaging data to image processing A feature information generating unit that generates classification target feature information indicating a feature of a shadow of an object; and at least one of the known shapes that approximate the classification target feature information is estimated as the shape of the target object in the classification data Estimating means for performing
請求項2に係る発明は、請求項1記載の形状推定システムであって、前記各光源が、前記対象物の各撮影において、照明時も非照明時も同じ位置に存在する。   The invention according to claim 2 is the shape estimation system according to claim 1, wherein each light source is present at the same position in each photographing of the object during illumination and during non-illumination.
請求項3に係る発明は、請求項1記載の形状推定システムであって、前記撮影手段から前記光源への向きである軸について、前記複数の光源のうち、少なくとも3つの光源の軸が異なる。   The invention according to claim 3 is the shape estimation system according to claim 1, wherein at least three light sources among the plurality of light sources have different axes with respect to an axis that is a direction from the photographing unit to the light source.
請求項4に係る発明は、請求項1から3のいずれかに記載の形状推定システムであって、前記形状推定装置が前記対象物の各撮影に対応する複数の撮影データにおける影を示すデータに共通する部分を除去して修正画像データを生成する画像データ修正手段を備え、前記特徴情報生成手段が前記修正画像データから特徴情報を生成する。   The invention according to claim 4 is the shape estimation system according to any one of claims 1 to 3, wherein the shape estimation device includes data indicating a shadow in a plurality of pieces of imaging data corresponding to each imaging of the object. Image data correcting means for generating corrected image data by removing common portions is provided, and the feature information generating means generates feature information from the corrected image data.
請求項5に係る発明は、請求項1から4のいずれかに記載の形状推定システムであって、前記形状推定装置が、前記複数の光源のうち一部の光源を点灯させずに既知の形状を撮影して生成された特徴情報を用いて、前記分類用データを相似する形状と相似しない形状とを区別可能に学習させる学習手段を備え、前記学習手段は、点灯し又は点灯しなかった光源の組み合わせを示す情報を前記光源制御手段に送信する光源配置手段を有する。   The invention according to claim 5 is the shape estimation system according to any one of claims 1 to 4, wherein the shape estimation device has a known shape without lighting some of the plurality of light sources. And learning means for learning the classification data so as to be able to distinguish between a similar shape and a non-similar shape using the feature information generated by photographing the light source that is lit or not lit Light source arrangement means for transmitting information indicating the combination to the light source control means.
請求項6に係る発明は、対象物に対して光を放射する複数の光源と、前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影する撮影手段を有する撮影装置である。   The invention according to claim 6 includes a plurality of light sources that emit light to the object, and a light source control that does not illuminate or illuminate each light source a plurality of times and that illuminates in each light source control; A combination of light sources that are not illuminated is a photographing apparatus having a light source control unit and a photographing unit that photographs a shadow of the object a plurality of times in synchronization with each illumination control by the light source control unit.
請求項7に係る発明は、対象物の形状を推定する形状推定システムにおける形状推定方法であって、前記形状推定システムは、前記対象物の影を撮影する影撮影装置と前記影撮影装置により得られた撮影データから特徴情報を生成して前記対象物の形状を推定する形状推定装置を備え、前記影撮影装置は、前記対象物に対して光を放射する複数の光源と、前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影して撮影データを得る撮影手段を有する撮影装置を備えるものであり、前記形状推定装置は、前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、既知の形状の複数の対象物を撮影して生成された撮影データにおける対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報について、相似する形状と相似しない形状とを区別可能に学習された自己組織化マップを記憶する分類用データ記憶手段を備え、前記形状推定装置の特徴情報生成手段が、前記撮影データにおける未知の形状の対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、前記形状推定装置の推定手段が、前記自己組織化マップに提示して、当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップを含む。   The invention according to claim 7 is a shape estimation method in a shape estimation system for estimating the shape of an object, wherein the shape estimation system is obtained by a shadow imaging device that captures a shadow of the object and the shadow imaging device. A shape estimation device that generates feature information from the captured image data and estimates the shape of the object, wherein the shadow imaging device includes a plurality of light sources that emit light to the object, and each of the light sources. The light source control is performed a plurality of times, and the combination of the light source to be illuminated and the light source to be unilluminated in each light source control is different, and is synchronized with each illumination control by the light source control unit. A photographing device having photographing means for obtaining photographing data by photographing a shadow of the object a plurality of times, and the shape estimation device is a photographing obtained by the photographing means. Each of multi-stage wavelet multi-resolution analysis with respect to the corrected image data indicating the shadow of the object in the imaging data generated by imaging a plurality of objects having a known shape; For feature information having components as elements, it comprises a classification data storage means for storing a self-organizing map learned so as to be able to distinguish between a similar shape and a non-similar shape, and the feature information generating means of the shape estimation device comprises: Generating feature information having each component of multi-stage wavelet multi-resolution analysis as an element for corrected image data indicating a shadow of an object of an unknown shape in the photographed data; and an estimation unit of the shape estimation device, A step of estimating at least one of the known shapes approximated to the feature information as the shape of the object, which is presented on the self-organizing map. Including the.
請求項8に係る発明は、コンピュータにおいて、学習手段が既知の形状の複数の対象物に対して光を放射する複数の光源のうち少なくとも一部を照明させずに撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報により相似する形状と相似しない形状とを区別可能に自己組織化マップを学習させるステップと、学習手段の光源配置手段が少なくとも前記照明させない光源を特定可能な情報を前記複数の光源の点灯を制御する光源制御手段に送信するステップと、特徴情報生成手段が未知の形状の対象物に対して前記光源制御手段による光源制御に同期して撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、推定手段が前記自己組織化マップに提示して当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップを実現させるためのプログラムである。   According to an eighth aspect of the present invention, in the computer, the object in the photographing data photographed without illuminating at least a part of the plurality of light sources that emit light to the plurality of objects having a known shape by the learning unit. A step of learning a self-organizing map so that a similar shape and a non-similar shape can be distinguished from each other by using feature information including each component of multi-stage wavelet multi-resolution analysis for the corrected image data indicating the shadow of an object, A step of transmitting information capable of specifying at least the light source that is not illuminated by the light source arrangement unit of the learning unit to a light source control unit that controls lighting of the plurality of light sources; and a feature information generation unit for an object having an unknown shape A multi-stage weight is applied to the corrected image data indicating the shadow of the object in the photographing data photographed in synchronization with the light source control by the light source control means. Generating feature information having each component of bullet multi-resolution analysis as an element; and at least one of the known shapes that the estimation means presents on the self-organizing map and approximates the feature information. It is a program for realizing the step of estimating as a shape.
請求項9に係る発明は、請求項8記載のプログラムを記録するコンピュータ読み取り可能な記録媒体である。   The invention according to claim 9 is a computer-readable recording medium for recording the program according to claim 8.
なお、各光源は、撮影手段の周囲に設けられるものであってもよい。また、各光源は、2種類以上の波長のものが含まれてもよい。このような光源を利用することにより、色選択的撮影が可能となる。さらに、撮影手段が、フィルタ等により色選択的撮影をするものであってもよい。   Each light source may be provided around the photographing means. Each light source may include two or more types of wavelengths. By using such a light source, color selective photographing can be performed. Further, the photographing unit may perform color selective photographing using a filter or the like.
本願発明では、対象物の影画像を取得するために、例えば回転照射軸アレイデバイス(図2及び図3参照)のような新たな影撮影装置を提案している。これにより複数方向からの影画像を取得可能とあり、また、このような装置は安価な市販品による構成が可能である。   In the present invention, in order to acquire a shadow image of an object, a new shadow photographing apparatus such as a rotating irradiation axis array device (see FIGS. 2 and 3) is proposed. Thereby, it is possible to acquire shadow images from a plurality of directions, and such an apparatus can be configured with an inexpensive commercial product.
さらに、本願発明において、例えば特徴情報生成手段29がウェーブレット解析により特徴情報を生成することにより、局所的なエッジ特徴、大域的なテクスチャ特徴を抽出可能となり、さらに、学習手段が自己組織化マップを学習させて、推定手段は学習後の自己組織化マップを用いて形状推定を行うことができる。   Further, in the present invention, for example, the feature information generating means 29 generates feature information by wavelet analysis, so that local edge features and global texture features can be extracted, and further, the learning means generates a self-organizing map. By learning, the estimation means can perform shape estimation using the self-organizing map after learning.
本願発明によれば、特許文献1記載の従来技術と比べても、撮影画像にぼやけがなく、鮮明な画像で高精度画像処理が可能となる。また、ミラーや回転部分などの機械的な機構がなく壊れにくいため、信頼性が大きい。さらに、仮に対象物体が動作するものであっても、光源の高速な回転スイッチングにより、対象物体の動きに対応することができる。さらに、装置の小型化が可能であり、顕微鏡を付加することにより、例えば口腔癌などの検出のように、より微小な組織の観察が可能である。さらに、ウェーブレット解析によりエッジ情報及びテクスチャ情報を抽出できるので、単体の立体構造物の形状推定だけでなく、表面に細かな凹凸が連続する表面粗さの判別を、他の手法を用いることなく行うことができる。さらに、表面に凹凸がある立体構造物の形状推定をも可能となることが予想される。   According to the present invention, compared with the prior art described in Patent Document 1, the captured image is not blurred and high-precision image processing is possible with a clear image. Further, since there is no mechanical mechanism such as a mirror or a rotating part and it is difficult to break, reliability is high. Furthermore, even if the target object operates, it is possible to cope with the movement of the target object by high-speed rotational switching of the light source. Furthermore, the apparatus can be miniaturized, and by adding a microscope, a finer tissue can be observed, for example, for detection of oral cancer. Furthermore, since edge information and texture information can be extracted by wavelet analysis, not only estimation of the shape of a single three-dimensional structure but also determination of surface roughness with continuous fine irregularities on the surface can be performed without using other methods. be able to. Furthermore, it is expected that the shape of a three-dimensional structure having irregularities on the surface can be estimated.
本願発明の実施の形態に係る形状推定システム1の概略ブロック図である。1 is a schematic block diagram of a shape estimation system 1 according to an embodiment of the present invention. 回転照射軸アレイデバイスの基本構造、撮影状況及び撮影部19と対象物3との関係を示す図である。It is a figure which shows the basic structure of a rotation irradiation axis array device, the imaging | photography condition, and the relationship between the imaging | photography part 19 and the target object 3. FIG. 回転照射軸アレイデバイスの動作及び回転軸の回転による対象物3(ナット)の撮影例を示す図である。It is a figure which shows the example of imaging | photography of the target object 3 (nut) by operation | movement of a rotation irradiation axis array device and rotation of a rotating shaft. 図1の画像データ修正部27の動作の一例を説明するための図である。It is a figure for demonstrating an example of operation | movement of the image data correction part 27 of FIG. 図1の特徴情報生成部29の動作の一例を説明するための図である。It is a figure for demonstrating an example of operation | movement of the characteristic information generation part 29 of FIG. 図1の学習部31及び推定部35の動作の一例を説明するための図である。It is a figure for demonstrating an example of operation | movement of the learning part 31 and the estimation part 35 of FIG. 図1の影撮影装置5の一例である回転照射軸アレイデバイスの光源配置が推定結果に及ぼす影響の実験を示す第1図である。It is FIG. 1 which shows the experiment of the influence which the light source arrangement | positioning of the rotation irradiation axis | shaft array device which is an example of the shadow imaging device of FIG. 1 has on an estimation result. 回転照射軸アレイデバイスの光源配置が推定結果に及ぼす影響の実験を示す第2図である。It is FIG. 2 which shows the experiment of the influence which the light source arrangement | positioning of a rotation irradiation axis | shaft array device has on an estimation result. 回転照射軸アレイデバイスの照射軸数が形状推定に及ぼす影響の実験を示す第1図である。It is FIG. 1 which shows the experiment of the influence which the number of irradiation axes of a rotation irradiation axis array device has on shape estimation. 回転照射軸アレイデバイスの照射軸数が形状推定に及ぼす影響の実験を示す第2図である。It is FIG. 2 which shows the experiment of the influence which the number of irradiation axes of a rotation irradiation axis array device has on shape estimation. 回転照射軸アレイデバイスによる撮影の際、対象物体の水平方向のずれが及ぼす影響の実験を示す図である。It is a figure which shows the experiment of the influence which the shift | offset | difference of the horizontal direction of a target object exerts at the time of imaging | photography with a rotation irradiation axis array device. 回転照射軸アレイデバイスを用いた三次元形状推定の応用例として、物体表面の粗さ判別を行う実験を示す第1図である。FIG. 3 is a first diagram illustrating an experiment for determining roughness of an object surface as an application example of three-dimensional shape estimation using a rotary irradiation axis array device. 回転照射軸アレイデバイスを用いた三次元形状推定の応用例として、物体表面の粗さ判別を行う実験を示す第2図である。It is FIG. 2 which shows the experiment which performs the roughness discrimination | determination of an object surface as an application example of three-dimensional shape estimation using a rotation irradiation axis array device. 図1の光源配置部37の動作を中心として、遺伝的アルゴリズム(GA)により光源配置を最適化する実験を示す第1図である。FIG. 3 is a first diagram illustrating an experiment for optimizing the light source arrangement by a genetic algorithm (GA) with the operation of the light source arrangement unit 37 of FIG. 1 as a center. 図1の光源配置部37の動作を中心として、遺伝的アルゴリズム(GA)により光源配置を最適化する実験を示す第2図である。FIG. 9 is a second diagram illustrating an experiment for optimizing the light source arrangement by a genetic algorithm (GA) with a focus on the operation of the light source arrangement unit 37 of FIG. 1.
以下、本願発明の実施例について説明する。ただし、本願発明は、記載した実施例に限定されるものではない。   Examples of the present invention will be described below. However, the present invention is not limited to the described embodiments.
図1は、本願発明の実施の形態に係る形状推定システム1の概略ブロック図である。形状推定システム1は、対象物3の形状を推定するものである。形状推定システム1は、対象物3の影を撮影する影撮影装置5と、影撮影装置5により得られた撮影データから特徴情報を生成して対象物3の形状を推定する形状推定装置7を備える。   FIG. 1 is a schematic block diagram of a shape estimation system 1 according to an embodiment of the present invention. The shape estimation system 1 estimates the shape of the object 3. The shape estimation system 1 includes a shadow imaging device 5 that captures a shadow of the object 3 and a shape estimation device 7 that generates feature information from the imaging data obtained by the shadow imaging device 5 and estimates the shape of the object 3. Prepare.
影撮影装置5は、対象物3が設置されるステージ11(例えば、対象物体設置ステージ)と、ステージ11上に生じる対象物3の影を撮影する撮影装置13を備える。撮影装置13は、複数の光源151,・・・,15Nと、各光源の点灯を制御する光源制御部17と、ステージ11の正面にあり、光源の点灯制御と同期して、光源の点灯により対象物3及びステージ上に生じた対象物3の影を撮影する撮影部19を備える。撮影部19は、撮影して得られた撮影データを形状推定装置7に送信する。 The shadow imaging device 5 includes a stage 11 (for example, a target object installation stage) on which the object 3 is installed, and an imaging device 13 that images the shadow of the object 3 generated on the stage 11. The imaging device 13 is provided in front of the plurality of light sources 15 1 ,..., 15 N , the light source control unit 17 that controls the lighting of each light source, and the stage 11. An imaging unit 19 that captures the shadow of the object 3 and the object 3 generated on the stage by lighting is provided. The imaging unit 19 transmits imaging data obtained by imaging to the shape estimation device 7.
形状推定装置7は、影撮影装置5から受信した撮影データを受信し、撮影データ記憶部21に格納する撮影データ収集部23と、撮影データ記憶部21に記憶された撮影データを画像処理して対象物3の影を示す情報を抽出し、抽出後の画像データである修正画像データを修正画像データ記憶部25に格納する画像データ修正部27と、修正画像データ記憶部25に記憶された修正画像データから特徴情報を生成する特徴情報生成部29と、形状を学習する段階において、生成された特徴情報から自己組織化マップ(Self Organizing Map:SOM)を生成して分類用データ記憶部33と、形状を推定する段階において、SOMにおける生成された特徴情報の配置位置から形状を推定する推定部35を備える。また、学習部31は、例えば各光源151,・・・15Nの点灯・非点灯、点灯のタイミングなどの光源を制御するための情報を生成して影撮影装置5の光源制御部17に送信する光源配置部37を備える。 The shape estimation device 7 receives the imaging data received from the shadow imaging device 5, performs image processing on the imaging data collection unit 23 stored in the imaging data storage unit 21 and the imaging data stored in the imaging data storage unit 21. Information indicating the shadow of the object 3 is extracted, and the corrected image data, which is the image data after extraction, is stored in the corrected image data storage unit 25, and the correction stored in the corrected image data storage unit 25. A feature information generating unit 29 that generates feature information from image data, and a self-organizing map (SOM) generated from the generated feature information in the stage of learning the shape, and a classification data storage unit 33 In the stage of estimating the shape, an estimation unit 35 that estimates the shape from the arrangement position of the generated feature information in the SOM is provided. Further, the learning unit 31 generates information for controlling the light source such as lighting / non-lighting of each of the light sources 15 1 ,... 15 N , lighting timing, and the like to the light source control unit 17 of the shadow photographing device 5. A light source arrangement unit 37 for transmission is provided.
続いて、図2及び図3を参照して、影撮影装置5の一例である回転照射軸アレイデバイスを説明する。本デバイスの特長は、例えば、特殊な光源を必要とせず安価な市販品だけで構成でき、機械的な部分を持たないので耐故障性に優れ、電気的なスイッチングによって照射軸の高速切り替えが可能であり、さらに、対象に応じてサイズを自由に変更できる点などが挙げられる。   Next, a rotation irradiation axis array device that is an example of the shadow photographing device 5 will be described with reference to FIGS. The features of this device are, for example, that it can be configured with only a low-priced commercial product that does not require a special light source, has no mechanical parts, has excellent fault tolerance, and can switch the irradiation axis at high speed by electrical switching. In addition, the size can be freely changed according to the object.
図2は、回転照射軸アレイデバイスの基本構造、撮影状況及び撮影部19と対象物3との関係を示す図である。図2(A)を参照して、回転照射軸アレイデバイスには、撮影部19(例えば、カメラモジュール)と、撮影部19の周囲に配置された複数個の光源15(例えば、白色LED)が含まれる。   FIG. 2 is a diagram illustrating the basic structure of the rotary irradiation axis array device, the imaging situation, and the relationship between the imaging unit 19 and the object 3. Referring to FIG. 2A, the rotary irradiation axis array device includes an imaging unit 19 (for example, a camera module) and a plurality of light sources 15 (for example, white LEDs) arranged around the imaging unit 19. included.
撮影の時には、光源15の一つを点灯し、その照明によって作り出される影を撮影する。装置全体は、光源15以外の光源の影響を受けないように、外光遮断用ケース内に設置する。図2(B)は、外光遮断用ケースを閉じた状態(撮影時)を示す。図2(C)は、外光遮断用ケースを開けた状態(メンテナンス時など)を示す。図2(D)は、回転照射軸アレイデバイス内に対象物3としてナットを設置し、光源15のうち1つ(右端)のものを点灯した時に生じる影とその撮影状況を示す。   At the time of photographing, one of the light sources 15 is turned on to photograph a shadow created by the illumination. The entire apparatus is installed in an external light blocking case so as not to be affected by light sources other than the light source 15. FIG. 2B shows a state in which the external light blocking case is closed (during photographing). FIG. 2C shows a state where the external light blocking case is opened (for example, during maintenance). FIG. 2D shows a shadow generated when a nut is installed as the object 3 in the rotary irradiation axis array device and one of the light sources 15 (right end) is turned on, and the photographing situation thereof.
続いて、図2(E)を参照して、さまざまな対象物3に対して汎用性を持たせるために、回転照射軸アレイデバイスにおける撮影部19と対象物3との関係及び装置サイズの決定方法について説明する。図2(E)において、Lは光源(LED)、Cはカメラ(レンズ)、fは焦点距離、dはレンズと光源間の距離、aはレンズ中心からステージ11までの距離、bはレンズ中心からセンサまでの距離、hobjは対象物体の高さ、wobjは対象物体の幅、lshadowは影の長さ、Wworkは撮影範囲の横の長さである。 Next, referring to FIG. 2E, in order to provide versatility to various objects 3, the relationship between the imaging unit 19 and the object 3 in the rotary irradiation axis array device and the determination of the apparatus size are determined. A method will be described. 2E, L is a light source (LED), C is a camera (lens), f is a focal length, d is a distance between the lens and the light source, a is a distance from the lens center to the stage 11, and b is a lens center. The distance from the sensor to the sensor, h obj is the height of the target object, w obj is the width of the target object, l shadow is the length of the shadow, and W work is the horizontal length of the imaging range.
まず、対象物3と撮影範囲との関係は、撮影範囲内に対象物3と影が収まるようにするため、(1)式を満たす必要がある。lshadowは、三角形の相似関係から、(2)式のように表される。Wworkはカメラ(レンズ)の特性によって決まる値である。光学の基本公式より(3)式が成り立つ。ここで、撮影倍率をαとすると、αは(4)式で求めることができる。撮影範囲を求める際に必要とするパラメータは、aとαである。そのため、(3)及び(4)式よりbを削除して整理すると(5)式が求まる。ここで、焦点距離fが既知であることを前提とすると、(5)式よりaが決まればαを求めることができることがわかる。ただし、このときピントが合っているものとする。さらに、αが分かれば、(6)及び(7)式のように、センサのサイズ(横の長さwsensor及び縦の長さlsensor)から撮影範囲を求めることができる。ここで,Lworkは撮影範囲の縦の長さを示す。以上のように、対象物3とデバイスとのサイズの関係を表わすことができる。 First, the relationship between the object 3 and the shooting range needs to satisfy the expression (1) so that the object 3 and the shadow fall within the shooting range. l shadow is expressed by the equation (2) from the similarity of triangles. W work is a value determined by the characteristics of the camera (lens). Equation (3) holds from the basic formula of optics. Here, if the photographing magnification is α, α can be obtained by equation (4). Parameters required for obtaining the shooting range are a and α. Therefore, if b is deleted and rearranged from Equations (3) and (4), Equation (5) is obtained. Here, assuming that the focal length f is known, it can be seen that α can be obtained if a is determined from the equation (5). However, it is assumed that the camera is in focus at this time. Further, if α is known, the imaging range can be obtained from the sensor size (the horizontal length w sensor and the vertical length l sensor ) as in equations (6) and (7). Here, L work indicates the vertical length of the shooting range. As described above, the size relationship between the object 3 and the device can be expressed.
実際に本デバイスを使用するにあたって、デバイスサイズは以下に示す手順によって設定することができる。
1.対象物体のサイズから、必要な撮影範囲を概算する。
2.使用するカメラの特性(センサーサイズ,焦点距離)から撮影倍率を求める。
3.(5)式を用いて、レンズ中心からステージ11までの距離aが決定する。
4.(1)式を満たすように、レンズと光源間の距離dを調整する。
When actually using this device, the device size can be set by the following procedure.
1. Estimate the required shooting range from the size of the target object.
2. Obtain the shooting magnification from the characteristics of the camera used (sensor size, focal length).
3. The distance a from the lens center to the stage 11 is determined using equation (5).
4). The distance d between the lens and the light source is adjusted so as to satisfy the expression (1).
図3は、回転照射軸アレイデバイスの動作及び回転軸の回転による対象物3(ナット)の撮影例を示す図である。回転照射軸アレイデバイスでは、複数の光源を一つずつ切り替えることによって、光源の照射軸が変化する。これによって、各照射軸に対応した方向に物体の影が作り出される。図2(A)の場合は照射軸が8本あるので、8種類の影画像を撮影することができる。したがって、本デバイスによって、一つの対象物体に対して照射軸数分の影画像を取得することができ、対象物体の形状推定をより正確に推定することができる。   FIG. 3 is a diagram showing an example of photographing the object 3 (nut) by the operation of the rotating irradiation axis array device and the rotation of the rotating shaft. In the rotary irradiation axis array device, the irradiation axis of the light source changes by switching a plurality of light sources one by one. This creates a shadow of the object in the direction corresponding to each irradiation axis. In the case of FIG. 2A, since there are eight irradiation axes, eight types of shadow images can be taken. Therefore, with this device, shadow images for the number of irradiation axes can be acquired for one target object, and the shape estimation of the target object can be estimated more accurately.
図3(A)を参照して、回転照射軸アレイデバイスによる影の撮影方法は以下の通りである。なお、本実施例は、全ての照射軸について、光源を一つのみ点灯して撮影するものである。
1.対象物3をステージ11上に設置する(ステップSTC1)。
2.外光遮断用ケースを閉じる。
3.複数個ある光源のうち一つの照射軸のみを点灯し(ステップSTC2)、これと同期して対象物3及びステージ11上に作り出される影を撮影する(ステップSTC3)。
4.一つの照射軸による照明が終了したらその照射軸は消灯する。点灯していない照射軸があるか否かを判断し(ステップSTC4)、点灯していないものがあればステップSTC2に戻り、次の照射軸を点灯する。
With reference to FIG. 3 (A), the method of photographing a shadow using the rotary irradiation axis array device is as follows. In this embodiment, only one light source is turned on for all the irradiation axes.
1. The object 3 is placed on the stage 11 (step STC1).
2. Close the external light shielding case.
3. Only one irradiation axis among a plurality of light sources is turned on (step STC2), and a shadow created on the object 3 and the stage 11 is photographed in synchronization with this (step STC3).
4). When the illumination by one irradiation axis is completed, the irradiation axis is turned off. It is determined whether or not there is an irradiation axis that is not lit (step STC4). If there is an irradiation axis that is not lit, the process returns to step STC2, and the next irradiation axis is lit.
例えば図3(B)のように、照射軸は回転させる。光源は電気的に切り替え可能である。そのため、高速に処理することができる。図3(C)は、回転照射軸アレイデバイスによってナットを撮影した例を示す。照明L1〜L8による撮影結果は、それぞれ(a)〜(h)に対応している。図3(C)より、8方向の影画像を取得できていることがわかる。   For example, as shown in FIG. 3B, the irradiation axis is rotated. The light source can be switched electrically. Therefore, it can process at high speed. FIG. 3C shows an example in which a nut is photographed by a rotary irradiation axis array device. The photographing results by the illuminations L1 to L8 correspond to (a) to (h), respectively. It can be seen from FIG. 3C that shadow images in eight directions have been acquired.
続いて、図4から図6を参照して、図1の形状推定装置7の動作について具体的に説明する。図4は、図1の画像データ修正部27の動作の一例を説明するための図である。図5は、図1の特徴情報生成部29の動作の一例を説明するための図である。図6は、図1の学習部31及び推定部35の動作の一例を説明するための図である。   Next, the operation of the shape estimation apparatus 7 in FIG. 1 will be specifically described with reference to FIGS. 4 to 6. FIG. 4 is a diagram for explaining an example of the operation of the image data correction unit 27 of FIG. FIG. 5 is a diagram for explaining an example of the operation of the feature information generation unit 29 of FIG. FIG. 6 is a diagram for explaining an example of operations of the learning unit 31 and the estimation unit 35 of FIG.
まず、撮影データ収集部23は、撮影部19が送信した撮影データ(図3(A)ステップSTC5及び図3(C)参照)を受信し、撮影データ記憶部21に格納する。   First, the imaging data collection unit 23 receives the imaging data (see step STC5 in FIG. 3A and FIG. 3C) transmitted by the imaging unit 19 and stores it in the imaging data storage unit 21.
続いて、画像データ修正部27は、撮影データ記憶部21に記憶された撮影データを画像処理して対象物3の影を示す情報を抽出し、修正画像データを修正画像データ記憶部25に格納する。画像データ修正部27による修正は、例えば、照明ムラの除去やノイズ除去がある。まず、図4(A)〜(F)を参照して照明ムラの除去について説明する。続いて図4(G)〜(K)を参照してノイズ除去について説明する。   Subsequently, the image data correction unit 27 performs image processing on the shooting data stored in the shooting data storage unit 21 to extract information indicating the shadow of the object 3, and stores the correction image data in the correction image data storage unit 25. To do. The correction by the image data correction unit 27 includes, for example, removal of illumination unevenness and noise removal. First, the removal of illumination unevenness will be described with reference to FIGS. Next, noise removal will be described with reference to FIGS.
まず、図4(A)〜(F)を参照して照明ムラの除去について説明する。回転照射軸アレイデバイスは、点光源の照明(LED)を用いている。点光源による照明では、被照面の明るさは点光源と被照面間の距離の2乗に逆比例する、いわゆる距離の逆2乗法則が成り立つ。つまり、光源に近い面は明るく、遠い面は暗く観測される(図4(A)参照)。照明による明るさのムラは物体の影情報と混同してしまう可能性があるので、これを除去する必要がある。   First, the removal of illumination unevenness will be described with reference to FIGS. The rotary irradiation axis array device uses point light source illumination (LED). In illumination with a point light source, the brightness of the illuminated surface is inversely proportional to the square of the distance between the point light source and the illuminated surface, so-called the inverse square law of distance holds. That is, the surface close to the light source is observed bright and the surface far from the light source is observed dark (see FIG. 4A). Since the uneven brightness due to illumination may be confused with the shadow information of the object, it is necessary to remove it.
照明ムラの除去は、例えば、以下の手順により除去することができる。まず、回転照射軸アレイデバイスを用いて物体を撮影して得られた撮影データ(図4(A)参照)と、あらかじめ撮影しておいた物体なし画像(図4(B)参照)との差分を求める。次に、差分画像の輝度を調整し、照明ムラ除去画像とする(図5(C)参照)。これにより、照明ムラが除去されていることがわかる(図4(D)〜(F)参照)。なお、逆2乗法則から数値計算で輝度調整することもできる。しかし、光源と物体までの距離を正確に測定する必要があり処理が煩雑になる。   For example, the illumination unevenness can be removed by the following procedure. First, the difference between imaging data (see FIG. 4A) obtained by imaging an object using a rotary irradiation axis array device and an object-free image (see FIG. 4B) that has been captured in advance. Ask for. Next, the brightness of the difference image is adjusted to obtain an illumination unevenness removed image (see FIG. 5C). Thereby, it turns out that the illumination nonuniformity is removed (refer FIG.4 (D)-(F)). Note that the luminance can be adjusted by numerical calculation from the inverse square law. However, it is necessary to accurately measure the distance between the light source and the object, and the processing becomes complicated.
続いて、図4(G)〜(K)を参照してノイズ除去について説明する。図4(G)は、ノイズ除去を示すフロー図である。対象物3の表面の模様は影情報と混同してしまい、推定結果に影響を及ぼすと考えられる。そのため、対象物3の表面は、理想的には模様などは存在しない方が良い。しかしながら、実際には、物体表面に好ましくない情報(=ノイズ)が存在することは多い。そこで、回転照射軸アレイデバイスによって取得した影画像を用いてノイズの除去を行う。   Next, noise removal will be described with reference to FIGS. FIG. 4G is a flowchart showing noise removal. It is considered that the pattern on the surface of the object 3 is confused with the shadow information and affects the estimation result. Therefore, the surface of the object 3 should ideally have no pattern or the like. However, in practice, there is often undesired information (= noise) on the object surface. Therefore, noise is removed using the shadow image acquired by the rotary irradiation axis array device.
画像データ修正部27は、ノイズ除去を、例えば以下の手順により実現する。
1.回転照射軸アレイデバイスの撮影データは、照射軸数をN本とすると、同一の対象物体に対してN枚となる。
2.回転照射軸アレイデバイスによって取得したN枚の影画像を二値化する(図4(G)のステップSTM1)。黒く残った影およびノイズ部分を1、白い背景部分を0とする(図4(H)のBinarize処理参照)。
3.二値化画像上のピクセルPn x,yについて、(8)式のようにN枚分のピクセルの値を合計する。ここで、nは画像番号、x,yはピクセル座標、Sx,yは座標(x,y)におけるピクセル値の合計を表す。
4.全ピクセルについてSx,yを求めた後、(9)式によってFx,yを求める。Fx,yは抽出されたノイズ画像となる。すなわち、ノイズ部分は照射軸の方向によって変化しないので、二値化後の画像ではN枚すべてに情報が残っているはずである。一方、影の部分は、照射軸の方向によって影の出来る方向も変化するので、(9)式によって除外される。結果として、Fx,yにはノイズ情報(ノイズ領域)のみが抽出される(ステップSTM2)(図4(H)のノイズの抽出参照)。
5.各画像データにおいて、抽出したノイズ領域の明度を上げることにより、ノイズ領域を除去する(ステップSTM3)。除去して得られた修正画像データは、修正画像データ記憶部25に格納される。
The image data correction unit 27 implements noise removal, for example, according to the following procedure.
1. The imaging data of the rotary irradiation axis array device is N for the same target object when the number of irradiation axes is N.
2. The N shadow images acquired by the rotary irradiation axis array device are binarized (step STM1 in FIG. 4G). The black shadow and noise portion are set to 1, and the white background portion is set to 0 (see Binarize processing in FIG. 4H).
3. For the pixels P n x, y on the binarized image, the values of N pixels are summed as shown in equation (8). Here, n represents an image number, x and y represent pixel coordinates, and S x, y represents the sum of pixel values at coordinates (x, y).
4). After obtaining S x, y for all pixels, F x, y is obtained according to equation (9). F x, y is the extracted noise image. That is, since the noise part does not change depending on the direction of the irradiation axis, information should remain on all N sheets in the binarized image. On the other hand, the shadow portion is also excluded by the equation (9) because the direction in which the shadow is formed also changes depending on the direction of the irradiation axis. As a result, only noise information (noise area) is extracted from F x, y (step STM2) (see noise extraction in FIG. 4H).
5). In each image data, the noise area is removed by increasing the brightness of the extracted noise area (step STM3). The corrected image data obtained by the removal is stored in the corrected image data storage unit 25.
図4(I)はノイズが存在する撮影データを示す。図4(J)は抽出されたノイズ領域を示す。そして、図4(K)は、ノイズが除去された修正画像データの一例を示す。なお、画像補完に関する研究は数多く行われている(例えばM.Bertalmio、外1名著,“Vincent Caselles and Coloma Ballester,Image inpainting,”ACM Transactions on Graphics(SIGGRAPH 2000),pp.417−424,2000など参照)。そのような画像補完手法を用いてもよい。   FIG. 4 (I) shows photographing data in which noise exists. FIG. 4J shows the extracted noise region. FIG. 4K shows an example of corrected image data from which noise has been removed. Many studies on image completion have been conducted (for example, M. Bertalmio, one other author, “Vincent Caselles and Coloma Ballester, Image inpainting,” ACM Transactions on Graphics (SIGGRAPH 2000), pp. 417-424, 2000, etc. reference). Such an image complementing method may be used.
続いて、図5を参照して、図1の特徴情報生成部29の動作の一例について説明する。特徴情報生成部29は、例えば、修正画像データ記憶部25に記憶された修正画像データから、影のエッジ特徴をウェーブレット多重解像度解析(WMRA)によって抽出し、SOMの入力データ(特徴情報)を生成するものである。   Next, an example of the operation of the feature information generation unit 29 in FIG. 1 will be described with reference to FIG. For example, the feature information generation unit 29 extracts shadow edge features from the corrected image data stored in the corrected image data storage unit 25 by wavelet multi-resolution analysis (WMRA), and generates SOM input data (feature information). To do.
ウェーブレット変換(例えばC.K.Chui著,An Introduction to Wavelets,Academic Press,1992参照)は、1982年頃にJ.Morletが人工地震の反射波解析の際に導入した技術である。周波数解析として、フーリエ変換が長年利用されていた。しかし、フーリエ変換は周波数の局在性に弱点があった。局所的に周波数が変化する信号に対して周波数の変化点を検出することは重要であり、また比較的日常にこのような問題が潜んでいる。そのため、局所的な解析に有効なウェーブレット変換は、多くの理論的基礎付けや応用が試みられ、その実用性が注目されるようになったものである。   The wavelet transform (see, for example, C.K. Chui, An Introduction to Wavelets, Academic Press, 1992) This technology was introduced by Morlet for analysis of reflected waves of artificial earthquakes. For frequency analysis, Fourier transform has been used for many years. However, the Fourier transform has a weak point in frequency localization. It is important to detect a frequency change point with respect to a signal whose frequency changes locally, and such a problem lurks relatively on a daily basis. Therefore, wavelet transform effective for local analysis has been tried for many theoretical foundations and applications, and its practicality has attracted attention.
ウェーブレットは、三角関数や対数関数のような特定の決まった関数ではなく、局在する波を表す様々な関数の総称である。解析者は、観測された信号やパターンに対して、ウェーブレットを用いてその信号の局所的様子を調べるために、局所的な基本参照波(マザーウェーブレット)を決定する。基本参照波は、ウェーブレットであるための基本条件であり、基本参照波が振動的であることを示すウェーブレット条件と呼ばれる所定の条件を満たす関数である。また、解析者は、基本参照波をスケール(伸縮)、トランスレート(平行移動、シフト)することで得られる参照波(ドウターウェーブレット)をいくつか用意して、これらと信号との関係を調べる。基本参照波は、一種の高周波フィルタである。   A wavelet is not a specific fixed function such as a trigonometric function or a logarithmic function, but a generic name for various functions that represent localized waves. The analyst determines a local basic reference wave (mother wavelet) in order to examine the local state of the observed signal or pattern using a wavelet. The basic reference wave is a basic condition for being a wavelet, and is a function that satisfies a predetermined condition called a wavelet condition indicating that the basic reference wave is oscillatory. In addition, the analyst prepares several reference waves (daughter wavelets) obtained by scaling (extending / contracting) and translating (translating and shifting) the basic reference wave, and examines the relationship between these and the signal. The fundamental reference wave is a kind of high frequency filter.
連続ウェーブレット変換は、入力信号と参照波(ドウターウェーブレット)との内積で与えられる。スケールパラメータとトランスレートパラメーラを適切に決定することによって、解析する波形中のこれと相似な様々なスケールの波形を、時間(場所)軸情報を失うことなく抽出することができる。また、時間シフトとスケールが離散的な値をとる場合は、離散ウェーブレット変換と呼ばれる。離散ウェーブレットでは、マザーウェーブレットとする関数は基底関数となるものでなければならない。   The continuous wavelet transform is given by an inner product of an input signal and a reference wave (Daughter wavelet). By appropriately determining the scale parameter and the translation parameter, waveforms of various scales similar to the waveform to be analyzed can be extracted without losing the time (location) axis information. Further, when the time shift and the scale take discrete values, it is called a discrete wavelet transform. In discrete wavelets, the function to be the mother wavelet must be a basis function.
また、一般に、原信号の空間は、スケーリング関数と呼ばれる関数を用いて、低周波成分のウェーブレット空間と高周波成分のウェーブレット空間に直交分解することが知られている。ここで、スケーリング関数はツースケール数列と呼ばれる所定の数列により決定されるものである。この直交分解を次々と行う一連の操作は、多重解像度解析と呼ばれる。多重解像度解析を行うことにより、解像度スケーラビリティを得ることができる。   Further, it is generally known that the original signal space is orthogonally decomposed into a low-frequency component wavelet space and a high-frequency component wavelet space using a function called a scaling function. Here, the scaling function is determined by a predetermined number sequence called a two-scale number sequence. A series of operations for successively performing this orthogonal decomposition is called multi-resolution analysis. By performing multi-resolution analysis, resolution scalability can be obtained.
多重解像度解析の原理を用いて,実際に原信号を低周波数と高周波数の成分に分ける変換をMallat変換という。スケーリング関数を決定するツースケール数列と同様にして、基本参照波を決定するウェーブレット数列を定義することができる。Mallat変換についてはツースケール数列とウェーブレット数列のみを含んだ高速の分解公式及び復元公式が知られている。原画にMallat変換を適用すると、第1低周波成分と第1高周波成分が得られる。さらに、第1低周波成分を原画像とみなして分解公式を適用すると、第2低周波成分と第2高周波成分が得られる。このように次々に分解公式を適用すると、たった一つの低周波成分と、解像度の異なった高周波成分の集まりが得られる。復元公式を用いると原画像を復元できるので、分解によって得られたこのような低周波成分と高周波成分の集まりは原画像と同等である。   The conversion that actually separates the original signal into low-frequency and high-frequency components using the principle of multi-resolution analysis is called Mallat conversion. In the same way as the two-scale sequence that determines the scaling function, a wavelet sequence that determines the fundamental reference wave can be defined. For the Mallat transform, fast decomposition and restoration formulas that contain only two-scale and wavelet sequences are known. When Mallat transform is applied to the original image, a first low frequency component and a first high frequency component are obtained. Furthermore, when the first low-frequency component is regarded as the original image and the decomposition formula is applied, the second low-frequency component and the second high-frequency component are obtained. When the decomposition formulas are applied one after another in this way, only one low frequency component and a collection of high frequency components having different resolutions can be obtained. Since the original image can be restored by using the restoration formula, the collection of such low frequency components and high frequency components obtained by the decomposition is equivalent to the original image.
画像に対して周波数分解を行う場合、画像は二次元であるので二次元の離散ウェーブレット変換が必要となる。これは一次元の離散ウェーブレット変換を垂直方向・水平方向に行うことで実現できる。この結果、原画像は4つの周波数成分(サブバンド)に分解される。このように離散ウェーブレット変換により、さまざまな解像度の画像を容易に得ることができる。   When performing frequency decomposition on an image, since the image is two-dimensional, a two-dimensional discrete wavelet transform is required. This can be realized by performing a one-dimensional discrete wavelet transform in the vertical and horizontal directions. As a result, the original image is decomposed into four frequency components (subbands). Thus, images of various resolutions can be easily obtained by the discrete wavelet transform.
図1の特徴情報生成部29は、修正画像データ記憶部25に記憶された修正画像データから、影のエッジ特徴をウェーブレット多重解像度解析によって抽出し、SOMの入力データとする。以下では、ウェーブレット多重解像度解析によってSOMの入力データを生成するまでの流れを示す。
1.N枚の修正画像データのうち一枚について(図5(A)のステップSTT1)、ウェーブレット多重解像度解析を3レベルまで行い、水平成分、垂直成分、対角成分、各3枚ずつ計9枚の分解画像(ウェーブレット係数)を得る(ステップSTT2)。これらは、各方向成分に対する元画像のエッジ特徴を抽出している。
2.ウェーブレット係数は、画像のピクセル数と同じだけ算出される。これらをすべてSOMの入力データとして用いると、SOMの計算量が増大し、時間がかかってしまう。そこで、各成分の画像について(10)式に示す二乗平均平方根(RMS:Root Mean Square)を計算する(ステップSTT3)。ここで、qiはあるピクセルに対するウェーブレット係数、qrmsは一枚の分解画像におけるRMS値である。
3.残りの修正画像データに対しても同様にウェーブレット変換し、各分解画像についてRMS値を計算する(ステップSTT4)。
4.全ての修正画像データを処理した時点で、N×9個のRMS値が求まっていることになる。これらのRMS値をN×9次元のベクトルとし(ステップSTT5)、自己組織化マップの入力データとして用いる。
The feature information generation unit 29 in FIG. 1 extracts shadow edge features from the corrected image data stored in the corrected image data storage unit 25 by wavelet multi-resolution analysis, and uses it as SOM input data. In the following, a flow until SOM input data is generated by wavelet multi-resolution analysis is shown.
1. For one of the N pieces of corrected image data (step STT1 in FIG. 5A), wavelet multi-resolution analysis is performed up to three levels, and a total of nine horizontal components, three vertical components, and three diagonal components. A decomposed image (wavelet coefficient) is obtained (step STT2). These extract the edge features of the original image for each direction component.
2. The wavelet coefficients are calculated as many as the number of pixels of the image. If all of these are used as SOM input data, the amount of calculation of the SOM increases and takes time. Therefore, the root mean square (RMS) shown in equation (10) is calculated for each component image (step STT3). Here, q i is a wavelet coefficient for a certain pixel, and q rms is an RMS value in one decomposed image.
3. The remaining corrected image data is similarly subjected to wavelet transform, and an RMS value is calculated for each decomposed image (step STT4).
4). When all the corrected image data are processed, N × 9 RMS values are obtained. These RMS values are converted into N × 9-dimensional vectors (step STT5) and used as input data for the self-organizing map.
図5(B)〜(E)は、図2(A)にあるように照射軸数8本の場合の特徴情報の生成処理の具体例を示す図である。図5(B)は、8枚の撮影データimage1〜image8を示す。図5(C)は、画像データ修正部がimage1に対して影を抽出して生成した修正画像データを示す。図5(D)は、3レベルのウェーブレット多重解像度解析により得られた分解画像を示す。そして、図5(E)に示されるように、9枚の分解画像のそれぞれについてRMSを計算し、さらに、他のimage2〜image8についても同様に計算することにより、9×8=72次元のベクトルxが算出される。   FIGS. 5B to 5E are diagrams illustrating a specific example of the feature information generation process in the case where the number of irradiation axes is eight as illustrated in FIG. FIG. 5B shows eight pieces of shooting data image1 to image8. FIG. 5C shows corrected image data generated by the image data correction unit extracting a shadow from image1. FIG. 5D shows a decomposed image obtained by three-level wavelet multi-resolution analysis. Then, as shown in FIG. 5E, the RMS is calculated for each of the nine decomposed images, and the other image2 to image8 are calculated in the same manner, thereby obtaining a 9 × 8 = 72-dimensional vector. x is calculated.
続いて、図6を参照して、図1の学習部31による自己組織化マップ(SOM)(例えばT.Kohonen著,“Self-organized formation of topologically correct feature maps,”Biological Cybernetics,Vol.43,pp.59−69,1982参照)の作成処理及び推定部35による形状の推定処理について説明する。   Next, referring to FIG. 6, a self-organizing map (SOM) by the learning unit 31 of FIG. 1 (for example, “Self-organized formation of topologically correct feature maps,” Biological Cybernetics, Vol. 43, by T. Kohonen, pp. 59-69, 1982) and shape estimation processing by the estimation unit 35 will be described.
図6(A)は、ユニットが一次元に配置された競合層をもつSOMの一般的な構成を示す図である。SOMは、それぞれn個、M個のユニットをもつ入力層(Input Layer)と競合層(Competitive Layer)から構成される。競合層上のj番目のユニット(競合層ユニットj)は、(11)式で表される参照ベクトル(reference vector)をもち、入力層から提示される入力ベクトルxとの比較を行う。SOMでは、ベクトル集合を入力層に提示し、選択された競合層ユニットの参照ベクトルを更新する。この操作を繰り返し行うことで、競合層ユニットの参照ベクトルは入力ベクトル集合のもつ特徴を抽出する。この過程を学習と呼ぶ。参照ベクトルを更新するユニットを競合により決定するので、特別に競合学習と呼ぶこともある。これは、教師なし学習の1つである。学習に用いる入力ベクトル集合Xとして、(12)式のL個のベクトルを考える。   FIG. 6A is a diagram showing a general configuration of an SOM having a competitive layer in which units are arranged one-dimensionally. The SOM includes an input layer (Input Layer) and a competitive layer (Competitive Layer) each having n and M units. The j-th unit (competitive layer unit j) on the competitive layer has a reference vector represented by the equation (11) and compares it with the input vector x presented from the input layer. In SOM, the vector set is presented to the input layer, and the reference vector of the selected competitive layer unit is updated. By repeating this operation, the reference vector of the competitive layer unit extracts the features of the input vector set. This process is called learning. Since the unit for updating the reference vector is determined by competition, it is sometimes called special learning. This is one of unsupervised learning. As an input vector set X used for learning, consider L vectors of equation (12).
SOMの学習は、以下の手順に従って行われる。
0.競合層ユニットの参照ベクトルの初期化を行う。通常、乱数を用いてすべての参照ベクトルwjの値を決定する。
1.ベクトル集合Xの中から1つのベクトルxlを選択し入力層へ提示する。以後、このベクトルを入力ベクトルと呼び、特別な場合を除いてその番号1を省略する。
2.入力ベクトルとのユークリッド距離が最小となる参照ベクトルをもつ競合層ユニットcを(13)式で決定し、勝者ユニットとする。競合層上で、勝者ユニットの近傍に位置するユニットを近傍ユニットとする。
3.勝者ユニット及び近傍ユニットの参照ベクトルを(14)式で更新する。ここで,tは学習のステップを表す。wj(t+1)とwj(t)はそれぞれ更新後と更新前の参照ベクトルを表す。αSOM(t)は学習ステップtにおける学習係数である。近傍ユニットを定義する範囲(近傍範囲)はNc,SOM(t)で表す。
4.ベクトル集合Xの中に一度も選択していないベクトルがある場合は、ステップ1に戻り、これまで選択していないベクトルを新たな入力ベクトルとする。ベクトル集合X内の全てのベクトルを選択した場合は、ステップ5に進む。
5.ステップ1〜ステップ4の操作を規定回数繰り返す。繰り返す過程で、学習係数αSOM(t)と近傍範囲Nc,SOM(t)を小さくしていく。
SOM learning is performed according to the following procedure.
0. Initialize the reference vector of the competitive layer unit. Usually, the values of all reference vectors w j are determined using random numbers.
1. One vector xl is selected from the vector set X and presented to the input layer. Hereinafter, this vector is called an input vector, and its number 1 is omitted except in special cases.
2. The competitive layer unit c having the reference vector that minimizes the Euclidean distance from the input vector is determined by the equation (13), and is determined as the winner unit. A unit located in the vicinity of the winner unit on the competitive layer is defined as a neighboring unit.
3. The reference vectors of the winner unit and the neighboring units are updated using equation (14). Here, t represents a learning step. w j (t + 1) and w j (t) represent reference vectors after update and before update, respectively. α SOM (t) is a learning coefficient in the learning step t. The range (neighboring range) that defines the neighboring unit is represented by N c, SOM (t).
4). When there is a vector that has never been selected in the vector set X, the process returns to step 1 and a vector that has not been selected so far is set as a new input vector. If all the vectors in the vector set X have been selected, the process proceeds to step 5.
5). Steps 1 to 4 are repeated a specified number of times. In the process of repetition, the learning coefficient α SOM (t) and the neighborhood range N c, SOM (t) are reduced.
SOMにおいて、参照ベクトルの位置関係は、競合層ユニットの位置関係を保持している。これは、勝者ユニットとその近傍ユニットの参照ベクトルが同時に更新されることに起因する。学習後の自己組織化マップに入力ベクトルを提示すると、距離の近い入力ベクトルは競合層上で近くに位置するユニットを勝者ユニットとする。これは、相対的な位置関係を保持したまま入力ベクトルを競合層へ写像することを意味し、トポロジカルマッピングと呼ばれている。この特徴を利用して、自己組織化マップをパターン分類へ応用した研究が数多く報告されている。   In SOM, the positional relationship of the reference vectors holds the positional relationship of the competitive layer units. This is because the reference vectors of the winner unit and its neighboring units are updated simultaneously. When an input vector is presented on the self-organizing map after learning, a unit that is located nearby on the competitive layer for the input vector having a short distance is set as the winner unit. This means that the input vector is mapped to the competitive layer while maintaining the relative positional relationship, and is called topological mapping. Many studies have been reported that apply this feature to pattern classification using self-organizing maps.
また、入力ベクトルの出現頻度が高い領域に多くの参照ベクトルが分布する。これは、勝者ユニットおよび近傍ユニットの参照ベクトルが入力ベクトルに近付く方向に更新されることに起因する。学習に用いた入力ベクトル集合を学習後の自己組織化マップに提示すると、すべての競合層ユニットは等確率で勝者ユニットに選択される。この特徴を利用して、自己組織化マップは、データ解析などへ広く応用されている.   Further, many reference vectors are distributed in a region where the appearance frequency of the input vector is high. This is due to the fact that the reference vectors of the winner unit and neighboring units are updated in a direction approaching the input vector. When the input vector set used for learning is presented on the self-organizing map after learning, all competitive layer units are selected as winner units with equal probability. Using this feature, self-organizing maps are widely applied to data analysis.
以上をまとめると,自己組織化マップ(SOM)は以下の特徴をもつ。すなわち、(1)学習後の参照ベクトルの配置は、競合層ユニットの位置関係を保持している(トポロジカルマッピング)。(2)学習後の参照ベクトルの分布は、入力ベクトル集合の分布を近似する(ベクトル量子化)。(3)学習後のマップは多次元データの関係を視覚的にわかりやすい形式で表現している(多次元データの可視化)。   In summary, the self-organizing map (SOM) has the following characteristics. In other words, (1) the arrangement of the reference vectors after learning maintains the positional relationship of the competitive layer units (topological mapping). (2) The distribution of the reference vector after learning approximates the distribution of the input vector set (vector quantization). (3) The map after learning expresses the relationship between multidimensional data in a visually easy-to-understand format (visualization of multidimensional data).
図6(B)は、図1の学習部31の動作の一例を示すフロー図である。学習部31は、対象物3の三次元形状が既知である場合、特徴情報生成部29がウェーブレット多重解像度解析によって抽出したエッジ特徴を自己組織化マップへの学習データとし、SOMの学習を行う(図6(B)のステップSTL1)。同様にして、さまざまな三次元形状をもつ物体について学習データを生成し、自己組織化マップの学習を行う。そして、適切な学習が行われると、物体の形状ごとにクラス分けされたマップが得られる。学習後のSOMは、分類用データ記憶部33に格納される。なお、形状推定には直接関係のないものの、分離度を算出することにより、SOMの評価を可能にしている(ステップSTL2)。分離度算出の具体例は、他の実施例において具体的に説明する。また、例えば各光源151,・・・15Nの点灯・非点灯、点灯のタイミングなどの光源を制御するための情報を生成して影撮影装置5の光源制御部17に送信する光源配置部37の動作についても、他の実施例において具体的に説明する。 FIG. 6B is a flowchart showing an example of the operation of the learning unit 31 in FIG. When the three-dimensional shape of the object 3 is known, the learning unit 31 uses the edge features extracted by the wavelet multiresolution analysis by the feature information generation unit 29 as learning data to the self-organizing map and performs SOM learning ( Step STL1 in FIG. Similarly, learning data is generated for objects having various three-dimensional shapes, and self-organizing maps are learned. When appropriate learning is performed, a map classified by object shape is obtained. The learned SOM is stored in the classification data storage unit 33. Although not directly related to shape estimation, the SOM can be evaluated by calculating the degree of separation (step STL2). Specific examples of calculating the degree of separation will be specifically described in another embodiment. Further, for example, a light source arrangement unit that generates information for controlling the light source such as lighting / non-lighting of each of the light sources 15 1 ,... 15 N and the timing of lighting and transmits the information to the light source control unit 17 of the shadow photographing device 5 The operation of 37 will be specifically described in another embodiment.
また、図6(C)は、図1の推定部35の動作の一例を示すフロー図である。分類用データ記憶部33に記憶されたSOMは、さまざまな形状を持つ物体の影の特徴を学習したものである。影撮影装置5において、対象物3の三次元形状が未知である場合、推定部35は、分類用データ記憶部33に記憶された学習後のSOMに、未知の形状から得られる影の特徴を提示し(図6(C)のステップSTE1)、その特徴情報と既知の形状の特徴情報の配置によって、既知の形状の少なくとも一つを推定する(ステップSTE2)。そして、推定された形状を通知する(ステップSTE3)。これにより、形状推定システム1において、対象物3の三次元形状の推定が可能となる。   FIG. 6C is a flowchart showing an example of the operation of the estimation unit 35 in FIG. The SOM stored in the classification data storage unit 33 is obtained by learning the shadow characteristics of objects having various shapes. In the shadow photographing device 5, when the three-dimensional shape of the object 3 is unknown, the estimation unit 35 adds a shadow feature obtained from the unknown shape to the learned SOM stored in the classification data storage unit 33. It is presented (step STE1 in FIG. 6C), and at least one of the known shapes is estimated by the arrangement of the feature information and the feature information of the known shape (step STE2). Then, the estimated shape is notified (step STE3). Thereby, in the shape estimation system 1, the three-dimensional shape of the target object 3 can be estimated.
本実施例では、本願発明の一実施例である回転照射軸アレイデバイスを用いた三次元形状推定において、デバイスの設定条件や対象物体の状況が変化した場合に、三次元形状の推定結果にどの程度影響があるのかを検証し、システムの要件を調査する。   In this embodiment, in the three-dimensional shape estimation using the rotary irradiation axis array device which is one embodiment of the present invention, when the setting conditions of the device or the state of the target object change, Verify whether there is a degree of impact and investigate system requirements.
まず、図7及び図8を参照して、本デバイスの光源の配置について、さまざまな形状に配置した場合、三次元形状の推定にどの程度影響があるかを検証する。次に、図9及び図10を参照して、本デバイスの照射軸数について、軸数が形状推定に影響を及ぼすかどうかを検証する。さらに、図11を参照して、本デバイスによる撮影の際、対象物体が水平方向へずれた場合に関して、どの程度の頑健性があるのかについて検証する。   First, referring to FIG. 7 and FIG. 8, it is verified how much the arrangement of the light source of this device has an influence on the estimation of the three-dimensional shape when arranged in various shapes. Next, with reference to FIG. 9 and FIG. 10, it is verified whether the number of axes affects the shape estimation with respect to the number of irradiation axes of the device. Furthermore, with reference to FIG. 11, it is verified how robust the target object is when the target object is displaced in the horizontal direction at the time of photographing with this device.
まず、図7及び図8を参照して、回転照射軸アレイデバイスの光源配置が三次元形状の推定結果に及ぼす影響の実験について説明する。   First, with reference to FIG.7 and FIG.8, the experiment of the influence which the light source arrangement | positioning of a rotation irradiation axis | shaft array device has on the estimation result of a three-dimensional shape is demonstrated.
図7(A)〜(C)は、実験を行った光源の配置を示す図である。(A)円形配置、(B)正方形配置及び(C)任意配置について、各3種類ずつの配置形状を用いた。また、照射軸数は、すべての光源配置について8軸で固定とした。図7(D)は、学習用として撮影対象となる円柱、四角柱、三角柱、半球を示す図である。これらは、それぞれ大きさの違うものを3種類ずつ(10mm,7mm,5mm)用意し、各々に対して3つずつデータを作成した。また、形状を推定する対象として、図7(D)に示す4種類の形状それぞれについて5mmから10mmまで1mm刻みで異なるサイズのもの、及び、図7(E)に示す学習に用いていない未知の形状のもの6種類を用意した。   FIGS. 7A to 7C are diagrams showing the arrangement of light sources for which experiments were performed. For (A) circular arrangement, (B) square arrangement, and (C) arbitrary arrangement, three types of arrangement shapes were used. The number of irradiation axes was fixed at 8 axes for all light source arrangements. FIG. 7D is a diagram illustrating a cylinder, a quadrangular prism, a triangular prism, and a hemisphere to be photographed for learning. For each of these, three types of different sizes (10 mm, 7 mm, 5 mm) were prepared, and three data were created for each. In addition, as the objects for estimating the shape, each of the four types of shapes shown in FIG. 7 (D) has different sizes in 1 mm increments from 5 mm to 10 mm, and unknown that is not used for learning shown in FIG. 7 (E) Six types of shapes were prepared.
さらに,学習後の自己組織化マップを評価する方法(図6のステップSTL2参照)として、クラス内分散σ2 Wとクラス間分散σ2 Bの比Jσを用いて評価を行った((15)〜(17)式参照)。ここで、nは全データ数、cはクラス数、χiはクラスiに属するデータ、mは全データの平均、miはクラスiの平均、niはχiに属するデータ数を表わす。クラス内分散σ2 Wは各クラスの平均的な広がりを表わし、値が小さいほどデータがまとまっていることを示す。一方、クラス間分散σ2 Bはクラス間の広がりを表わし、値が大きいほどクラスの中心が離れていることを示す。したがって、(17)式より、Jσは、値が大きい方が良いクラス分布であることを示す。 Further, as a method for evaluating the self-organizing map after training (see step STL2 in FIG. 6), was evaluated using the ratio J sigma of within-class variance sigma 2 W and inter-class variance sigma 2 B ((15 ) To (17)). Here, n is the total number of data, c is the number of classes, chi i is data belonging to the class i, m is the average of all the data, m i is the average of the class i, n i represents the number of data belonging to the chi i. The intra-class variance σ 2 W represents the average spread of each class, and the smaller the value, the more the data is collected. On the other hand, the interclass variance σ 2 B represents the spread between classes, and the larger the value, the farther the center of the class is. Therefore, from the equation (17), J σ indicates that a larger value indicates a better class distribution.
また、SOMの学習パラメータは、ユニット形状は六角格子、ユニット数は15×15(二次元配置)、学習回数は10000、学習係数の初期値は0.05、近傍範囲の初期値は15である。   The learning parameters of the SOM are a hexagonal lattice with unit shape, 15 × 15 units (two-dimensional arrangement), 10,000 learning times, 0.05 learning coefficient initial value, and 15 neighboring area initial value.
学習後の自己組織化マップのうち代表的な例として、図8(A)に円形配置パターンAの結果、(B)に正方形配置パターンAの結果、(C)に任意配置パターンAの結果を示す。これらの分類結果より、(A)円形配置Aと(B)正方形配置Aの場合は、4種類の形状について、いずれも同じクラスタ内に分類されていることがわかる。円形配置B及びC並びに正方形配置B及びCについても、分類結果としては円形配置Aとほぼ同様な結果となった。他方、任意配置Aの場合は、円柱と半球のデータに関しては分類の精度が低い結果となった。定量的な評価としてJσを求めた結果を表1に示す。表1は、光源配置実験における学習後マップのJσ値の比較を示す表である。表1より、円形配置及び正方形配置に関しては、各パターンについてほぼ同等の高いJσ値を得ている。他方、任意配置については、円形配置及び正方形配置に比べ、Jσ値は低い。 As a typical example of the self-organizing map after learning, FIG. 8A shows the result of the circular arrangement pattern A, FIG. 8B shows the result of the square arrangement pattern A, and FIG. 8C shows the result of the arbitrary arrangement pattern A. Show. From these classification results, it is understood that in the case of (A) circular arrangement A and (B) square arrangement A, all of the four types of shapes are classified in the same cluster. As for the circular arrangements B and C and the square arrangements B and C, the classification results were almost the same as the circular arrangement A. On the other hand, in the case of Arbitrary Arrangement A, the accuracy of classification was low for the data of the cylinder and the hemisphere. Table 1 shows the results of obtaining Jσ as a quantitative evaluation. Table 1 is a table showing a comparison of J σ values of the after-learning map in the light source arrangement experiment. From Table 1, with respect to the circular arrangement and the square arrangement, high values that are substantially equivalent are obtained for each pattern. On the other hand, in the arbitrary arrangement, the value is lower than in the circular arrangement and the square arrangement.
円形・正方形配置と任意配置との相違点を考えると、カメラに対して、光源配置が対称であるか非対称であるかが最も顕著な相違点であり、この点の影響が大きいと考えられる。以上の実験結果より、光源配置の推定結果への影響に関して、光源の配置はカメラに対して対称に配置することが必要であることが分かった。これは、対称性の欠けた配置を行うと影のでき方に影響を与え、結果として、物体の形状を影情報として適切に反映できないものと考えられる。   Considering the difference between the circular / square arrangement and the arbitrary arrangement, it is considered that the light source arrangement is symmetric or asymmetric with respect to the camera, and the influence of this point is considered to be significant. From the above experimental results, it has been found that the light source arrangement needs to be arranged symmetrically with respect to the camera with respect to the influence on the estimation result of the light source arrangement. This is because if the arrangement lacking symmetry is performed, the shadow formation is affected, and as a result, the shape of the object cannot be appropriately reflected as shadow information.
図8(D)は、円形配置パターンAの分類結果に、学習用データと同型のテストデータを提示した結果を示す図である。図8(D)より、テストデータは、同形状かつ同等サイズのクラスにマッピングされていることがわかる。よって、学習後のマップを用いて形状の推定が可能である。   FIG. 8D is a diagram showing a result of presenting test data of the same type as the learning data as the classification result of the circular arrangement pattern A. FIG. 8D shows that the test data is mapped to classes having the same shape and the same size. Therefore, the shape can be estimated using the learned map.
表2は、円形配置パターンAの結果に未知のテストデータ(図7(E)参照)を提示し、マッピングされたクラスを示す。表2より、6種類の未知データは、それぞれ大まかに類似した形状のグループにマッピングされていることがわかる。よって、本提案手法は、未知な形状に関しても形状を的確に推定することが可能である。   Table 2 presents unknown test data (see FIG. 7E) for the circular placement pattern A results and shows the mapped classes. From Table 2, it can be seen that the six types of unknown data are mapped to groups of roughly similar shapes. Therefore, the proposed method can accurately estimate the shape even with respect to the unknown shape.
続いて、図9及び図10を参照して、回転照射軸アレイデバイスの照射軸数が、三次元形状の推定結果に及ぼす影響の実験について説明する。   Next, with reference to FIG. 9 and FIG. 10, an experiment of the influence of the number of irradiation axes of the rotating irradiation axis array device on the estimation result of the three-dimensional shape will be described.
図9は、実験を行った照射軸数とその配置を示す図である。軸数は、1,2,3,4,8軸の計5種類について実験を行った。光源配置は、図7(A)に示す円形配置のパターンAを用いた。撮影対象は、図7(D)に示す対象を用いた。さらに、定量的な評価としてJσを算出し、比較を行った。自己組織化マップのパラメータは、同様である。 FIG. 9 is a diagram showing the number of irradiation axes and their arrangement in which experiments were performed. The number of axes was tested for a total of five types: 1, 2, 3, 4, and 8. As a light source arrangement, a circular arrangement pattern A shown in FIG. 7A was used. The object shown in FIG. 7D was used as the object to be photographed. Furthermore, as a quantitative evaluation, was calculated and compared. The parameters of the self-organizing map are the same.
図10は、(A)照射軸数1軸の結果、(B)照射軸数2軸の結果、(C)照射軸数3軸の結果、(D)照射軸数4軸の結果、(E)照射軸数8軸の結果を示す図である。Jσは、軸数1が2.02、軸数2が3.28、軸数3が4.18、軸数4が4.23、軸数8が4.39である。定量的な評価として、軸数3以上については、ほぼ同等の高いJσ値を得ている。一方、軸数1、2については、軸数3以上に比べJσ値は低い。 FIG. 10 shows the results of (A) 1 irradiation axis number, (B) 2 irradiation axis results, (C) 3 irradiation axis results, (D) 4 irradiation axis results, (E ) It is a figure which shows the result of the number of irradiation axes 8 axes. Is J sigma, several shaft 1 is 2.02, Number of axes 2 3.28, Number of axes 3 4.18, Number of axes 4 4.23, Number of axes 8 is 4.39. As a quantitative evaluation, for the number of axes of 3 or more, almost the same high value is obtained. On the other hand, for the number of axes 1 and 2, the value is lower than the number of axes 3 or more.
図10を具体的に検討しても、軸数3、軸数4及び軸数8では適切な分類結果となっている。それに対して、軸数1の場合は、4種類の形状ごとのクラスタとしては適切な分類結果ではないことがわかる。軸数2の場合は、円柱及び半球の形状について、適切な分類結果とはならなかった。これは、軸数が1軸又は2軸と少ないので、各物体の三次元形状を十分に影に反映できていないことが原因と考えられる。しかし、軸数1の結果を見ると、マップの上下において円柱・半球と四角柱・三角柱に大まかに分類できている。これは、一つの光源であっても、少なくとも円柱・半球におけるカーブの輪郭部分と四角柱・三角柱における直線の輪郭部分のエッジ特徴を抽出できていることを示している。   Even if FIG. 10 is specifically examined, the number of axes 3, the number of axes 4 and the number of axes 8 are appropriate classification results. On the other hand, when the number of axes is 1, it is found that the cluster is not an appropriate classification result for each of the four types of shapes. When the number of axes was 2, the shape of the cylinder and the hemisphere was not an appropriate classification result. This is probably because the number of axes is as small as one or two, and the three-dimensional shape of each object cannot be sufficiently reflected in the shadow. However, looking at the result of the number of axes 1, it can be roughly classified into a cylinder / hemisphere and a square / triangular prism at the top and bottom of the map. This indicates that even with one light source, the edge features of at least the contour portion of the curve in the cylinder / hemisphere and the straight contour portion of the quadrangular prism / triangular prism can be extracted.
以上の実験結果より、照射軸数の推定結果への影響に関して適切な分類結果を得るためには、少なくとも3軸以上の照射軸が必要であることが分かった。軸数が少ない場合は、物体の形状を影情報として適切に反映できないことが影響していると考えられる。   From the above experimental results, it was found that at least three or more irradiation axes are necessary to obtain an appropriate classification result regarding the influence on the estimation result of the number of irradiation axes. When the number of axes is small, it is considered that the object shape cannot be appropriately reflected as shadow information.
続いて、図11を参照して、対象物体のずれが三次元形状の推定結果に及ぼす影響の実験について説明する。本実験では、水平方向のずれの影響を検証した。ずれは図11(A)に示すように、画像フレーム内の中央を基準とし、基準から左右に距離l=5mmずつ移動させたものとした。回転照射軸アレイデバイスの光源配置は、図7(A)の円形配置Aとした。照射軸数は8軸とした。撮影対象は、円柱,四角柱,三角柱,半球の4パターンの中サイズを使用し、前述のずれを加えた状態で撮影したものを用いた。また、自己組織化マップのパラメータは前述のとおりである。   Next, with reference to FIG. 11, an experiment on the influence of the deviation of the target object on the estimation result of the three-dimensional shape will be described. In this experiment, the effect of horizontal displacement was verified. As shown in FIG. 11 (A), the displacement is determined by moving the distance l = 5 mm from the reference to the left and right with respect to the center in the image frame. The light source arrangement of the rotary irradiation axis array device was the circular arrangement A in FIG. The number of irradiation axes was eight. The object to be photographed was a medium, which was a medium size of four patterns of a cylinder, a quadrangular prism, a triangular prism, and a hemisphere, and was photographed with the above-described deviation added. The parameters of the self-organizing map are as described above.
図11(B)は、水平方向ずれの分類結果を示す図である。図11(B)より、水平方向のずれは、4種類の形状についていずれも同じクラスタに分類されているので、今回用いたデバイスサイズにおいては、ずれの影響は少ないと考えられる。ただし、撮影範囲が広い場合、ずれが大きくなると影の形状も大きく変化し、学習後の自己組織化マップにも影響が出る可能性はある。   FIG. 11B is a diagram illustrating a classification result of the horizontal shift. From FIG. 11B, since the horizontal displacement is classified into the same cluster for all four types of shapes, it is considered that the influence of the displacement is small in the device size used this time. However, when the shooting range is wide, the shadow shape changes greatly as the shift increases, which may affect the self-organizing map after learning.
また、図11(C)は、図8(A)におけるずれを含まないデータで学習したマップ(円形配置、軸数8)に、ずれを含むデータを提示した結果を示す図である。図11(C)より、ずれを含むデータは、ずれに関係なく同形状のクラスにマッピングされた。この結果からも、ずれの影響は少ないことがわかる。   Further, FIG. 11C is a diagram showing a result of presenting data including a shift on a map (circular arrangement, number of axes 8) learned from data including no shift in FIG. 8A. From FIG. 11C, the data including the deviation was mapped to the same shape class regardless of the deviation. From this result, it can be seen that the influence of the shift is small.
以上の検証により、光源配置はカメラに対して対称性を保った配置にし、照射軸数はできる限り多く用意することが、よい推定結果につながることがわかる。また、対象物体のずれがデータの分類結果および推定結果に与える影響は少ないこともわかる。   From the above verification, it can be seen that it is possible to obtain a good estimation result by arranging the light source arrangement so as to maintain symmetry with respect to the camera and preparing as many irradiation axes as possible. It can also be seen that the effect of the deviation of the target object on the data classification result and the estimation result is small.
本実施例では、図12及び図13を参照して、回転照射軸アレイデバイスを用いた三次元形状推定の応用例として、物体表面の粗さ判別を行うものについて説明する。一般に、表面粗さ計測はマイクロメートルオーダーの凹凸やゆがみの検出をさす場合が多く、専用の装置や手法が提案されている。しかし、本実施例では、対象とする粗さのサイズをミリメートルオーダーと定義する。さまざまな表面粗さを持つ物体に対して、本願発明を用いることにより、その表面粗さがどの程度の粗さであるかを判別する。   In the present embodiment, referring to FIGS. 12 and 13, a description will be given of an object surface roughness determination as an application example of three-dimensional shape estimation using a rotary irradiation axis array device. In general, surface roughness measurement often involves detection of irregularities and distortions on the order of micrometers, and dedicated devices and methods have been proposed. However, in this embodiment, the target roughness size is defined as millimeter order. By using the present invention for an object having various surface roughnesses, it is determined how much the surface roughness is.
本実施例では、表面粗さを持つ物体として、粒度の比較的高いサンドペーパーを利用する。図12(A)〜(E)は、学習に用いるサンドペーパーを示す図であり、JIS規格で定められた5種類(粗い方から(A)P16,(B)P24,(C)P36,(D)P40,(E)P50)である。図12(F)は、回転照射軸アレイデバイスで図12(A)のサンドペーパーP16を撮影した結果の一例を示す図である。また、自己組織化マップの各種パラメータは、競合層ユニット数は100(10×10)、入力ベクトル数は25、学習係数の初期値は0.4、近傍範囲の初期値は10、学習回数は5000である。また、回転照射軸アレイデバイスにおいて、光源配置は円形配置A(図7(A))とする。照射軸数は8軸とする。   In this embodiment, sandpaper having a relatively high particle size is used as the object having the surface roughness. 12 (A) to 12 (E) are diagrams showing sandpapers used for learning. The five types defined by JIS standards (from the coarser (A) P16, (B) P24, (C) P36, ( D) P40, (E) P50). FIG. 12F is a diagram illustrating an example of a result of photographing the sandpaper P16 of FIG. 12A with the rotary irradiation axis array device. The various parameters of the self-organizing map are as follows: the number of competitive layer units is 100 (10 × 10), the number of input vectors is 25, the initial value of the learning coefficient is 0.4, the initial value of the neighborhood range is 10, and the number of learning is 5000. is there. In the rotary irradiation axis array device, the light source arrangement is a circular arrangement A (FIG. 7A). The number of irradiation axes is eight.
図13(A)は、学習用画像とテスト用画像を示す図である。サンドペーパー1種類につき5セットの自己組織化マップ学習用データを回転照射軸アレイデバイスによって撮影する。また、テスト用として、サンドペーパー1種類につき、ノイズ無し画像、ノイズ有り画像、ノイズ除去済み画像を1セットずつ用意する。ノイズ除去済み画像は、図4(G)〜(K)を参照して説明したものである。   FIG. 13A is a diagram illustrating a learning image and a test image. Five sets of self-organizing map learning data for each type of sandpaper are photographed by a rotating irradiation axis array device. For testing, one set of a no-noise image, a no-noise image, and a noise-removed image is prepared for each type of sandpaper. The noise-removed image has been described with reference to FIGS.
図13(B)は、学習後の自己組織化マップにノイズ無し画像のテストデータを提示した結果である。まず学習用データに注目すると、同じ粗さのサンドペーパーは同じクラスタとして分類されていることがわかる。また、テストデータとして提示したノイズ無し画像のデータについても、同じ粗さのクラスタに分類されていることがわかる。したがって、ノイズ無し画像データについては所望の識別結果を得ることができた。   FIG. 13B shows the result of presenting noise-free image test data in the self-organizing map after learning. First, paying attention to the learning data, it can be seen that sandpaper with the same roughness is classified as the same cluster. It can also be seen that the noise-free image data presented as test data is also classified into clusters with the same roughness. Therefore, a desired identification result can be obtained for noiseless image data.
図13(C)は、図13(B)と同じマップに、ノイズ有り画像データと、その画像からノイズを除去した画像データの2種類を、テストデータとして提示した結果である。図13(C)より、ノイズ有り画像のデータは、間違ったクラスタへ分類されていることがわかる。これは、ノイズ情報が影情報と混同された結果であると考えられる。他方、そのノイズ情報を除去したデータの結果を見ると、同じ粗さのクラスタに分類されていることがわかる。この結果より、回転照射軸アレイデバイスを使ったノイズ除去手法の有効性を示すことができた。   FIG. 13C shows the result of presenting, as test data, two types of image data with noise and image data obtained by removing noise from the image on the same map as FIG. 13B. From FIG. 13C, it can be seen that the data of the image with noise is classified into an incorrect cluster. This is considered to be a result of noise information being confused with shadow information. On the other hand, when the result of the data from which the noise information has been removed is seen, it can be seen that the data are classified into clusters having the same roughness. From this result, it was possible to show the effectiveness of the noise removal technique using the rotary irradiation axis array device.
以上より、本提案手法は,前章で示した立体構造物単体の三次元形状推定だけでなく,表面に細かな凹凸が連続する表面粗さの判別にも有効である。これは、ウェーブレット解析が影のエッジ特徴とテクスチャ特徴を同時に抽出できることに由来する。   From the above, the proposed method is effective not only for estimating the three-dimensional shape of a solid structure as described in the previous chapter, but also for determining the surface roughness where fine irregularities continue on the surface. This is because the wavelet analysis can simultaneously extract the shadow edge feature and the texture feature.
本実施例では、図14及び図15を参照して、図1の光源配置部37の動作の一例につき、具体的に説明する。本実施例では、学習に光源配置を含め、これを遺伝的アルゴリズム(GA)により最適化する。また、本実施例では、最適化のパラメータは照明の位置(照明の座標、同心円(方形の大きさ))である。また、撮影する対象物3の既知の形状は、まず、区別が困難な円柱と半球とし(図10(A)及び(B)参照)、さらに、これらに加えて三角柱を対象とする。   In the present embodiment, an example of the operation of the light source arrangement unit 37 in FIG. 1 will be specifically described with reference to FIGS. 14 and 15. In the present embodiment, the light source arrangement is included in learning, and this is optimized by a genetic algorithm (GA). In the present embodiment, the optimization parameter is the position of illumination (coordinates of illumination, concentric circles (square size)). The known shape of the object 3 to be photographed is first a cylinder and a hemisphere that are difficult to distinguish (see FIGS. 10A and 10B), and in addition to these, a triangular prism is the object.
まず、撮影条件は、図14(A)に示すように、カメラと対象物との距離は50mmとする。また、対象物は、円柱、半球、三角柱について、半径又は一辺が大15mm、中10mm、小5mmの3種類ずつとする。   First, as shown in FIG. 14A, the photographing condition is that the distance between the camera and the object is 50 mm. In addition, there are three types of objects of a cylinder, a hemisphere, and a triangular prism, each having a radius or side of 15 mm large, 10 mm medium, and 5 mm small.
点光源の照明位置候補は、図14(B)に示すように、カメラを中心とし、周囲64ヶ所に正方形に配置される。これは、比較的均等な配置が可能であり、かつ、GAにおいて遺伝子として扱いやすい6ビットで表現が可能な個数である。各位置には、位置番号が、正方形の一つの頂点から対角線上の頂点に向けて順に付せられている。なお、各撮影位置からの影画像は予め撮影しておく。図14(C)は、3種類の円柱について、位置番号0、3、27及び64からの影画像を示す図である。ウェーブレット変換を用いた特徴抽出も、予め計算済みとする。   As shown in FIG. 14B, the point light source illumination position candidates are arranged in a square at 64 locations around the camera. This is a number that can be expressed in 6 bits that can be arranged relatively evenly and can be handled as a gene in GA. Each position is assigned a position number in order from one vertex of the square to the vertex on the diagonal line. Note that the shadow image from each shooting position is shot in advance. FIG. 14C is a diagram showing shadow images from position numbers 0, 3, 27 and 64 for three types of cylinders. It is also assumed that feature extraction using wavelet transform has been calculated in advance.
GAの各種パラメータは、個体長が48bit(6bit×8照明)、個体数が50、交叉確率が0.4、突然変異確率が0.05、世代数が100とする。また、ルーレット選択で一点交叉、エリート保存戦略である。また、SOMの各種パラメータは、競合層が10×10、入力ベクトル数が6、要素数が72(9×8照明)、学習回数が5000、学習係数の初期値は0.4、近傍範囲の初期値が10である。   The GA parameters are 48 bits (6 bits × 8 illumination), 50 individuals, 0.4 crossover probability, 0.05 mutation probability, and 100 generations. Moreover, it is a one-point crossover and elite preservation strategy by roulette selection. The various parameters of SOM are 10 × 10 for the competitive layer, 6 input vectors, 72 elements (9 × 8 illumination), 5000 learning times, 0.4 learning coefficient initial value, and initial value in the neighborhood range. Is 10.
以下では、照明位置候補を各形状の分離の度合い(分離度、GAにおける適合度)により評価する。そして、GAの遺伝操作による最適化により分解能が高い照明位置を見つけ、64ヶ所から8ヶ所を照明位置として選択する。   In the following, the illumination position candidates are evaluated based on the degree of separation of each shape (separation degree, fitness in GA). Then, an illumination position with high resolution is found by optimization by genetic operation of GA, and 64 to 8 places are selected as illumination positions.
図14(D)は、本実施例における、図1の特徴情報生成部29並びに学習部31及び光源配置部37の動作の一例を示すフロー図である。まず、8箇所の遺伝子が選ばれているものとする。図1の特徴情報生成部29は、これらに対応するSOMの入力データを生成する(ステップSTLL1)。そして、学習部31は、分類用データ記憶部33に記憶されたSOMを学習する(ステップSTLL2)。そして、学習部31は、分離度を計算する(ステップSTLL3)。本実施例における分離度については、後に具体的に説明する。そして、分離度が分離を示す値であるか否かを判断し(ステップSTLL4)、十分な分離を示す場合に、終了条件を満たすものとして処理を終了する。このとき、光源配置部37は、照明させるべき照明配置候補の情報を光源制御部17に送信する。分離度が十分な分離を示していない場合、通常のGAのとおり、遺伝子を選択し(ステップSTLL5)、交叉し(ステップSTLL6)、突然変異させ(ステップSTLL7)、ステップSTLL1の処理に戻る。そして、これらの遺伝子に対して、終了条件が満たされるまで繰り返す。   FIG. 14D is a flowchart illustrating an example of operations of the feature information generation unit 29, the learning unit 31, and the light source arrangement unit 37 of FIG. First, assume that eight genes are selected. The feature information generation unit 29 in FIG. 1 generates SOM input data corresponding to these (step STLL1). Then, the learning unit 31 learns the SOM stored in the classification data storage unit 33 (step STLL2). Then, the learning unit 31 calculates the degree of separation (step STLL3). The degree of separation in this embodiment will be specifically described later. Then, it is determined whether or not the degree of separation is a value indicating separation (step STLL4), and when sufficient separation is indicated, the processing is terminated assuming that the termination condition is satisfied. At this time, the light source arrangement unit 37 transmits information on illumination arrangement candidates to be illuminated to the light source control unit 17. If the degree of separation does not indicate sufficient separation, a gene is selected (step STLL5), crossed (step STLL6), mutated (step STLL7), and the processing returns to step STLL1 as in a normal GA. And it repeats until completion | finish conditions are satisfy | filled with respect to these genes.
図15(A)を参照して、本実施例における分離度について説明する。学習後のSOMについて、直線y=ax+bで領域Pと領域Qに分割する。そして、本実施例分離度Eを、(18)及び(19)式で定義されるE1及びE2の最大値とする。ただし、Eの最小値は0.5であるので、E=0.5の場合はE=0とする。例えば図15(A)の場合、領域Pに含まれるクラスAのデータ数は1であり、領域Qに含まれるクラスBのデータ数は1である。そのため、E1は0.33、E2は0.66であり、Eは0.66となる。この分離度EをGAの適合度として用いる。 With reference to FIG. 15A, the degree of separation in the present embodiment will be described. The SOM after learning is divided into a region P and a region Q by a straight line y = ax + b. The separation degree E of this embodiment is set to the maximum value of E 1 and E 2 defined by the equations (18) and (19). However, since the minimum value of E is 0.5, E = 0 is set when E = 0.5. For example, in the case of FIG. 15A, the number of data of class A included in the area P is 1, and the number of data of class B included in the area Q is 1. Therefore, E 1 is 0.33, E 2 is 0.66, and E is 0.66. This degree of separation E is used as the goodness of GA.
図15(B)及び(C)は、円柱と半球の場合の最適化結果を示す図である。分離度1(完全な分離)の配置を得ることができている。この場合、ほぼ円形となり、より影の違いがでやすい中心からの距離が遠い場所が多く選ばれている。   FIGS. 15B and 15C are diagrams showing optimization results in the case of a cylinder and a hemisphere. An arrangement with a degree of separation of 1 (complete separation) can be obtained. In this case, many places are selected that are almost circular and have a long distance from the center where shadow differences are more likely to occur.
また、図15(D)及び(E)は、円柱と半球と三角柱の場合の最適化結果を示す図である。この場合も分離度1の配置を得ることができている。この場合、ほぼ円形となり、より影の違いがでやすい中心からの距離が遠い場所が多く選ばれている。
分離度1の配置を得ることができた
FIGS. 15D and 15E are diagrams showing optimization results in the case of a cylinder, a hemisphere, and a triangular prism. Also in this case, an arrangement with a separation degree of 1 can be obtained. In this case, many places are selected that are almost circular and have a long distance from the center where shadow differences are more likely to occur.
An arrangement with a resolution of 1 could be obtained.
なお、図1において、撮影部19は複数存在し、光源制御と同期して異なる撮影部が撮影するものであってもよい。また、光源15と撮影部19との位置関係は、対象物を挟んで反対側にあるものであってもよい。また、光源制御部17は、複数の光源15のうちの一つのみを点灯させるだけでなく、複数の光源15の一部を同時に点灯させ、他の一部を点灯させないものであってもよい。また、光源制御部17は、各光源15の点灯させる色や強さを制御するものであってもよい。また、推定部35は、時を異にして同一の対象物3の影を撮影して得られた複数の特徴情報をSOM等の分類用データに提示したときに、時間に沿った分類用データにおける配置位置の変化から、例えば対象物3の大きさ・形状・ズレ(動き)の変化をも推定するようにしてもよい。   In FIG. 1, there may be a plurality of photographing units 19, which may be photographed by different photographing units in synchronization with the light source control. Further, the positional relationship between the light source 15 and the imaging unit 19 may be on the opposite side across the object. Further, the light source control unit 17 may not only turn on only one of the plurality of light sources 15 but also turn on a part of the plurality of light sources 15 at the same time and not turn on the other part. . Further, the light source control unit 17 may control the color and intensity of each light source 15 to be turned on. In addition, the estimation unit 35 provides time-dependent classification data when a plurality of feature information obtained by photographing a shadow of the same object 3 at different times is presented in classification data such as SOM. For example, a change in the size, shape, and deviation (movement) of the object 3 may be estimated from the change in the arrangement position in FIG.
また、図3(A)において、撮影部19は、撮影毎に形状推定装置7に撮影データを送信するものであってもよい。   In FIG. 3A, the photographing unit 19 may transmit photographing data to the shape estimating device 7 every photographing.
また、実施例4において、最適化のパラメータとしては、例えば、同心円の大きさや、カメラと対象物との距離、各光源の輝度、各光源の色、などがある。   In the fourth embodiment, optimization parameters include, for example, the size of concentric circles, the distance between the camera and the object, the brightness of each light source, and the color of each light source.
本願発明は、その特長から、例えば、宇宙や海底といった極限環境での使用に耐えうる装置の実現や、病変診断などの微細領域の判定等、幅広い分野へ応用が期待できる重要な技術である。   The invention of the present application is an important technology that can be expected to be applied to a wide range of fields such as realization of a device that can withstand use in extreme environments such as space and the seabed, and determination of a fine region such as lesion diagnosis.
また、本願発明は、図12のサンドペーパーについて、複数の粗さの異なる対象は粗さごとに分類され、対象物体の表面粗さを判別することができた。これは、個々の隆起物が作り出す影の形状から三次元形状を推定したというよりは、各々の影のつながり,すなわち影のテクスチャ情報から全体としての粗さ具合を推定できたことを意味する。そのため、本願発明によって単体の立体構造物の三次元形状推定が可能であるだけでなく、表面に細かな凹凸が連続する表面粗さの判別が可能であることがわかる。このサンドペーパーは、対象物体として口腔癌の顆粒状表面を模擬したものであり、このような場合に三次元形状を推定することができた。そのため、例えば、口腔癌の判別における患部の隆起や顆粒状表面の判断等、立体認識かつ粗さ判別が必要な場面にも威力を発揮することができる。   In the invention of the present application, a plurality of objects having different roughnesses are classified according to roughness in the sandpaper of FIG. 12, and the surface roughness of the target object can be determined. This means that rather than estimating the three-dimensional shape from the shape of the shadow created by each ridge, the overall roughness can be estimated from the connection of each shadow, that is, the texture information of the shadow. Therefore, it can be seen that the present invention can not only estimate the three-dimensional shape of a single three-dimensional structure, but also determine the surface roughness where fine irregularities continue on the surface. This sandpaper simulates the granular surface of oral cancer as a target object, and in such a case, the three-dimensional shape could be estimated. Therefore, for example, it is possible to exert power in scenes where three-dimensional recognition and roughness determination are required, such as determination of the bulge of the affected part and determination of the granular surface in discrimination of oral cancer.
1 形状推定システム、3 対象物、5 影撮影装置、7 形状推定装置、151,・・・,15N 光源、17 光源制御部、19 撮影部、21 撮影データ記憶部、25 修正画像データ記憶部、27 画像データ修正部、29 特徴情報生成部、33 分類用データ記憶部、35 推定部 1 shape estimation system, 3 objects, 5 of shooting device, 7 shape estimating device, 15 1, · · ·, 15 N source, 17 light source controller, 19 shooting unit, 21 imaging data storage unit, 25 the modified image data storage Unit, 27 image data correction unit, 29 feature information generation unit, 33 classification data storage unit, 35 estimation unit

Claims (9)

  1. 対象物の形状を推定する形状推定システムであって、
    前記対象物の影を撮影する影撮影装置と前記影撮影装置により得られた撮影データから特徴情報を生成して前記対象物の形状を推定する形状推定装置を備え、
    前記影撮影装置は、
    前記対象物に対して光を放射する複数の光源と、
    前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、
    前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影して撮影データを得る撮影手段
    を有する撮影装置を備え、
    前記形状推定装置は、
    前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、
    複数の既知の形状を撮影して生成された特徴情報について、相似する形状と相似しない形状とを区別可能な分類用データを記憶する分類用データ記憶手段と、
    前記撮影データを画像処理することにより、前記撮影データにおける対象物の影の特徴を示す分類対象特徴情報を生成する特徴情報生成手段と、
    前記分類用データにおいて、前記分類対象特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定する推定手段
    を備える、形状推定システム。
    A shape estimation system for estimating the shape of an object,
    A shadow photographing device for photographing the shadow of the object and a shape estimating device for generating feature information from the photographing data obtained by the shadow photographing device and estimating the shape of the object;
    The shadow photographing device includes:
    A plurality of light sources that emit light to the object;
    A light source control means for performing light source control a plurality of times to illuminate or not illuminate each light source, and a combination of a light source to be illuminated and a light source not to be illuminated in each light source control, and
    A photographing apparatus having photographing means for obtaining photographing data by photographing a shadow of the object a plurality of times in synchronization with each illumination control by the light source control means,
    The shape estimation device includes:
    Photographing data storage means for storing photographing data obtained by the photographing means;
    Classification data storage means for storing classification data that can distinguish between similar shapes and non-similar shapes for feature information generated by photographing a plurality of known shapes,
    Feature information generating means for generating classification target feature information indicating a feature of a shadow of an object in the shooting data by performing image processing on the shooting data;
    A shape estimation system comprising: estimation means for estimating at least one of the known shapes that approximate the classification target feature information as the shape of the target object in the classification data.
  2. 前記各光源は、前記対象物の各撮影において、照明時も非照明時も同じ位置に存在する、請求項1記載の形状推定システム。   The shape estimation system according to claim 1, wherein each of the light sources is present at the same position in each photographing of the object during illumination and during non-illumination.
  3. 前記撮影手段から前記光源への向きである軸について、前記複数の光源のうち、少なくとも3つの光源の軸が異なる、請求項1記載の形状推定システム。   The shape estimation system according to claim 1, wherein axes of at least three light sources among the plurality of light sources are different with respect to an axis that is a direction from the photographing unit to the light source.
  4. 前記形状推定装置は、前記対象物の各撮影に対応する複数の撮影データにおける影を示すデータに共通する部分を除去して修正画像データを生成する画像データ修正手段を備え、
    前記特徴情報生成手段は、前記修正画像データから特徴情報を生成する、
    請求項1から3のいずれかに記載の形状推定システム。
    The shape estimation device includes image data correction means for generating corrected image data by removing a portion common to data indicating a shadow in a plurality of shooting data corresponding to each shooting of the object,
    The feature information generating means generates feature information from the corrected image data;
    The shape estimation system according to claim 1.
  5. 前記形状推定装置は、前記複数の光源のうち一部の光源を点灯させずに既知の形状を撮影して生成された特徴情報を用いて、前記分類用データを相似する形状と相似しない形状とを区別可能に学習させる学習手段を備え、
    前記学習手段は、点灯し又は点灯しなかった光源の組み合わせを示す情報を前記光源制御手段に送信する光源配置手段を有する、
    請求項1から4のいずれかに記載の形状推定システム。
    The shape estimation device uses a feature information generated by photographing a known shape without turning on some of the plurality of light sources, and a shape that is not similar to a shape that resembles the classification data. With learning means to learn
    The learning unit includes a light source arrangement unit that transmits information indicating a combination of light sources that are turned on or not turned on to the light source control unit.
    The shape estimation system according to claim 1.
  6. 対象物に対して光を放射する複数の光源と、
    前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、
    前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影する撮影手段
    を有する撮影装置。
    A plurality of light sources that emit light to the object;
    A light source control means for performing light source control a plurality of times to illuminate or not illuminate each light source, and a combination of a light source to be illuminated and a light source not to be illuminated in each light source control, and
    An imaging apparatus having imaging means for imaging a shadow of the object a plurality of times in synchronization with each illumination control by the light source control means.
  7. 対象物の形状を推定する形状推定システムにおける形状推定方法であって、
    前記形状推定システムは、前記対象物の影を撮影する影撮影装置と前記影撮影装置により得られた撮影データから特徴情報を生成して前記対象物の形状を推定する形状推定装置を備え、
    前記影撮影装置は、
    前記対象物に対して光を放射する複数の光源と、
    前記各光源を照明させ又は照明させない光源制御を複数回行うものであって、各光源制御における照明させる光源と照明させない光源の組み合わせは異なるものである光源制御手段と、
    前記光源制御手段による各照明制御と同期して前記対象物の影を複数回撮影して撮影データを得る撮影手段を有する撮影装置を備えるものであり、
    前記形状推定装置は、
    前記撮影手段により得られた撮影データを記憶する撮影データ記憶手段と、
    既知の形状の複数の対象物を撮影して生成された撮影データにおける対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報について、相似する形状と相似しない形状とを区別可能に学習された自己組織化マップを記憶する分類用データ記憶手段を備え、
    前記形状推定装置の特徴情報生成手段が、前記撮影データにおける未知の形状の対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、
    前記形状推定装置の推定手段が、前記自己組織化マップに提示して、当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップを含む形状推定方法。
    A shape estimation method in a shape estimation system for estimating the shape of an object,
    The shape estimation system includes a shadow imaging device that captures a shadow of the object and a shape estimation device that generates feature information from imaging data obtained by the shadow imaging device and estimates the shape of the object,
    The shadow photographing device includes:
    A plurality of light sources that emit light to the object;
    A light source control means for performing light source control a plurality of times to illuminate or not illuminate each light source, and a combination of a light source to be illuminated and a light source not to be illuminated in each light source control, and
    A photographing apparatus having photographing means for obtaining photographing data by photographing a shadow of the object a plurality of times in synchronization with each illumination control by the light source control means;
    The shape estimation device includes:
    Photographing data storage means for storing photographing data obtained by the photographing means;
    Similarity of the feature information of each component of multi-stage wavelet multi-resolution analysis with respect to the corrected image data indicating the shadow of the object in the image data generated by photographing a plurality of objects of known shape A classification data storage means for storing a self-organizing map learned so as to be distinguishable from shapes that are not similar to shapes;
    Feature information generating means of the shape estimation device generates feature information having each component of multi-stage wavelet multi-resolution analysis as an element for the corrected image data indicating the shadow of the object of unknown shape in the photographing data. Steps,
    A shape estimation method including a step in which an estimation unit of the shape estimation apparatus estimates at least one of the known shapes approximated to the feature information as a shape of the object, which is presented on the self-organizing map.
  8. コンピュータにおいて、
    学習手段が、既知の形状の複数の対象物に対して光を放射する複数の光源のうち、少なくとも一部を照明させずに撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報により、相似する形状と相似しない形状とを区別可能に自己組織化マップを学習させるステップと、
    学習手段の光源配置手段が、少なくとも前記照明させない光源を特定可能な情報を前記複数の光源の点灯を制御する光源制御手段に送信するステップと、
    特徴情報生成手段が、未知の形状の対象物に対して前記光源制御手段による光源制御に同期して撮影された撮影データにおける前記対象物の影を示す修正画像データに対して多段階のウェーブレット多重解像度解析の各成分を要素とする特徴情報を生成するステップと、
    推定手段が、前記自己組織化マップに提示して、当該特徴情報に近似する前記既知の形状の少なくとも一つを前記対象物の形状として推定するステップ
    を実現させるためのプログラム。
    In the computer,
    The learning means uses the corrected image data indicating the shadow of the object in the image data captured without illuminating at least a part of the plurality of light sources that emit light to the plurality of objects having a known shape. On the other hand, a step of learning a self-organizing map so that a similar shape and a non-similar shape can be distinguished from each other by using feature information having each component of multi-stage wavelet multi-resolution analysis as an element,
    A step of transmitting light source arrangement means of the learning means to light source control means for controlling lighting of the plurality of light sources, at least information capable of specifying a light source not to be illuminated;
    The feature information generating means performs multi-stage wavelet multiplexing on the corrected image data indicating the shadow of the object in the photographing data photographed in synchronization with the light source control by the light source control means for the object of unknown shape Generating feature information having each component of resolution analysis as an element;
    A program for realizing a step of estimating at least one of the known shapes approximated to the feature information by the estimation means as the shape of the object, which is presented on the self-organizing map.
  9. 請求項8記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。

    A computer-readable recording medium for recording the program according to claim 8.

JP2009122619A 2009-05-21 2009-05-21 Shape estimation system, shape estimation method, program, and recording medium Active JP5461064B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009122619A JP5461064B2 (en) 2009-05-21 2009-05-21 Shape estimation system, shape estimation method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009122619A JP5461064B2 (en) 2009-05-21 2009-05-21 Shape estimation system, shape estimation method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2010271152A true JP2010271152A (en) 2010-12-02
JP5461064B2 JP5461064B2 (en) 2014-04-02

Family

ID=43419297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009122619A Active JP5461064B2 (en) 2009-05-21 2009-05-21 Shape estimation system, shape estimation method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP5461064B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203458A (en) * 2013-04-03 2014-10-27 三菱電機株式会社 Method for detecting 3d geometric boundaries

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61292509A (en) * 1985-06-20 1986-12-23 Nippon Oil & Fats Co Ltd Non-contacting roughness measuring apparatus
JPS63100305A (en) * 1986-10-17 1988-05-02 Toshiba Corp Sensing device for body
JPH0399250A (en) * 1989-09-13 1991-04-24 Toshiba Corp Mounting state recognizing apparatus
JPH07181011A (en) * 1993-12-22 1995-07-18 Fanuc Ltd Method for recognizing hole through visual sensor
JP2001052175A (en) * 1999-08-06 2001-02-23 Olympus Optical Co Ltd Image retrieving device
JP2002373333A (en) * 2001-05-28 2002-12-26 Honda R & D Europe (Deutschland) Gmbh Pattern recognizing method with hierarchical network
JP2004078939A (en) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd Object identification method, apparatus and program
JP2005140707A (en) * 2003-11-07 2005-06-02 Matsushita Electric Works Ltd Apparatus for extracting feature sound, feature sound extraction method, and product evaluation system
JP2007179285A (en) * 2005-12-27 2007-07-12 Kyushu Institute Of Technology Image recognition device, image recognition method and program
JP2007225539A (en) * 2006-02-27 2007-09-06 Nippon Pan Gijutsu Kenkyusho Cut surface analyzer of bakery product
JP2008538623A (en) * 2005-04-20 2008-10-30 コンシグリオ・ナツィオナーレ・デレ・リチェルケConsiglio Nazionale Delle Ricerche Method and system for detecting and classifying events during motor activity

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61292509A (en) * 1985-06-20 1986-12-23 Nippon Oil & Fats Co Ltd Non-contacting roughness measuring apparatus
JPS63100305A (en) * 1986-10-17 1988-05-02 Toshiba Corp Sensing device for body
JPH0399250A (en) * 1989-09-13 1991-04-24 Toshiba Corp Mounting state recognizing apparatus
JPH07181011A (en) * 1993-12-22 1995-07-18 Fanuc Ltd Method for recognizing hole through visual sensor
JP2001052175A (en) * 1999-08-06 2001-02-23 Olympus Optical Co Ltd Image retrieving device
JP2002373333A (en) * 2001-05-28 2002-12-26 Honda R & D Europe (Deutschland) Gmbh Pattern recognizing method with hierarchical network
JP2004078939A (en) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd Object identification method, apparatus and program
JP2005140707A (en) * 2003-11-07 2005-06-02 Matsushita Electric Works Ltd Apparatus for extracting feature sound, feature sound extraction method, and product evaluation system
JP2008538623A (en) * 2005-04-20 2008-10-30 コンシグリオ・ナツィオナーレ・デレ・リチェルケConsiglio Nazionale Delle Ricerche Method and system for detecting and classifying events during motor activity
JP2007179285A (en) * 2005-12-27 2007-07-12 Kyushu Institute Of Technology Image recognition device, image recognition method and program
JP2007225539A (en) * 2006-02-27 2007-09-06 Nippon Pan Gijutsu Kenkyusho Cut surface analyzer of bakery product

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203458A (en) * 2013-04-03 2014-10-27 三菱電機株式会社 Method for detecting 3d geometric boundaries

Also Published As

Publication number Publication date
JP5461064B2 (en) 2014-04-02

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
Aldrian et al. Inverse rendering of faces with a 3D morphable model
Ioannou et al. Difference of normals as a multi-scale operator in unorganized point clouds
Geisler et al. Edge co-occurrence in natural images predicts contour grouping performance
D'Orazio et al. A new algorithm for ball recognition using circle Hough transform and neural classifier
JP4742168B2 (en) Method and apparatus for identifying characteristics of an object detected by a video surveillance camera
CN108475417A (en) It is applied for semiconductor and high-definition picture is generated by low-resolution image
Nayar et al. Shape from focus: An effective approach for rough surfaces
JP4195096B2 (en) Equipment for 3D surface shape reconstruction
EP1462992B1 (en) System and method for shape reconstruction from optical images
JP4162095B2 (en) A technique for predicting the surface of a shielded part by calculating symmetry.
US7684596B2 (en) Image analysis
US8385630B2 (en) System and method of processing stereo images
Crihalmeanu et al. Enhancement and registration schemes for matching conjunctival vasculature
EP2538242B1 (en) Depth measurement quality enhancement.
US7385708B2 (en) Methods and systems for laser based real-time structured light depth extraction
Perfetti et al. Cellular neural networks with virtual template expansion for retinal vessel segmentation
Rajan et al. Multi-objective super resolution: concepts and examples
CN101326545B (en) Image processing method, image processing system
CN106796661A (en) Project system, the method and computer program product of light pattern
JP5487298B2 (en) 3D image generation
JP4739355B2 (en) Fast object detection method using statistical template matching
Garg et al. Unsupervised curvature-based retinal vessel segmentation
Bashar et al. Automatic detection of informative frames from wireless capsule endoscopy images
CN109003253A (en) Neural network point cloud generates system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130304

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140115

R150 Certificate of patent or registration of utility model

Ref document number: 5461064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250