JP2018096834A - データ処理装置、データ処理方法、プログラム、および電子機器 - Google Patents
データ処理装置、データ処理方法、プログラム、および電子機器 Download PDFInfo
- Publication number
- JP2018096834A JP2018096834A JP2016241355A JP2016241355A JP2018096834A JP 2018096834 A JP2018096834 A JP 2018096834A JP 2016241355 A JP2016241355 A JP 2016241355A JP 2016241355 A JP2016241355 A JP 2016241355A JP 2018096834 A JP2018096834 A JP 2018096834A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- unit
- image
- recognition
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 124
- 238000012545 processing Methods 0.000 claims abstract description 110
- 239000010409 thin film Substances 0.000 claims abstract description 66
- 230000003595 spectral effect Effects 0.000 claims abstract description 50
- 239000010408 film Substances 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000002372 labelling Methods 0.000 claims abstract description 40
- 238000001228 spectrum Methods 0.000 claims abstract description 37
- 239000004020 conductor Substances 0.000 claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 229910052751 metal Inorganic materials 0.000 claims abstract description 15
- 239000002184 metal Substances 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 description 75
- 238000001514 detection method Methods 0.000 description 52
- 239000010410 layer Substances 0.000 description 49
- 238000005516 engineering process Methods 0.000 description 31
- 239000011229 interlayer Substances 0.000 description 31
- 238000010521 absorption reaction Methods 0.000 description 27
- 210000003128 head Anatomy 0.000 description 27
- 238000004891 communication Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 239000004065 semiconductor Substances 0.000 description 12
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 10
- 238000002674 endoscopic surgery Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 8
- 240000007124 Brassica oleracea Species 0.000 description 7
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 7
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 7
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 7
- 241000227653 Lycopersicon Species 0.000 description 7
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 7
- 235000013305 food Nutrition 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000010365 information processing Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 229910052782 aluminium Inorganic materials 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 229910052681 coesite Inorganic materials 0.000 description 5
- 229910052906 cristobalite Inorganic materials 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 5
- 239000011368 organic material Substances 0.000 description 5
- 239000000377 silicon dioxide Substances 0.000 description 5
- 235000012239 silicon dioxide Nutrition 0.000 description 5
- 229910052682 stishovite Inorganic materials 0.000 description 5
- 229910052905 tridymite Inorganic materials 0.000 description 5
- 229910004298 SiO 2 Inorganic materials 0.000 description 4
- 229930006000 Sucrose Natural products 0.000 description 4
- CZMRCDWAGMRECN-UGDNZRGBSA-N Sucrose Chemical compound O[C@H]1[C@H](O)[C@@H](CO)O[C@@]1(CO)O[C@@H]1[C@H](O)[C@@H](O)[C@H](O)[C@@H](CO)O1 CZMRCDWAGMRECN-UGDNZRGBSA-N 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 229910010272 inorganic material Inorganic materials 0.000 description 4
- 239000011147 inorganic material Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 239000005720 sucrose Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 238000002198 surface plasmon resonance spectroscopy Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241001672694 Citrus reticulata Species 0.000 description 2
- 244000241257 Cucumis melo Species 0.000 description 2
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 2
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- 239000004793 Polystyrene Substances 0.000 description 2
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- 235000015278 beef Nutrition 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000005229 chemical vapour deposition Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 229920000139 polyethylene terephthalate Polymers 0.000 description 2
- 239000005020 polyethylene terephthalate Substances 0.000 description 2
- 229920002223 polystyrene Polymers 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- WRIDQFICGBMAFQ-UHFFFAOYSA-N (E)-8-Octadecenoic acid Natural products CCCCCCCCCC=CCCCCCCC(O)=O WRIDQFICGBMAFQ-UHFFFAOYSA-N 0.000 description 1
- LQJBNNIYVWPHFW-UHFFFAOYSA-N 20:1omega9c fatty acid Natural products CCCCCCCCCCC=CCCCCCCCC(O)=O LQJBNNIYVWPHFW-UHFFFAOYSA-N 0.000 description 1
- QSBYPNXLFMSGKH-UHFFFAOYSA-N 9-Heptadecensaeure Natural products CCCCCCCC=CCCCCCCCC(O)=O QSBYPNXLFMSGKH-UHFFFAOYSA-N 0.000 description 1
- 244000144725 Amygdalus communis Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000758791 Juglandaceae Species 0.000 description 1
- 102000036675 Myoglobin Human genes 0.000 description 1
- 108010062374 Myoglobin Proteins 0.000 description 1
- 239000005642 Oleic acid Substances 0.000 description 1
- ZQPPMHVWECSIRJ-UHFFFAOYSA-N Oleic acid Natural products CCCCCCCCC=CCCCCCCCC(O)=O ZQPPMHVWECSIRJ-UHFFFAOYSA-N 0.000 description 1
- -1 Poly Ethylene Terephthalate Polymers 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 229910004541 SiN Inorganic materials 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 235000003095 Vaccinium corymbosum Nutrition 0.000 description 1
- 240000000851 Vaccinium corymbosum Species 0.000 description 1
- 235000017537 Vaccinium myrtillus Nutrition 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 235000020224 almond Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 235000021014 blueberries Nutrition 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- QXJSBBXBKPUZAA-UHFFFAOYSA-N isooleic acid Natural products CCCCCCCC=CCCCCCCCCC(O)=O QXJSBBXBKPUZAA-UHFFFAOYSA-N 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 229910001635 magnesium fluoride Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 235000014571 nuts Nutrition 0.000 description 1
- ZQPPMHVWECSIRJ-KTKRTIGZSA-N oleic acid Chemical compound CCCCCCCC\C=C/CCCCCCCC(O)=O ZQPPMHVWECSIRJ-KTKRTIGZSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 239000004038 photonic crystal Substances 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000005245 sintering Methods 0.000 description 1
- 229910052950 sphalerite Inorganic materials 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 235000019583 umami taste Nutrition 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
- 235000020234 walnut Nutrition 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- 229910052984 zinc sulfide Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
Description
1.撮像装置の実施形態
2.マルチスペクトル画像の利用例
3.変形例
4.応用例
まず、図1乃至図22を参照して、本技術の撮像装置の実施形態について説明する。
図1は、本技術を適用した電子機器の一種である撮像装置の一実施の形態を示すブロック図である。
図2は、図1の撮像素子12の回路の構成例を示すブロック図である。
図3は、図1の撮像素子12の第1の実施形態である撮像素子12Aの断面の構成例を模式的に示している。図3には、撮像素子12の画素51−1乃至画素51−4の4画素分の断面が示されている。なお、以下、画素51−1乃至画素51−4を個々に区別する必要がない場合、単に画素51と称する。
次に、図4乃至図15を参照して、狭帯域フィルタNBに用いることが可能なプラズモンフィルタについて説明する。
次に、図10乃至図15を参照して、プラズモンフィルタのその他の例について説明する。
次に、図16乃至図21を参照して、図1の撮像素子12の第2の実施形態について説明する。
次に、図22を参照して、図1の撮像素子12の第3の実施形態について説明する。
次に、図23乃至図29を参照して、図1の撮像素子12から出力される画像(以下、マルチスペクトル画像と称する)を利用して行われる処理について説明する。
以下、上述した本技術の実施形態の変形例について説明する。
次に、本技術の応用例について説明する。
例えば、本技術は、図31に示されるように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに応用することができる。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供され
装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
また、例えば、本開示に係る技術(本技術)は、内視鏡手術システムに適用されてもよい。
また、例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
また、例えば、本技術は、以下のような構成も取ることができる。
(1)
多数の波長帯域に分光された光により物体が撮像されたマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行う認識処理部と、
前記認識処理部による認識結果を、前記物体が写されたカラー画像に付加するラベリング部と
を備えるデータ処理装置。
(2)
前記認識処理部は、少なくとも一部の画素において光電変換素子より光の入射側に設けられ、導体薄膜の膜厚が画素により異なる金属薄膜フィルタを備える撮像素子が、前記物体を撮像して得られる前記マルチスペクトル画像を使用する
上記(1)に記載のデータ処理装置。
(3)
複数の物体が写された前記マルチスペクトル画像から予め求められ、前記物体の種別ごとに特有の分光特性を示すスペクトル情報を保持するスペクトル情報保持部
をさらに備え、
前記認識処理部は、前記物体認識処理の対象となる前記物体が写された前記マルチスペクトル画像から求められる前記スペクトル情報と、前記スペクトル情報保持部に保持されている複数の前記スペクトル情報との類似度に基づいて、前記物体の種別を認識する
上記(1)または(2)に記載のデータ処理装置。
(4)
前記ラベリング部により前記認識結果が付加された前記カラー画像を、任意の物体が写されたカラー画像による物体認識を行うための機械学習に用いる教師データとして記憶する記憶部
をさらに備える上記(1)から(3)までのいずれかに記載のデータ処理装置。
(5)
前記認識処理部により認識された前記物体の種別に従って、前記物体を定量的に評価する評価指標を選択し、その評価指標を算出する評価指標算出部
をさらに備え、
前記ラベリング部は、前記認識結果および前記評価指標を、前記物体が写されたカラー画像に付加する
上記(1)から(4)までのいずれかに記載のデータ処理装置。
(6)
前記認識結果および前記評価指標を、前記物体が写されたカラー画像に重畳して表示する表示部
をさらに備える上記(5)に記載のデータ処理装置。
(7)
多数の波長帯域に分光された光により物体が撮像されたマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行い、
前記認識結果を、前記物体が写されたカラー画像に付加する
ステップを含むデータ処理方法。
(8)
多数の波長帯域に分光された光により物体が撮像されたマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行い、
前記認識結果を、前記物体が写されたカラー画像に付加する
ステップを含むデータ処理をコンピュータに実行させるプログラム。
(9)
少なくとも一部の画素において光電変換素子より光の入射側に設けられ、導体薄膜の膜厚が画素により異なる金属薄膜フィルタを備える撮像素子と、
前記撮像素子が、多数の波長帯域に分光された光により物体を撮像して得られるマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行う認識処理部と、
前記認識処理部による認識結果を、前記物体が写されたカラー画像に付加するラベリング部と
を備える電子機器。
Claims (9)
- 多数の波長帯域に分光された光により物体が撮像されたマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行う認識処理部と、
前記認識処理部による認識結果を、前記物体が写されたカラー画像に付加するラベリング部と
を備えるデータ処理装置。 - 前記認識処理部は、少なくとも一部の画素において光電変換素子より光の入射側に設けられ、導体薄膜の膜厚が画素により異なる金属薄膜フィルタを備える撮像素子が、前記物体を撮像して得られる前記マルチスペクトル画像を使用する
請求項1に記載のデータ処理装置。 - 複数の物体が写された前記マルチスペクトル画像から予め求められ、前記物体の種別ごとに特有の分光特性を示すスペクトル情報を保持するスペクトル情報保持部
をさらに備え、
前記認識処理部は、前記物体認識処理の対象となる前記物体が写された前記マルチスペクトル画像から求められる前記スペクトル情報と、前記スペクトル情報保持部に保持されている複数の前記スペクトル情報との類似度に基づいて、前記物体の種別を認識する
請求項1に記載のデータ処理装置。 - 前記ラベリング部により前記認識結果が付加された前記カラー画像を、任意の物体が写されたカラー画像による物体認識を行うための機械学習に用いる教師データとして記憶する記憶部
をさらに備える請求項1に記載のデータ処理装置。 - 前記認識処理部により認識された前記物体の種別に従って、前記物体を定量的に評価する評価指標を選択し、その評価指標を算出する評価指標算出部
をさらに備え、
前記ラベリング部は、前記認識結果および前記評価指標を、前記物体が写されたカラー画像に付加する
請求項1に記載のデータ処理装置。 - 前記認識結果および前記評価指標を、前記物体が写されたカラー画像に重畳して表示する表示部
をさらに備える請求項5に記載のデータ処理装置。 - 多数の波長帯域に分光された光により物体が撮像されたマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行い、
前記認識結果を、前記物体が写されたカラー画像に付加する
ステップを含むデータ処理方法。 - 多数の波長帯域に分光された光により物体が撮像されたマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行い、
前記認識結果を、前記物体が写されたカラー画像に付加する
ステップを含むデータ処理をコンピュータに実行させるプログラム。 - 少なくとも一部の画素において光電変換素子より光の入射側に設けられ、導体薄膜の膜厚が画素により異なる金属薄膜フィルタを備える撮像素子と、
前記撮像素子が、多数の波長帯域に分光された光により物体を撮像して得られるマルチスペクトル画像を使用して、前記物体の種別を認識する物体認識処理を行う認識処理部と、
前記認識処理部による認識結果を、前記物体が写されたカラー画像に付加するラベリング部と
を備える電子機器。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016241355A JP6910792B2 (ja) | 2016-12-13 | 2016-12-13 | データ処理装置、データ処理方法、プログラム、および電子機器 |
EP17822793.0A EP3555805A1 (en) | 2016-12-13 | 2017-12-12 | Data processing device, data processing method, program, and electronic device |
US16/465,178 US11120287B2 (en) | 2016-12-13 | 2017-12-12 | Data processing device, data processing method, program, and electronic device |
CN202310393059.0A CN116958632A (zh) | 2016-12-13 | 2017-12-12 | 物体分类系统 |
CN201780073792.7A CN110023952B (zh) | 2016-12-13 | 2017-12-12 | 数据处理装置、数据处理方法、程序和电子装置 |
PCT/JP2017/044631 WO2018110575A1 (en) | 2016-12-13 | 2017-12-12 | Data processing device, data processing method, program, and electronic device |
JP2021112795A JP7130822B2 (ja) | 2016-12-13 | 2021-07-07 | イメージングシステム、イメージング処理方法、およびプログラム |
US17/381,025 US11869233B2 (en) | 2016-12-13 | 2021-07-20 | Data processing device, data processing method, program, and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016241355A JP6910792B2 (ja) | 2016-12-13 | 2016-12-13 | データ処理装置、データ処理方法、プログラム、および電子機器 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021112795A Division JP7130822B2 (ja) | 2016-12-13 | 2021-07-07 | イメージングシステム、イメージング処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018096834A true JP2018096834A (ja) | 2018-06-21 |
JP2018096834A5 JP2018096834A5 (ja) | 2020-01-30 |
JP6910792B2 JP6910792B2 (ja) | 2021-07-28 |
Family
ID=60888561
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016241355A Active JP6910792B2 (ja) | 2016-12-13 | 2016-12-13 | データ処理装置、データ処理方法、プログラム、および電子機器 |
JP2021112795A Active JP7130822B2 (ja) | 2016-12-13 | 2021-07-07 | イメージングシステム、イメージング処理方法、およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021112795A Active JP7130822B2 (ja) | 2016-12-13 | 2021-07-07 | イメージングシステム、イメージング処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11120287B2 (ja) |
EP (1) | EP3555805A1 (ja) |
JP (2) | JP6910792B2 (ja) |
CN (2) | CN116958632A (ja) |
WO (1) | WO2018110575A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019230356A1 (ja) * | 2018-05-31 | 2019-12-05 | パナソニックIpマネジメント株式会社 | 学習装置、検査装置、学習方法および検査方法 |
WO2020230459A1 (ja) * | 2019-05-16 | 2020-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2021056988A (ja) * | 2020-01-22 | 2021-04-08 | 株式会社フロンティア・フィールド | 支援システム及び支援プログラム |
WO2022080284A1 (ja) * | 2020-10-13 | 2022-04-21 | 国立研究開発法人理化学研究所 | 携帯機器、食品特性判断装置、食品特性判断方法及びプログラム |
WO2022196210A1 (ja) * | 2021-03-17 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法及び電子機器 |
US11454496B2 (en) | 2020-01-21 | 2022-09-27 | Samsung Electronics Co., Ltd. | Object recognition apparatus and operation method thereof |
KR20230049378A (ko) * | 2021-10-06 | 2023-04-13 | 한국식품연구원 | 비파괴 분석기술 기반의 배추 연부병 진단용 다분광 영상장치 및 이의 제작방법 |
US12009105B2 (en) | 2018-09-20 | 2024-06-11 | Fujifilm Corporation | Learning apparatus and learning method for training neural network |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6910792B2 (ja) | 2016-12-13 | 2021-07-28 | ソニーセミコンダクタソリューションズ株式会社 | データ処理装置、データ処理方法、プログラム、および電子機器 |
CN112106064A (zh) * | 2018-10-15 | 2020-12-18 | 松下知识产权经营株式会社 | 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置 |
TWI830907B (zh) * | 2019-06-05 | 2024-02-01 | 日商索尼半導體解決方案公司 | 圖像辨識裝置及圖像辨識方法 |
CN114788257A (zh) * | 2019-12-18 | 2022-07-22 | 索尼半导体解决方案公司 | 信息处理装置、信息处理方法、程序、成像装置和成像系统 |
CN111951662B (zh) * | 2020-06-03 | 2022-06-10 | 中山大学 | 一种基于结构单元尺寸差异的物理型信息隐藏结构及其制备方法 |
CN111738180B (zh) * | 2020-06-28 | 2023-03-24 | 浙江大华技术股份有限公司 | 关键点的标注方法、装置、存储介质及电子装置 |
US11341698B1 (en) * | 2020-12-18 | 2022-05-24 | Tiliter Pty Ltd. | Methods and apparatus for simulating images of produce with markings from images of produce and images of markings |
KR20230136872A (ko) * | 2021-01-29 | 2023-09-27 | 일루미나, 인코포레이티드 | 프로세스 사이클 이미지의 딥 러닝 기반 근본 원인 분석 |
DE102021207009A1 (de) | 2021-07-05 | 2023-01-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Erkennen eines Pflanzengesundheitszustands von Pflanzen für eine Landmaschine |
CN113777056A (zh) * | 2021-08-13 | 2021-12-10 | 昆山格博尔智能科技有限责任公司 | 基于多光谱cmos图像芯片的油墨配色检测方法 |
JP7324329B1 (ja) | 2022-03-18 | 2023-08-09 | 維沃移動通信有限公司 | 画像処理方法、装置、電子機器及び読み取り可能な記憶媒体 |
CN115758206B (zh) * | 2022-11-07 | 2023-05-16 | 武汉麓谷科技有限公司 | 一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04352078A (ja) * | 1991-05-29 | 1992-12-07 | Masanori Sugisaka | 栗の形状識別方法 |
JPH1083455A (ja) * | 1996-07-08 | 1998-03-31 | Sony Corp | 物体認識装置および方法 |
JP2012154628A (ja) * | 2011-01-21 | 2012-08-16 | Olympus Corp | 顕微鏡システム、情報処理装置、及び情報処理プログラム |
WO2013002349A1 (ja) * | 2011-06-29 | 2013-01-03 | 富士通株式会社 | 植物種識別装置、方法およびプログラム |
JP2013030626A (ja) * | 2011-07-28 | 2013-02-07 | Sony Corp | 固体撮像素子および撮像システム |
WO2014199720A1 (ja) * | 2013-06-14 | 2014-12-18 | シャープ株式会社 | 固体撮像装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003006612A (ja) | 2001-06-20 | 2003-01-10 | Ntt Data Corp | 収穫予測装置及び方法 |
JP4615430B2 (ja) * | 2005-12-09 | 2011-01-19 | 株式会社エヌ・ティ・ティ・データ | 画像生成装置、画像生成方法および画像生成プログラム |
JP4352078B2 (ja) | 2007-03-28 | 2009-10-28 | 三菱電機株式会社 | 車載電子制御装置の給電制御回路 |
JP4770928B2 (ja) | 2009-01-13 | 2011-09-14 | ソニー株式会社 | 光学素子および固体撮像素子 |
US8625889B2 (en) * | 2010-12-30 | 2014-01-07 | Samsung Electronics Co., Ltd. | System for food recognition method using portable devices having digital cameras |
KR20140104946A (ko) * | 2011-10-05 | 2014-08-29 | 시레카 테라노스틱스, 엘엘씨 | 스펙트럼 이미징에 의해 생물학적 표본을 분석하는 방법 및 시스템 |
CN102661794B (zh) * | 2012-03-20 | 2014-08-06 | 清华大学 | 多光谱计算重构方法及系统 |
US9189703B2 (en) * | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Systems and methods for colorimetric and spectral material estimation |
EP3017423A1 (en) * | 2013-07-02 | 2016-05-11 | Roche Diagnostics GmbH | Estimation of food volume and carbs |
US9989463B2 (en) * | 2013-07-02 | 2018-06-05 | Canon Kabushiki Kaisha | Material classification |
US20150012226A1 (en) * | 2013-07-02 | 2015-01-08 | Canon Kabushiki Kaisha | Material classification using brdf slices |
US9606056B2 (en) * | 2013-12-06 | 2017-03-28 | Canon Kabushiki Kaisha | Selection of spectral bands or filters for material classification under multiplexed illumination |
US9659225B2 (en) * | 2014-02-12 | 2017-05-23 | Microsoft Technology Licensing, Llc | Restaurant-specific food logging from images |
US9916520B2 (en) * | 2014-09-03 | 2018-03-13 | Sri International | Automated food recognition and nutritional estimation with a personal mobile electronic device |
US9959628B2 (en) * | 2014-11-21 | 2018-05-01 | Christopher M. MUTTI | Imaging system for object recognition and assessment |
US9349297B1 (en) * | 2015-09-09 | 2016-05-24 | Fitly Inc. | System and method for nutrition analysis using food image recognition |
US10074028B2 (en) * | 2015-10-20 | 2018-09-11 | Arizona Board Of Regents On Behalf Of Arizona State University | Real-time diet assessment and food identification using thermal imaging |
US10281200B2 (en) * | 2016-03-14 | 2019-05-07 | Amazon Technologies, Inc. | Image-based spoilage sensing refrigerator |
US10109051B1 (en) * | 2016-06-29 | 2018-10-23 | A9.Com, Inc. | Item recommendation based on feature match |
JP6910792B2 (ja) | 2016-12-13 | 2021-07-28 | ソニーセミコンダクタソリューションズ株式会社 | データ処理装置、データ処理方法、プログラム、および電子機器 |
-
2016
- 2016-12-13 JP JP2016241355A patent/JP6910792B2/ja active Active
-
2017
- 2017-12-12 CN CN202310393059.0A patent/CN116958632A/zh active Pending
- 2017-12-12 WO PCT/JP2017/044631 patent/WO2018110575A1/en unknown
- 2017-12-12 EP EP17822793.0A patent/EP3555805A1/en active Pending
- 2017-12-12 US US16/465,178 patent/US11120287B2/en active Active
- 2017-12-12 CN CN201780073792.7A patent/CN110023952B/zh active Active
-
2021
- 2021-07-07 JP JP2021112795A patent/JP7130822B2/ja active Active
- 2021-07-20 US US17/381,025 patent/US11869233B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04352078A (ja) * | 1991-05-29 | 1992-12-07 | Masanori Sugisaka | 栗の形状識別方法 |
JPH1083455A (ja) * | 1996-07-08 | 1998-03-31 | Sony Corp | 物体認識装置および方法 |
JP2012154628A (ja) * | 2011-01-21 | 2012-08-16 | Olympus Corp | 顕微鏡システム、情報処理装置、及び情報処理プログラム |
WO2013002349A1 (ja) * | 2011-06-29 | 2013-01-03 | 富士通株式会社 | 植物種識別装置、方法およびプログラム |
JP2013030626A (ja) * | 2011-07-28 | 2013-02-07 | Sony Corp | 固体撮像素子および撮像システム |
WO2014199720A1 (ja) * | 2013-06-14 | 2014-12-18 | シャープ株式会社 | 固体撮像装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7320704B2 (ja) | 2018-05-31 | 2023-08-04 | パナソニックIpマネジメント株式会社 | 学習装置、検査装置、学習方法および検査方法 |
JPWO2019230356A1 (ja) * | 2018-05-31 | 2021-06-24 | パナソニックIpマネジメント株式会社 | 学習装置、検査装置、学習方法および検査方法 |
US11977033B2 (en) | 2018-05-31 | 2024-05-07 | Panasonic Intellectual Property Management Co., Ltd. | Learning device, inspection device, learning method, and inspection method |
WO2019230356A1 (ja) * | 2018-05-31 | 2019-12-05 | パナソニックIpマネジメント株式会社 | 学習装置、検査装置、学習方法および検査方法 |
US12009105B2 (en) | 2018-09-20 | 2024-06-11 | Fujifilm Corporation | Learning apparatus and learning method for training neural network |
WO2020230459A1 (ja) * | 2019-05-16 | 2020-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11861883B2 (en) | 2019-05-16 | 2024-01-02 | Sony Group Corporation | Information processing apparatus and information processing method |
US11454496B2 (en) | 2020-01-21 | 2022-09-27 | Samsung Electronics Co., Ltd. | Object recognition apparatus and operation method thereof |
JP2021056988A (ja) * | 2020-01-22 | 2021-04-08 | 株式会社フロンティア・フィールド | 支援システム及び支援プログラム |
WO2022080284A1 (ja) * | 2020-10-13 | 2022-04-21 | 国立研究開発法人理化学研究所 | 携帯機器、食品特性判断装置、食品特性判断方法及びプログラム |
WO2022196210A1 (ja) * | 2021-03-17 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法及び電子機器 |
KR20230049378A (ko) * | 2021-10-06 | 2023-04-13 | 한국식품연구원 | 비파괴 분석기술 기반의 배추 연부병 진단용 다분광 영상장치 및 이의 제작방법 |
KR102590616B1 (ko) * | 2021-10-06 | 2023-10-17 | 한국식품연구원 | 비파괴 분석기술 기반의 배추 연부병 진단용 다분광 영상장치 및 이의 제작방법 |
Also Published As
Publication number | Publication date |
---|---|
CN110023952B (zh) | 2023-08-18 |
WO2018110575A1 (en) | 2018-06-21 |
JP6910792B2 (ja) | 2021-07-28 |
CN116958632A (zh) | 2023-10-27 |
JP7130822B2 (ja) | 2022-09-05 |
EP3555805A1 (en) | 2019-10-23 |
US11120287B2 (en) | 2021-09-14 |
US20210406573A1 (en) | 2021-12-30 |
JP2021165754A (ja) | 2021-10-14 |
US20190370586A1 (en) | 2019-12-05 |
US11869233B2 (en) | 2024-01-09 |
CN110023952A (zh) | 2019-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7130822B2 (ja) | イメージングシステム、イメージング処理方法、およびプログラム | |
JP6789792B2 (ja) | 撮像素子、電子機器 | |
WO2018110574A1 (ja) | 画像処理装置、画像処理方法、プログラム、および電子機器 | |
JP6910704B2 (ja) | 撮像素子、撮像素子の製造方法、プラズモンフィルタ、及び、電子機器 | |
JP7066316B2 (ja) | 撮像素子及び電子機器 | |
US20200408598A1 (en) | Sensor device and electronic device | |
JP7154736B2 (ja) | 撮像素子、電子機器 | |
WO2018110572A1 (ja) | 撮像素子及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6910792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |