DK3114432T3 - Billeddetekteringsindretning og målesystem til at tilvejebringe billeddata og information om 3d-karakteristika af en genstand - Google Patents

Billeddetekteringsindretning og målesystem til at tilvejebringe billeddata og information om 3d-karakteristika af en genstand Download PDF

Info

Publication number
DK3114432T3
DK3114432T3 DK14708850.4T DK14708850T DK3114432T3 DK 3114432 T3 DK3114432 T3 DK 3114432T3 DK 14708850 T DK14708850 T DK 14708850T DK 3114432 T3 DK3114432 T3 DK 3114432T3
Authority
DK
Denmark
Prior art keywords
rois
image
image data
detection device
roi
Prior art date
Application number
DK14708850.4T
Other languages
English (en)
Inventor
Mattias Johannesson
Original Assignee
Sick Ivp Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick Ivp Ab filed Critical Sick Ivp Ab
Application granted granted Critical
Publication of DK3114432T3 publication Critical patent/DK3114432T3/da

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Claims (15)

1. Fremgangsmåde, udført afen billeddetekteringsindretning (130), til at tilvejebringe billeddata, der relaterer til et billede afen genstand (120; 121; 501), hvor billeddetekteringsindretningen (130) omfatter en billedsensor (131), der har et sensorareal (132) til at detektere lys, hvor fremgangsmåden omfatter: - at definere (401) områder af interesse, "ROI'er", (301a-303a) i sensorarealet (132), hvor hvert ROI (301a; 302a; 303a) delvist overlapper et eller flere af de andre ROI'er (301a-303a), - at eksponere (402) ROI'erne (301a-303a) individuelt for lys fra genstanden og hvor ROI'erne (301a-303a) er eksponeret, således at alle pixels tilhørende et og samme ROI starter og slutter deres eksponering på samme tid, - at læse (403) delvis billeddata tilhørende grupper af delvis billeddata, hvor grupperne henholdsvis er associeret med de eksponerede ROI'er (301a-303a), hvor det delvise billeddata resulterer fra detekteret lys i de eksponerede ROI'er (301a-303a), og - at tilvejebringe (405), baseret på en kombination af det læste delvise billeddata, billeddataet, der relaterer til billedet af genstanden.
2. Billeddetekteringsindretning (130) til at tilvejebringe billeddata, der relaterer til et billede afen genstand (120; 121; 501), hvor billeddetekteringsindretningen (130) omfatter en billedsensor (131), der har et sensorareal (132) til at detektere lys, hvor billeddetekteringsindretningen (130) er konfigureret til: - at definere områder af interesse, "ROI'er", (301a-303a) i billedsensorarealet (132), idet hvert ROI (301a; 302a; 303a) delvist overlapper et eller flere af de andre ROI (301a-303a), - at eksponere ROI'erne (301a-303a) individuelt for lys fra genstanden og hvor ROI'erne (301a-303a) er eksponeret, således at alle pixels tilhørende et og samme ROI starter og slutter deres eksponering på samme tid, - at læse delvis billeddata tilhørende grupper af delvis billeddata, hvor grupperne henholdsvis er associeret med de eksponerede ROI'er (301a-303a), hvor det delvise billeddata resulterer fra detekteret lys i de eksponerede ROI'er (301a-303a), og - at tilvejebringe, baseret på en kombination af det læste delvise billeddata, billeddataet, der relaterer til billedet af genstanden.
3. Billeddetekteringsindretningen (130) ifølge krav 2, hvor mindst nogle af ROI'erne (301a-303a) er eksponeret under anvendelse af forskellige eksponeringstider.
4. Billeddetekteringsindretningen (130) ifølge krav 3, hvor nævnte mindst nogle af ROI'erne (301a-303a) er fortløbende placeret langs en eksponeringsretning (604) med nævnte forskellige eksponeringstider stigende eller faldende langs eksponeringsretningen (604).
5. Billeddetekteringsindretningen (130) ifølge et hvilket som helst af kravene 2-4, hvor ROI'erne (301a-303a) er fortløbende placeret langs enten pixelkolonner (M) eller pixelrækker (N) af sensorarealet (132).
6. Billeddetekteringsindretningen (130) ifølge et hvilket som helst af kravene 2-5, hvor en søgeretning (505a; 505b) er associeret med sensorarealet (132) og billeddetekteringsindretningen (130) er yderligere konfigureret til: - at søge i hvert ROI (301a; 302a; 303a), efter eksponering deraf og langs hver linje af pixels parallel med søgeretningen (505a; 505b), for respektive en eller flere intensitets-toppunktspositioner, der opfylder et søgekriterie, hvor tilvejebringelsen af billeddataet for nævnte billede er yderligere baseret på intensitets-toppunktspositionerne fundet i søgningen.
7. Billeddetekteringsindretningen (130) ifølge krav 6, hvor søgeretningen (505a; 505b) er parallel med pixelkolonner (M) eller pixelrækker (N) af billedsensorarealet (132), hvor nævnte hver linje af pixels svarer til en respektiv pixelkolonne (m) eller en respektiv pixelrække (n).
8. Billeddetekteringsindretningen (130) ifølge et hvilket som helst af kravene 6-7, hvor hver af en eller flere delvise overlapninger (502, 503) mellem ROI'er (301a-303a) i søgeretningen overlapper med en bredde, der er mindst en forudsagt største intensitets-toppunktsbredde (702) af indfaldende lys på sensorarealet (132).
9. Billeddetekteringsindretningen (130) ifølge krav 8, hvor nævnte hver afen eller flere delvise overlapninger (502, 503) i søgeretningen er højst en faktor 2 gange den forudsagte største intensitets-toppunktsbredde.
10. Billeddetekteringsindretningen (130) ifølge et hvilket som helst af kravene 2- 9, hvor billeddetekteringsindretningen (130) er konfigureret til at eksponere delvist overlappende ROI'er (301a, 302a) sekventielt og ikke-overlappende ROI'er (301a, 303a) mindst delvist simultant.
11. Billeddetekteringsindretningen (130) ifølge et hvilket som helst af kravene 2- 10, hvor billeddetekteringsindretningen (130) er yderligere konfigureret til at anvende sammensætning på, og under læsningen af mindst nogle af det delvise billeddata, hvor sammensætning her henviser til at data fra mere end et pixel kombineres til at tilvejebringe kombineret data svarende til et resulterende pixel med større areal end hvert pixel involveret i kombinationen.
12. Computerprogram (901), der når udført af et databehandlingsapparat (809; 900), får billeddetekteringsindretningen (130) til at udføre fremgangsmåden ifølge krav 1 og/eller får hardware til at blive syntetiseret, og/eller konfigureret, som billeddetekteringsindretningen (130) ifølge et hvilket som helst af kravene 2-11.
13. Computerprogramprodukt omfattende et computerlæsbart medie (902, 903, 904) og computerprogram (901) ifølge krav 12 lagret på det computerlæsbare medie (902, 903, 904).
14. Målesystem (100), omfattende billeddetekteringsindretningen (130) ifølge et hvilket som helst af kravene 2-11, til at tilvejebringe information om tredimensionelle karakteristika (140-1 - 140-K; 141-1) af genstanden (120; 121; 501) baseret på tilvejebragt billeddata fra billeddetekteringsindretningen (130), hvor målesystemet (100) yderligere omfatter en lyskilde (110) konfigureret til at belyse genstanden (120; 121; 501) med et specifikt lysmønster (112), hvor lyskilden (110) og billedsensoren (131) er anbragt i forhold til hinanden, således at det specifikke lysmønster (112), når reflekteret af genstanden (120; 121; 501) mindst delvist bliver indfaldende lys (133) på sensorarealet (132) og detekteret som nævnte lys fra genstanden (120; 121; 501), hvorved det tilvejebragte billeddata omfatter information konverterbart til de tredimensionelle karakteristika (140-1 - 140-K; 141-1) af genstanden (120; 121; 501) vedrørende positioner på genstanden (120; 121; 501), hvilke positioner forårsager nævnte indfaldende lys (133) på sensorarealet (132).
15. Målesystemet (100) ifølge krav 14, hvor målesystemet (100) er konfigureret til: - at opnå billeddata for multiple billeder ved at udføre fremgangsmåden ifølge krav 13 en gang og at gentage, en eller flere gange, mindst handlingerne at eksponere (402), at læse (403) og at tilvejebringe (405), hver gang med det indfaldende lys på billedsensoren (131) resulterende fra refleksioner på forskellige dele af genstanden (120; 121; 501), derved at opnå et sæt af billeddata associeret med multiple billeder af genstanden (120; 121; 501), og - at konvertere sættet af billeddata til informationen om tredimensionelle karakteristika (140-1 - 140-K; 141-1) af genstanden (120; 121; 501).
DK14708850.4T 2014-03-05 2014-03-05 Billeddetekteringsindretning og målesystem til at tilvejebringe billeddata og information om 3d-karakteristika af en genstand DK3114432T3 (da)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/054284 WO2015131944A1 (en) 2014-03-05 2014-03-05 Image sensing device and measuring system for providing image data and information on 3d-characteristics of an object

Publications (1)

Publication Number Publication Date
DK3114432T3 true DK3114432T3 (da) 2018-01-08

Family

ID=50239614

Family Applications (1)

Application Number Title Priority Date Filing Date
DK14708850.4T DK3114432T3 (da) 2014-03-05 2014-03-05 Billeddetekteringsindretning og målesystem til at tilvejebringe billeddata og information om 3d-karakteristika af en genstand

Country Status (8)

Country Link
US (1) US10509977B2 (da)
EP (1) EP3114432B1 (da)
JP (1) JP6204608B2 (da)
CN (1) CN106133476B (da)
CA (1) CA2940079C (da)
DK (1) DK3114432T3 (da)
ES (1) ES2654101T3 (da)
WO (1) WO2015131944A1 (da)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9605950B2 (en) * 2013-05-22 2017-03-28 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
CN106133476B (zh) 2014-03-05 2018-09-14 西克Ivp股份公司 用于提供关于对象的3d特征的图像数据和信息的图像感测设备和测量系统
JP6932894B2 (ja) * 2016-01-28 2021-09-08 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 複数の露光を使用して試料容器及び／又は試料を画像化するための方法及び装置
ES2682525B1 (es) * 2017-03-20 2019-10-21 Univ Girona Conjunto de escaneo por laser, vehiculo y procedimiento de escaneo por laser correspondientes
US10753726B2 (en) * 2017-03-26 2020-08-25 Cognex Corporation System and method for 3D profile determination using model-based peak selection
CN117459845A (zh) * 2018-09-18 2024-01-26 直观外科手术操作公司 用于增强的图像传感器定时的方法和系统
US11906289B2 (en) 2019-06-28 2024-02-20 Institut National D'optique Triangulation-based optical profilometry system
EP3779882B1 (en) * 2019-08-16 2022-07-20 Sick IVP AB Providing intensity peak position in image data from light triangulation in a three-dimensional imaging system
TWI735953B (zh) 2019-09-18 2021-08-11 財團法人工業技術研究院 三維量測裝置與其操作方法
US20220182561A1 (en) * 2020-10-04 2022-06-09 Digital Direct Ir, Inc. Wide field of view imaging system for vehicle artificial intelligence system

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196939A (en) * 1989-12-28 1993-03-23 Loral Fairchild Corporation Method and apparatus for transferring images from an imaging array
JPH0937040A (ja) * 1995-07-24 1997-02-07 Canon Inc 画像走査装置
US6166367A (en) * 1998-03-26 2000-12-26 Photobit Corporation Programmable analog arithmetic circuit for imaging sensor
US6455831B1 (en) * 1998-09-11 2002-09-24 The Research Foundation Of Suny At Buffalo CMOS foveal image sensor chip
US6785410B2 (en) * 1999-08-09 2004-08-31 Wake Forest University Health Sciences Image reporting method and system
US6839452B1 (en) 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
US7106377B2 (en) * 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
US20060257053A1 (en) * 2003-06-16 2006-11-16 Boudreau Alexandre J Segmentation and data mining for gel electrophoresis images
JP2006074114A (ja) * 2004-08-31 2006-03-16 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7611060B2 (en) * 2005-03-11 2009-11-03 Hand Held Products, Inc. System and method to automatically focus an image reader
US7538813B2 (en) * 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
JP4888081B2 (ja) * 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
EP1985969B1 (en) * 2007-04-26 2017-10-25 Sick IVP AB Method and apparatus for determining the amount of scattered light in a maschine vision system
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
US8332607B2 (en) 2008-07-31 2012-12-11 Skymedi Corporation Non-volatile memory storage device and operation method thereof
JP5524495B2 (ja) * 2009-03-10 2014-06-18 富士機械製造株式会社 撮像システムおよび電子回路部品装着機
JP2011039006A (ja) * 2009-08-18 2011-02-24 Topcon Corp 測定装置
US8625013B2 (en) * 2010-08-23 2014-01-07 Red.Com, Inc. Multi-exposure imaging
JP5682196B2 (ja) * 2010-09-22 2015-03-11 セイコーエプソン株式会社 画像補正回路、撮影装置および画像補正プログラム
WO2012133926A2 (en) * 2011-04-01 2012-10-04 Nikon Corporation Profile measuring apparatus, method for measuring profile, and method for manufacturing structure
JP5806511B2 (ja) * 2011-05-31 2015-11-10 オリンパス株式会社 撮像装置、撮像方法
GB2492387B (en) 2011-06-30 2017-07-19 Cmosis Nv Pixel array with individual exposure control for a pixel or pixel region
JP2013186089A (ja) * 2012-03-09 2013-09-19 Canon Inc 表面形状の測定方法及び測定装置
US8998089B2 (en) * 2013-01-03 2015-04-07 Symbol Technologies, Inc. Method of controlling illumination pulses to increase dynamic range in bioptic imager barcode scanner
US9894294B2 (en) * 2013-01-25 2018-02-13 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
US9605950B2 (en) * 2013-05-22 2017-03-28 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
US9578252B2 (en) * 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
CN106133476B (zh) 2014-03-05 2018-09-14 西克Ivp股份公司 用于提供关于对象的3d特征的图像数据和信息的图像感测设备和测量系统
US20160037093A1 (en) * 2014-07-31 2016-02-04 Invisage Technologies, Inc. Image sensors with electronic shutter
US10475202B2 (en) * 2016-02-05 2019-11-12 Mitutoyo Corporation Image measuring device and program
US10477133B2 (en) * 2017-10-02 2019-11-12 Sony Semiconductor Solutions Corporation Solid-state imaging sensor and solid-state imaging device

Also Published As

Publication number Publication date
CA2940079A1 (en) 2015-09-11
EP3114432B1 (en) 2017-11-22
US10509977B2 (en) 2019-12-17
CN106133476B (zh) 2018-09-14
JP2017508968A (ja) 2017-03-30
US20170069098A1 (en) 2017-03-09
EP3114432A1 (en) 2017-01-11
CA2940079C (en) 2018-06-12
CN106133476A (zh) 2016-11-16
WO2015131944A1 (en) 2015-09-11
JP6204608B2 (ja) 2017-09-27
ES2654101T3 (es) 2018-02-12

Similar Documents

Publication Publication Date Title
DK3114432T3 (da) Billeddetekteringsindretning og målesystem til at tilvejebringe billeddata og information om 3d-karakteristika af en genstand
KR20190085159A (ko) 컨볼루션 뉴럴 네트워크 기반 결함 검사를 위한 데이터 증강
CN107316047A (zh) 图像处理装置、图像处理方法以及存储介质
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
TW201732979A (zh) 光學晶粒對資料庫檢查
JP5972498B2 (ja) エッジ検出装置、エッジ検出方法およびプログラム
WO2009034564A2 (en) Imaging measurements system with periodic pattern illumination and tdi
JP5757156B2 (ja) 検出対象物の中心位置を算出する方法、装置およびプログラム
US10984566B2 (en) Image processing apparatus that calculates using luminance values of one or more input images produced by photoelectric conversion of multiple polarized lights, image-capturing apparatus and image processing method
JP7127046B2 (ja) モデルベースのピーク選択を使用した３ｄプロファイル決定のためのシステム及び方法
TW202101292A (zh) 半導體檢查方法及半導體檢查裝置
JP7132375B2 (ja) レーザスペックルの効果を低減させるためのイメージセンサ回路
EP3194886A1 (en) Positional shift amount calculation apparatus and imaging apparatus
JP2023083632A (ja) ３次元形状計測方法及び３次元形状計測装置
JP2018077168A (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
van Hengstum et al. Development of a high resolution topography and color scanner to capture crack patterns of paintings
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
JP7286268B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
AU2013273789A1 (en) Thickness estimation for Microscopy
JP6114154B2 (ja) 欠陥判定装置、欠陥検査装置、および欠陥判定方法
JP2020060398A (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
JP5686376B2 (ja) 画像処理装置、方法、及びプログラム
JP2006003276A (ja) ３次元形状計測システム
WO2016042721A1 (en) Positional shift amount calculation apparatus and imaging apparatus
US20230335027A1 (en) Method and arrangements for provision of pixel values for readout from an image sensor