CN108377380A - 影像扫描系统及其方法 - Google Patents

影像扫描系统及其方法 Download PDF

Info

Publication number
CN108377380A
CN108377380A CN201611015227.9A CN201611015227A CN108377380A CN 108377380 A CN108377380 A CN 108377380A CN 201611015227 A CN201611015227 A CN 201611015227A CN 108377380 A CN108377380 A CN 108377380A
Authority
CN
China
Prior art keywords
image
laser
interest
optical unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611015227.9A
Other languages
English (en)
Other versions
CN108377380B (zh
Inventor
杨茆世芳
马天彦
林凡异
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN108377380A publication Critical patent/CN108377380A/zh
Application granted granted Critical
Publication of CN108377380B publication Critical patent/CN108377380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种影像扫描系统及其方法，该影像扫描方法包括：取得第一光学单元的第一影像及第二光学单元的第二影像；侦测出影像内对象；选定影像内对象的至少一者作为感兴趣区域，以通过第二光学单元持续扫描该感兴趣区域，以获得该感兴趣区域的深度影像信息；将该深度影像信息整合至该第一影像或第二影像中。本发明的影像扫描系统及其方法可提高影像分辨率、扫描速度及更准确的辨识结果。

Description

影像扫描系统及其方法
技术领域
本发明有关一种影像扫描系统及其方法，尤指一种可针对影像中特定对象进行高分辨率扫描的影像扫描系统及其方法。
背景技术
三维影像视觉技术的进步，使其可应用至更多领域，例如汽机车防撞、机器人、无人机、安全监控、智能家庭、智能城市、海事安全等系统。而这些系统的要求日益提高，例如要求在不同光源环境下，仍必须有侦测高精度的能力。
然而，现有技术中以相机影像为基础的深度传感器，无论是使用立体摄影机(stereo camera)或是结构光(structured light)等技术，都容易受到环境光源的影响，而有影像内对象辨识率低的问题，且三维深度信息分辨率也会随着距离或视野而降低。
因此，如何提出一种可提供高分辨率影像扫描的发明，为目前亟待解决的课题之一。
发明内容
本发明的一实施例提供一种影像扫描系统，包括：第一光学单元，用以取得第一影像；第二光学单元，用以取得第二影像；以及处理单元，用以接收并处理第一影像或第二影像，处理单元包括：对象侦测模块，用以侦测出第一影像或第二影像内的对象；坐标计算模块，用以选定第一影像或第二影像内的对象中的至少一者作为感兴趣区域，并计算感兴趣区域与第二光学单元之间的相对坐标；控制模块，用以依据相对坐标控制第二光学单元持续扫描第一影像或第二影像内的感兴趣区域，以令处理单元产生第一影像或第二影像内的感兴趣区域的深度影像信息；以及影像整合模块，用以将深度影像信息整合至第一影像或第二影像中。
本发明的另一实施例提供一种影像扫描方法，包括：取得第一光学单元的视野内的第一影像及第二光学单元的视野内的第二影像；通过处理单元的对象侦测模块侦测出第一影像或第二影像内的对象；通过处理单元的坐标计算模块以选定第一影像或第二影像内的对象中的至少一者作为感兴趣区域，并计算感兴趣区域与第二光学单元之间的相对坐标；通过处理单元的控制模块依据相对坐标控制第二光学单元持续扫描第一影像或第二影像内的感兴趣区域，以令处理单元产生第一影像或第二影像内的感兴趣区域的深度影像信息；通过处理单元的影像整合模块将深度影像信息整合至第一影像或第二影像中。
附图说明
图1A为本发明的第一实施例的影像扫描系统的系统方块图；
图1B为本发明的另一实施例的影像扫描系统的系统方块图；
图2为本发明的第二实施例的影像扫描系统的系统方块图；
图3A为本发明的影像扫描系统所取得的影像内感兴趣区域的示意图；
图3B为本发明的影像扫描系统中第二光学单元对感兴趣区域进行扫描的路径的示意图；
图4为本发明的第二光学单元的一实施例的运作示意图；
图5为本发明的第二光学单元的另一实施例的运作示意图；
图6为本发明的第二光学单元的另一实施例的运作示意图；
图7为本发明的影像扫描方法的一实施例的步骤流程图；以及
图8为本发明的影像扫描方法的另一实施例的步骤流程图。
附图标记说明
1 影像扫描系统
11 第一光学单元
12 第二光学单元
121 激光发射器
122 反射镜
123 影像接收器
124 固态激光导引器
13 处理单元
131 对象侦测模块
132 坐标计算模块
133 控制模块
134 影像整合模块
135 校正模块
14 影像
141～144 物件
145 感兴趣区域
146 路径
S11～S16、S21～S28 步骤。
具体实施方式
以下借由特定的具体实施例加以说明本发明的实施方式，而本领域技术人员可由本说明书所公开的内容轻易地了解本发明的其他优点和功效，也可借由其他不同的具体实施例加以实施或应用。
请参阅图1A，本发明的影像扫描系统1包括第一光学单元11、第二光学单元12以及处理单元13。第一光学单元11用以取得第一光学单元11的视野内的第一影像，第二光学单元12用以取得第二光学单元12的视野内的第二影像。
在一实施例中，第一光学单元11为相机，第二光学单元12为三维光雷达传感器(LiDAR)。因此，第一光学单元11所取得的第一影像为二维影像，第二光学单元12取得的第二影像为包含有深度影像信息的三维影像。
处理单元13用以接收并处理第一影像或第二影像，处理单元13包括对象侦测模块131、坐标计算模块132、控制模块133及影像整合模块134。在本实施例中，处理单元13可为计算机、手机、平板、服务器或其他电子装置内的处理器，而此处所述的模块，指供处理器执行以达到特定功能的软件程序。
在另一实施例中，请参阅图1B，处理单元13位于第二光学单元12内。具体而言，处理单元13可为第二光学单元12内的处理器，而此处所述的模块(例如对象侦测模块131、坐标计算模块132、控制模块133及影像整合模块134)则为固件(firmware)。其中，图1A及图1B中仅处理单元13呈现不同态样，其余元件都相同且处理单元13内的各模块的功能也相同。以下进一步叙述各模块的详细技术内容。
对象侦测模块131用以侦测出第一影像或第二影像内的对象。在一实施例中，对象侦测模块131用以侦测对象所采用的算法，为以方向梯度直方图(Histogram of orientedgradient，HOG)为基础的算法。在另一实施例中，为增加辨识率，可以方向梯度直方图的算法搭配支持向量机(Support Vector Machine，SVM)、词袋模型(bag-of-words model，BOW)或其组合，或搭配深度学习(deep learning)的机器学习的人工神经网络、AlexNet或R-CNNs等算法，以使对象侦测模块131能更精确的侦测出影像内的对象。本发明并不限制对象侦测模块131所采用的算法的种类。
在一实施例中，请参阅图3A，影像14(如第一光学单元11所取得的第一影像)包含有对象侦测模块131所侦测出的多个对象141、142、143、144。坐标计算模块132用以选定影像14内的多个对象141、142、143、144中至少一者作为感兴趣区域(Region of Interest，ROI)。如图3A中所示，坐标计算模块132选定对象144(例如汽车)作为感兴趣区域145。
在本实施例中，选定影像14中的对象144作为感兴趣区域145，可根据实际需求的不同而有不同的选定标准。例如，在汽机车防撞系统中，选定影像中为汽车、机车的对象来作为感兴趣区域；又例如，在安全监控系统中，选定影像中为人类的对象来作为感兴趣区域。本发明并不以此为限。
接着，坐标计算模块132计算感兴趣区域145与第二光学单元12之间的相对坐标。所谓的相对坐标，指影像14内感兴趣区域145相对于第二光学单元12所采用的坐标系的坐标而言。据此，控制模块133即可依据相对坐标来控制第二光学单元12持续扫描影像14内的感兴趣区域145，以令处理单元13产生影像14的感兴趣区域145的深度影像信息。所谓的持续扫描，如图3B所示，可在感兴趣区域145内形成多点扫描的路径146，由于扫描的点及密度集中，故从感兴趣区域145中所取得的对象144的深度影像信息的分辨率会提高。本发明并不限制路径146的形状。
请进一步参阅图4，以详细说明于一实施例中，第二光学单元12持续扫描影像14内的感兴趣区域145所采用的硬件架构及方法。第二光学单元12包括激光发射器121、反射镜122及影像接收器123。激光发射器121用以发出激光，反射镜122则位于激光的路径上。换言之，激光发射器121朝反射镜122发出激光，使得反射镜122可反射激光，而反射镜122的角度的改变，则可调整激光的路径，即可调整激光入射至对应影像14的感兴趣区域145内实际对象的位置。在激光射至实际对象后反射，经反射的激光可被影像接收器123所接收，使得第二光学单元12可取得影像14内感兴趣区域145的实际对象的深度影像信息。
在本实施例中，控制模块133依据相对坐标计算出第二光学单元12欲对影像14内的感兴趣区域145进行扫描的角度，进而产生第二光学单元12的电压数据，以控制反射镜122的角度来调整激光的路径，而能持续扫描影像14内的感兴趣区域145。
在另一实施例中，请参阅图5，第二光学单元12可包括激光发射器121、固态激光导引器(solid laser beam guider)124及影像接收器123。激光发射器121用以发出激光至固态激光导引器124，固态激光导引器124利用液晶波导(liquid crystal waveguide)或光相控阵(optical phased array)来调整激光的路径，即可调整激光射至影像14内的感兴趣区域145内实际对象的位置。在激光射至实际对象后反射，经反射的激光可被影像接收器123所接收，使得第二光学单元12可取得影像14内感兴趣区域145的实际对象的深度影像信息。
在本实施例中，控制模块133依据相对坐标来控制固态激光导引器124，借此调整所射出的激光的路径，以持续扫描影像14内的感兴趣区域145。
再在一实施例中，请参阅图6，第二光学单元12包括影像接收器123及激光发射器121，激光发射器121为主动式扫描(active scanned)的形式。控制模块133可依据相对坐标，来调整激光发射器121所发出的激光的路径，而能使激光射至影像14内的感兴趣区域145的实际对象。在激光射至实际对象后反射，经反射的激光可被影像接收器123所接收，使得第二光学单元12可取得影像14内感兴趣区域145的实际对象的深度影像信息。
在取得影像14内感兴趣区域145的实际对象的深度影像信息后，影像整合模块134可将深度影像信息整合至第一影像或第二影像中，即，将对象的深度影像信息迭合至第一影像或第二影像中相同对象的区域中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。
在另一实施例的影像14为相机所取得的二维影像中，若影像14质量不佳或无法辨识时，影像14可改为三维光雷达传感器所取得的三维影像，以供对象侦测模块131、坐标计算模块132、控制模块133及影像整合模块134进行前述的处理。坐标计算模块132在选定影像14内的多个对象141、142、143、144中至少一者作为感兴趣区域(Region of Interest，ROI)时，可依据原二维影像及三维影像的预期正确率并加权后以进行感兴趣区域的选定，本发明并不限定感兴趣区域的选定必须从二维影像而来，也可仅从三维影像而来，或从二维影像加三维影像而来。
请参阅图2，以下说明本发明的影像扫描系统1的另一实施例。在本实施例中，部份技术内容相同于之前所述，在此不再赘述。
影像扫描系统1包括第一光学单元11、第二光学单元12及处理单元13。第一光学单元11用以取得其视野内的第一影像，第二光学单元12用以取得其视野内的第二影像，处理单元13则用以接收并处理第一影像或第二影像，处理单元13包括校正模块135、影像整合模块134、对象侦测模块131、坐标计算模块132及控制模块133。
校正模块135用以校正第一影像及第二影像的影像信息。例如，第一影像为二维影像及第二影像为三维影像的情形，由于第一影像及第二影像分别来自相机与三维光雷达传感器，相机与三维光雷达传感器拍摄角度及所采用的坐标系往往不一致，因此必须进行前处理。前处理所使用的算法可为针孔相机模型(pinhole camera model)，其公式如下：
sm′＝A[R|t]M′或A
其中，(X，Y，Z)为在世界坐标(world coordinate)中三维点的坐标，(μ，v)为像素中投影点的坐标，A为相机矩阵或内参数矩阵，(cx，cy)为影像中心的主点，(fx，fy)为表现在像素元件中的焦距长度。但本发明并不限制只能使用此种校正公式，也可采用其他校正方式，本发明并不以此为限。
经校正的第一影像及第二影像的影像信息可供影像整合模块134进行处理。因经校正的第一影像及第二影像的影像信息可取得相同的相机坐标(camera coordinate)或其之间不同坐标系的转换关系，使得影像整合模块134可将经校正的第一影像及第二影像的影像信息整合成第三影像。
接着，对象侦测模块131可侦测出第三影像内的对象，坐标计算模块132可选定第三影像内的对象中的至少一者作为感兴趣区域并计算出相对坐标，而控制模块133则根据相对坐标控制第二光学单元12持续扫描第三影像内的感兴趣区域，以产生感兴趣区域的深度影像信息。此部份详细技术内容相同于前述，在此不再赘述。
在取得深度影像信息后，影像整合模块134可将深度影像信息整合至第一影像、第二影像或第三影像中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。而经整合有深度影像信息的第一影像、第二影像或第三影像，可再提供给对象侦测模块、坐标计算模块及控制模块进行后续处理。
在一实施例中，除第一光学单元11及第二光学单元12可分别为相机及三维光雷达传感器的外，第一光学单元11及第二光学单元12都可为三维光雷达传感器，且第一影像及第二影像都为三维影像。不论第一影像为二维影像及第二影像为三维影像，或者第一影像及第二影像都为三维影像的情形，因第一光学单元11及第二光学单元12的拍摄角度及所采用的坐标系往往不一致，在运用第一影像及第二影像时，都必须经过前处理，例如使用针孔相机模型(pinhole camera model)的算法，来转换至相同的坐标系。即本发明的影像扫描系统可仅取得三维影像来进行处理，或也可同时取得二维影像与三维影像来进行处理，本发明并不以此为限。
请参阅图7，本发明提供一种影像扫描方法，影像扫描方法的详细技术内容相同于前述影像扫描系统者，将不再赘述。影像扫描方法先取得光学单元视野内的影像(步骤S11)，即取得第一光学单元的视野内的第一影像及第二光学单元的视野内的第二影像。
接着，在步骤S12中，通过处理单元的对象侦测模块侦测出第一影像或第二影像内的对象，例如通过方向梯度直方图的算法搭配支持向量机(Support Vector Machine，SVM)、词袋模型(bag-of-words model，BOW)或其组合，或搭配深度学习(deep learning)的机器学习的人工神经网络、AlexNet或R-CNNs等算法，本发明并不以此为限。
在侦测出影像内对象后，在步骤S13中，可通过处理单元的坐标计算模块以选定第一影像或第二影像内的对象中的至少一者作为感兴趣区域，并计算感兴趣区域与第二光学单元之间的相对坐标。接着进至步骤S14。
在步骤S14中，则可通过处理单元的控制模块依据相对坐标控制第二光学单元持续扫描第一影像或第二影像内的感兴趣区域。接着，在步骤S15中，可令处理单元产生第一影像或第二影像内的感兴趣区域的深度影像信息。
之后，在步骤S16中，可通过处理单元的影像整合模块将深度影像信息整合至第一影像或第二影像中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。
请参阅图8，本发明再提供一种影像扫描方法，其中，步骤S21、S24～S28的技术内容相同于前述图7中的步骤S11～S16以及前述的影像扫描系统，在此不再赘述。以下仅说明其差异处。
在取得第一光学单元的视野内的第一影像及第二光学单元的视野内的第二影像(步骤S21)后，可先经一校正程序来校正影像的影像信息(步骤S22)。详细来说，可通过处理单元的校正模块校正第一影像及第二影像的影像信息，例如，第一影像为二维影像及第二影像为三维影像的情形，由于第一影像及第二影像分别来自相机与三维光雷达传感器，相机与三维光雷达传感器拍摄角度及所采用的坐标系往往不一致，因此必须进行前处理，而使用的算法可为针孔相机模型(pinhole camera model)，但本发明并不以此为限。又例如第一影像及第二影像都为三维影像的情形，由于第一影像及第二影像都来自不同的三维光雷达传感器，且该些三维光雷达传感器拍摄角度及所采用的坐标系也往往不一致，因此同样必须进行前处理，使用的算法可为针孔相机模型(pinhole camera model)，但本发明也不以此为限。接着进至步骤S23。
在步骤S23中，将经校正后的第一影像及第二影像予以整合。详细而言，因经校正的第一影像及第二影像的影像信息可取得相同的相机坐标(camera coordinate)或其之间不同坐标系的转换关系，故可通过处理单元的影像整合模块将第一影像与第二影像整合成第三影像。接着进至步骤S24～27，以侦测出影像内的对象、选定感兴趣区域并计算相对坐标、根据相对坐标控制光学单元持续扫描感兴趣区域，最后产生感兴趣区域的深度影像信息。接着进至步骤S28。
在步骤S28中，可再将深度影像信息整合至第一影像、第二影像或第三影像中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。
综上所述，借由本发明的影像扫描系统及其方法，可针对影像内感兴趣区域进行三维光雷达传感器的扫描，所取得的感兴趣区域的深度影像信息的分辨率将会提高，且相较于使用三维光雷达传感器对全部对象而非感兴趣区域内的对象的扫描方式，本发明除可获得较高分辨率的功效外，其扫描速度更会有所提升，且将较高分辨率的感兴趣的深度影像信息再整合至影像中时，可令后续辨识获得更准确的结果。

Claims (22)

1.一种影像扫描系统，包括：
一第一光学单元，用以取得一第一影像；
一第二光学单元，用以取得一第二影像；以及
一处理单元，用以接收并处理该第一影像或该第二影像，该处理单元包括：
一对象侦测模块，用以侦测出该第一影像或该第二影像内的对象；
一坐标计算模块，用以选定该第一影像或该第二影像内的对象中的至少一者作为一感兴趣区域，并计算该感兴趣区域与该第二光学单元之间的相对坐标；
一控制模块，用以依据该相对坐标控制该第二光学单元持续扫描该第一影像或该第二影像内的该感兴趣区域，以令该处理单元产生该第一影像或该第二影像内的该感兴趣区域的一深度影像信息；以及
一影像整合模块，用以将该深度影像信息整合至该第一影像或该第二影像中。
2.根据权利要求1所述的影像扫描系统，其中，该第一光学单元为相机，该第二光学单元为三维光雷达传感器，且该第一影像为二维影像，该第二影像为三维影像。
3.根据权利要求1所述的影像扫描系统，其中，该第二光学单元包括一激光发射器、一反射镜及一影像接收器，该激光发射器用以发出激光，该反射镜位于该激光的路径上，用以调整该激光的路径，使该激光射至该第一影像或该第二影像内的该感兴趣区域后反射，该影像接收器用以接收经反射的激光以取得该第一影像或该第二影像内的该感兴趣区域的该深度影像信息。
4.根据权利要求3所述的影像扫描系统，其中，该控制模块依据该相对坐标控制该反射镜来调整该激光的路径，以持续扫描该第一影像或该第二影像内的该感兴趣区域。
5.根据权利要求1所述的影像扫描系统，其中，该影像整合模块用以将该第一影像与该第二影像整合成一第三影像或将该深度影像信息整合至该第一影像或该第二影像中后，再将该第三影像或是将经整合的第一影像或第二影像提供给该对象侦测模块、该坐标计算模块及该控制模块进行后续处理。
6.根据权利要求5所述的影像扫描系统，其中，该处理单元还包括一校正模块，用以校正该第一影像及该第二影像的影像信息后，再供该影像整合模块整合成该第三影像。
7.根据权利要求5所述的影像扫描系统，其中，该影像整合模块还将该深度影像信息整合至该第三影像中。
8.根据权利要求1所述的影像扫描系统，其中，该第二光学单元包括一激光发射器、一固态激光导引器及一影像接收器，该激光发射器用以发出激光，该固态激光导引器利用液晶波导或光相控阵来调整该激光的路径，使该激光射至该第一影像或该第二影像内的该感兴趣区域后反射，该影像接收器用以接收经反射的激光以取得该第一影像或该第二影像内的该感兴趣区域的该深度影像信息。
9.根据权利要求8所述的影像扫描系统，其中，该控制模块依据该相对坐标控制该固态激光导引器来调整该激光的路径，以持续扫描该第一影像或该第二影像内的该感兴趣区域。
10.根据权利要求1所述的影像扫描系统，其中，该第二光学单元包括一影像接收器及一主动式扫描激光发射器，且其中，该控制模块依据该相对坐标调整该主动式扫描激光发射器所发出的激光的路径，使该激光射至该第一影像或该第二影像内的该感兴趣区域后反射，该影像接收器用以接收经反射的激光以取得该第一影像或该第二影像内的该感兴趣区域的该深度影像信息。
11.根据权利要求1所述的影像扫描系统，其中，该第一光学单元及该第二光学单元都为三维光雷达传感器，该第一影像及该第二影像都为三维影像。
12.一种影像扫描方法，包括：
取得一第一光学单元的视野内的一第一影像及一第二光学单元的视野内的一第二影像；
通过一处理单元的一对象侦测模块侦测出该第一影像或该第二影像内的对象；
通过该处理单元的一坐标计算模块以选定该第一影像或该第二影像内的对象中的至少一者作为一感兴趣区域，并计算该感兴趣区域与该第二光学单元之间的相对坐标；
通过该处理单元的一控制模块依据该相对坐标控制该第二光学单元持续扫描该第一影像或该第二影像内的该感兴趣区域，以令该处理单元产生该第一影像或该第二影像内的该感兴趣区域的一深度影像信息；
通过该处理单元的一影像整合模块将该深度影像信息整合至该第一影像或该第二影像中。
13.根据权利要求12所述的影像扫描方法，其中，该第二光学单元包括一激光发射器、一反射镜及一影像接收器，该激光发射器用以发出激光，该反射镜位于该激光的路径上，用以调整该激光的路径，使该激光射至该第一影像或该第二影像内的该感兴趣区域后反射，该影像接收器用以接收经反射的激光以取得该第一影像或该第二影像内的该感兴趣区域的该深度影像信息。
14.根据权利要求13所述的影像扫描方法，其中，该控制模块依据该相对坐标控制该反射镜来调整该激光的路径，以持续扫描该第一影像或该第二影像内的该感兴趣区域。
15.根据权利要求12所述的影像扫描方法，其中，取得该第一影像及该第二影像之后，还包括通过该处理单元的一校正模块校正该第一影像及该第二影像的影像信息的步骤。
16.根据权利要求15所述的影像扫描方法，其中，在校正该第一影像及该第二影像的影像信息的步骤之后，还包括通过该影像整合模块将该第一影像与该第二影像整合成一第三影像或将该深度影像信息整合至该第一影像或该第二影像中后，再将该第三影像或是将经整合的第一影像或第二影像提供给该对象侦测模块、该坐标计算模块及该控制模块进行后续处理的步骤。
17.根据权利要求12所述的影像扫描方法，其中，在取得该深度影像信息的步骤之后，还包括将该深度影像信息整合至该第三影像中的步骤。
18.根据权利要求12所述的影像扫描方法，其中，该第二光学单元包括一激光发射器、一固态激光导引器及一影像接收器，该激光发射器用以发出激光，该固态激光导引器利用液晶波导或光相控阵来调整该激光的路径，使该激光射至该第一影像或该第二影像内的该感兴趣区域后反射，该影像接收器用以接收经反射的激光以取得该第一影像或该第二影像内的该感兴趣区域的该深度影像信息。
19.根据权利要求12所述的影像扫描方法，其中，该控制模块依据该相对坐标控制该固态激光导引器来调整该激光的路径，以持续扫描该第一影像或该第二影像内的该感兴趣区域。
20.根据权利要求12所述的影像扫描方法，其中，该第二光学单元包括一影像接收器及一主动式扫描激光发射器，且其中，该控制模块依据该相对坐标调整该主动式扫描激光发射器所发出的激光的路径，使该激光射至该第一影像或该第二影像内的该感兴趣区域后反射，该影像接收器用以接收经反射的激光以取得该第一影像或该第二影像内的该感兴趣区域的该深度影像信息。
21.根据权利要求12所述的影像扫描方法，其中，该第一光学单元及该第二光学单元都为三维光雷达传感器，该第一影像及该第二影像都为三维影像。
22.根据权利要求12所述的影像扫描方法，其中，该第一光学单元为相机，该第二光学单元为三维光雷达传感器，且该第一影像为二维影像，该第二影像为三维影像。
CN201611015227.9A 2016-10-19 2016-11-15 影像扫描系统及其方法 Active CN108377380B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105133686A TWI624170B (zh) 2016-10-19 2016-10-19 影像掃描系統及其方法
TW105133686 2016-10-19

Publications (2)

Publication Number Publication Date
CN108377380A true CN108377380A (zh) 2018-08-07
CN108377380B CN108377380B (zh) 2020-03-06

Family

ID=61904557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611015227.9A Active CN108377380B (zh) 2016-10-19 2016-11-15 影像扫描系统及其方法

Country Status (3)

Country Link
US (1) US10262242B2 (zh)
CN (1) CN108377380B (zh)
TW (1) TWI624170B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112649954A (zh) * 2019-10-10 2021-04-13 徕卡仪器（新加坡）有限公司 光学成像系统及对应的设备、方法和计算机程序

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742200B1 (en) * 2018-01-17 2023-11-08 Hesai Technology Co., Ltd. Detection apparatus and parameter adjustment method thereof
JPWO2019239566A1 (ja) * 2018-06-14 2021-07-08 ソニーグループ株式会社 情報処理装置、情報処理方法及び測距システム
EP3754373A1 (en) * 2019-06-18 2020-12-23 Visteon Global Technologies, Inc. Method and system for determining information regarding an object
TWI749348B (zh) * 2019-07-31 2021-12-11 方碼科技有限公司 條碼掃描系統及條碼掃描方法
US20220363076A1 (en) * 2019-11-11 2022-11-17 Hewlett-Packard Development Company, L.P. Providing a status of a radiation emitter
US11109586B2 (en) 2019-11-13 2021-09-07 Bird Control Group, Bv System and methods for automated wildlife detection, monitoring and control
US20210246636A1 (en) * 2020-02-07 2021-08-12 Caterpillar Inc. System and Method of Autonomously Clearing a Windrow
US11269075B2 (en) * 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
TWI755765B (zh) 2020-06-22 2022-02-21 中強光電股份有限公司 視覺與深度座標系的校正系統、校正方法及校正裝置
TWI772968B (zh) * 2020-11-17 2022-08-01 佐臻股份有限公司 具深度或影像監視系統的架設方法
TWI768709B (zh) * 2021-01-19 2022-06-21 福邦科技國際股份有限公司 雙影像融合方法與裝置
US11778157B2 (en) 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof
TWI784754B (zh) * 2021-04-16 2022-11-21 威盛電子股份有限公司 電子裝置以及物件偵測方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN101588445A (zh) * 2009-06-09 2009-11-25 宁波大学 一种基于深度的视频感兴趣区域提取方法
CN104349153A (zh) * 2013-08-06 2015-02-11 宏达国际电子股份有限公司 依据深度信息的影像处理方法及系统
US20160148349A1 (en) * 2014-11-25 2016-05-26 Samsung Electronics Co., Ltd. Image processing method and apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI358606B (en) 2007-12-28 2012-02-21 Ind Tech Res Inst Method for three-dimension (3d) measurement and an
EP2405393B1 (en) * 2009-03-04 2021-07-28 Nec Corporation Device, method and program for creating information for object position estimation
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
US20110090135A1 (en) 2009-10-21 2011-04-21 Symbol Technologies, Inc. Interchangeable display device for a head-mounted display system
US8861842B2 (en) 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US20120236379A1 (en) 2010-08-23 2012-09-20 Lighttime, Llc Ladar using mems scanning
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
TWI451064B (zh) 2011-04-25 2014-09-01 Univ Nat Formosa Laser displacement measuring device and method combined with image measuring instrument
US8948497B2 (en) 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
US9215382B1 (en) 2013-07-25 2015-12-15 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for data fusion and visualization of video and LADAR data
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9883169B2 (en) * 2014-03-31 2018-01-30 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
US9183459B1 (en) 2014-05-06 2015-11-10 The Boeing Company Sensor fusion using detector confidence boosting
KR101632873B1 (ko) 2014-09-05 2016-07-01 현대모비스 주식회사 장애물 검출 시스템 및 방법
JP6601489B2 (ja) * 2015-03-31 2019-11-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN101588445A (zh) * 2009-06-09 2009-11-25 宁波大学 一种基于深度的视频感兴趣区域提取方法
CN104349153A (zh) * 2013-08-06 2015-02-11 宏达国际电子股份有限公司 依据深度信息的影像处理方法及系统
US20160148349A1 (en) * 2014-11-25 2016-05-26 Samsung Electronics Co., Ltd. Image processing method and apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112649954A (zh) * 2019-10-10 2021-04-13 徕卡仪器（新加坡）有限公司 光学成像系统及对应的设备、方法和计算机程序

Also Published As

Publication number Publication date
US20180107904A1 (en) 2018-04-19
TW201817215A (zh) 2018-05-01
CN108377380B (zh) 2020-03-06
US10262242B2 (en) 2019-04-16
TWI624170B (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN108377380A (zh) 影像扫描系统及其方法
CN103649674B (zh) 测量设备以及信息处理设备
CN106949845B (zh) 基于双目立体视觉的二维激光振镜扫描系统及标定方法
US10924729B2 (en) Method and device for calibration
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
US9432593B2 (en) Target object information acquisition method and electronic device
RU2408162C2 (ru) Способ и устройство для обнаружения и отслеживания в реальном времени глаз нескольких наблюдателей
US10499808B2 (en) Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
US20060227041A1 (en) Apparatus, method and computer program product for calibrating image transform parameter, and obstacle detection apparatus
CN113034612B (zh) 一种标定装置、方法及深度相机
CN109345597B (zh) 一种基于增强现实的相机标定图像采集方法及装置
KR102436730B1 (ko) 가상 스크린의 파라미터 추정 방법 및 장치
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN107203743B (zh) 一种人脸深度跟踪装置及实现方法
US20100259598A1 (en) Apparatus for detecting three-dimensional distance
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
WO2022054422A1 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
WO2014108976A1 (ja) 物体検出装置
JP2020042503A (ja) 三次元表象生成システム
US10866635B2 (en) Systems and methods for capturing training data for a gaze estimation model
CN108027440A (zh) 运动检测装置及使用它的三维形状测量装置
CN108645353B (zh) 基于多帧随机二元编码光场的三维数据采集系统及方法
JP2020008502A (ja) 偏光ステレオカメラによる深度取得装置及びその方法
JP2015232771A (ja) 顔検出方法、顔検出システム、および顔検出プログラム
US20230316571A1 (en) Sensor fusion between radar and optically polarized camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant