CN115428043A - 图像识别装置及图像识别方法 - Google Patents

图像识别装置及图像识别方法 Download PDF

Info

Publication number
CN115428043A
CN115428043A CN202180028810.6A CN202180028810A CN115428043A CN 115428043 A CN115428043 A CN 115428043A CN 202180028810 A CN202180028810 A CN 202180028810A CN 115428043 A CN115428043 A CN 115428043A
Authority
CN
China
Prior art keywords
image
signal processing
signal
recognition
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180028810.6A
Other languages
English (en)
Inventor
柴山宪文
上野贵希
奥池和幸
川濑里美
小林秀
三宅利尚
渡部刚史
朝原孝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN115428043A publication Critical patent/CN115428043A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3278—Power saving in modem or I/O interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种能够降低功率、计算量、存储器占用量和总线频带占用量并保持高识别精度的图像识别装置。该图像识别装置，包括：识别处理单元，其中连接了具有相互不同功能的多个图像传感器，所述识别处理单元基于从连接的图像传感器输出的在捕获的图像视野内包括对象的图像信号执行信号处理，并且选择性地根据多个信号处理模块和信号处理模块之一的输出信号执行对象的识别处理或者根据与多个信号处理模块中的每一个的输出信号是否有融合执行对象的识别处理，每个信号处理模块都可以控制电源；以及控制单元，向至少一个信号处理模块供应电源，在识别处理单元缺乏融合的情况下执行对对象的识别处理，确定识别处理结果的可靠性，并且基于确定结果执行另一信号处理模块的电源供应控制。

Description

图像识别装置及图像识别方法
技术领域
本公开(本技术)涉及图像识别装置和通过图像识别装置的图像识别方法。
背景技术
近年来，已知用于识别由传感器检测到的图像中的对象的技术。在这种对象识别技术中，通常使用由立体图像传感器、毫米波雷达、激光雷达等表示的识别传感器，但是这些识别传感器的检测精度根据周围环境而变化。为此，使用称为传感器融合的方法，其中通过各个识别传感器的检测结果的组合来识别对象(专利文献1)。
在专利文献1中公开的方法中，立体图像传感器、毫米波雷达和激光雷达同时操作，处理数据，并且执行对象识别。
引用列表
专利文献
专利文献1：日本专利申请公开号2007-310741
发明内容
本发明要解决的问题
然而，在专利文献1所公开的方法中，因为同时操作大量传感器并且还同时处理其输出数据，所以功率、计算量、存储器占用量和总线频带占用量增加。
鉴于这种情况做出本公开，并且其目的是提供能够减少功率、计算量、存储器占用量和总线频带占用量并且保持高识别精度的图像识别装置和图像识别方法。
解决问题的方法
本公开的一方面是一种图像识别装置，包括：多个信号处理模块，连接具有不同功能的多个图像传感器，基于从连接的图像传感器输出的并且在预定的成像视野内包括对象的图像信号执行信号处理；并且每个信号处理模块能够被控制用于电源供应；以及识别处理单元，所述识别处理单元选择性地执行通过一个信号处理模块的输出信号的所述对象的识别处理，和通过融合所述多个信号处理模块的相应输出信号的所述对象的识别处理，以及控制单元，通过在激活时向多个信号处理模块中的至少一个信号处理模块供应电源，使所述识别处理单元在不融合的情况下执行所述对象的识别处理，确定识别处理结果的可靠性，以及基于确定结果执行另一信号处理模块的电源供应控制，来控制所述识别处理单元的有融合的所述对象的识别处理的执行/停止。
本公开的另一方面是一种图像识别方法，包括：连接具有不同功能的多个图像传感器；向能够被控制用于电源供应的多个信号处理模块中的至少一个信号处理模块供应电源；以及基于从图像传感器输出的并且在预定的成像视野内包括对象的图像信号执行信号处理；对操作信号处理模块的输出信号执行不与另一输出信号融合的对象的识别处理，确定识别处理结果的可靠性，以及通过基于确定结果执行另一信号处理模块的电源供应控制，控制与另一信号处理模块的输出信号融合的对象的识别处理的执行/停止。
附图说明
图1是根据本公开的第一实施方式的图像识别装置的方框配置图。
图2是示出比较例1中的图像识别装置的实例的方框配置图。
图3是示出在比较例2中的图像识别装置的实例的方框配置图。
图4是示出根据本公开的第一实施方式的系统控制单元的控制处理过程的流程图。
图5是示出本发明的第一实施方式中的由RGB传感器单独识别的对象的图像实例的示图。
图6是示出在本公开的第一实施方式中用iToF传感器和RGB传感器的融合识别的对象的图像实例的示图。
图7是根据本公开的第二实施方式的图像识别装置的方框配置图。
具体实施方式
在下文中，将参照附图描述本公开的实施方式。在以下描述中参考的附图的描述中，相同或相似的部分由相同或相似的参考标号表示，并且将省略重复描述。然而，应当注意，附图是示意性的，并且厚度和平面尺寸之间的关系、每个装置和每个构件的厚度的比率等与实际不同。因此，具体厚度和尺寸应考虑以下描述来确定。另外，在附图相互之间当然也包含彼此的尺寸关系、比率不同的部分。
应注意，在本说明书中描述的效果仅是示例并且不限于此，并且可以提供其他效果。
<第一实施方式>
<图像识别装置的配置>
如图1所示，根据本公开的第一实施方式的图像识别装置1A包括RGB处理模块10、间接飞行时间(iToF)处理模块20和系统控制单元30，并且通过处理来自检测外部状况的图像传感器的信号来识别对象。应注意，例如，所识别的对象是视野中是否存在面部、面部的位置检测、视野中人的关节位置、手的手势类型等。
在本发明的第一实施方式中，将描述实例，在该实例中，使用具有不同检测特性的两种类型的图像传感器RGB传感器11和iToF方法的距离测量传感器21(在下文中，称为iToF传感器21)，并且集成(融合)与基于每个图像传感器的输出所识别的对象相关的信息，从而高精度地识别对象。
RGB处理模块10除了包括RGB传感器11之外，还包括RGB显影处理单元12、RGB预处理单元13、深度神经网络(DNN)识别处理单元14和电源15。RGB传感器11、RGB显影处理单元12以及RGB预处理单元13形成一个信号处理模块。RGB传感器11生成并累积与从预定的成像视野接收到的光量相应的电荷，并且根据电荷的累积量生成并输出例如每秒30帧的成像视野的图像信号。RGB显影处理单元12基于从RGB传感器11输出的图像信号获得用于识别对象的特征量。作为特征量，获得对象的位置坐标值。
RGB预处理单元13基于从RGB显影处理单元12输出的特征量来执行诸如图像缩放的预处理。RGB预处理单元13处理后的对象信息输出到DNN识别处理单元14。DNN识别处理单元14对RGB预处理单元13的输出选择性地执行通过不与iToF处理模块20的输出融合的DNN对对象的识别处理和利用与iToF处理模块20的输出融合的识别处理，并基于图像信号的亮度或天气来计算识别处理结果的可靠性得分(例如，0至1的范围)。然后，DNN识别处理单元14将识别处理结果和识别处理结果的可靠性得分输出到系统控制单元30。
系统控制单元30判断识别处理结果的输入可靠性得分，并基于判断结果对iToF处理模块20进行电源供应控制。电源15将电力供应给RGB传感器11、RGB显影处理单元12以及RGB预处理单元13。
另一方面，iToF处理模块20除了iToF传感器21以外，还包括iToF显影处理单元22、iToF预处理单元23和电源24。iToF传感器21发光，接收由对象反射的光，根据所接收的光量生成并累积电荷，并且根据电荷的累积量生成并输出例如每秒30帧的成像视野的图像信号。iToF显影处理单元22基于从iToF传感器21输出的图像信号获得用于识别对象的特征量。作为特征量，例如，基于对应于累积电荷量的相位信号获得到对象的距离坐标值。
iToF预处理单元23基于从iToF显影处理单元22输出的特征量来执行诸如图像缩放和视差校正的预处理。这里，iToF预处理单元23将iToF显影处理部22的输出信号转换为与RGB预处理单元13的输出信号对应的信号。iToF预处理单元23的输出信号被输出到DNN识别处理单元14。电源24向iToF传感器21、iToF显影处理单元22和iToF预处理单元23供电。
系统控制单元30基于来自DNN识别处理单元14的控制信号来执行电源15和24的开/关控制。
<比较例1>
图2是示出比较例1中的图像识别装置的实例的方框配置图。在图2中，与上述图1中的那些相同的部分由相同的参考符号表示，并且省略其详细描述。
比较例1是仅使用RGB传感器11来识别对象的实例。DNN处理单元A141对RGB预处理单元13的输出执行通过DNN对对象的识别处理。DNN处理单元B42计算从DNN处理单元A141输出的识别处理结果的可靠性。
同时，在RGB传感器11中，因为成像视野的图像信号是通过可见光产生的，所以存在由于天气或环境亮度而不能识别对象的情况。
<比较例2>
图3是示出了在比较例2中的图像识别装置的实例的方框配置图。在图3中，与上述图1和图2中的部分相同的部分由相同的参考符号表示，并且省略其详细描述。
比较例2是通过来自RGB传感器11的输出和来自iToF传感器21的输出被融合来识别对象的实例。DNN处理单元A243通过DNN对来自iToF预处理单元23的输出执行对象的识别处理。DNN处理单元C44融合并输出从DNN处理单元A141输出的识别处理结果和从DNN处理单元A243输出的认证处理结果。
同时，在比较例2中，iToF传感器21、iToF显影处理单元22、iToF预处理单元23和DNN处理单元A243的功率、算术处理量、存储器占用量和总线频带占用量增加。
<根据第一实施例的措施>
因此，在本发明的第一实施方式中，系统控制单元30执行图4所示的控制处理过程。在激活时，系统控制单元30接通电源15，使DNN识别处理单元14仅通过来自RGB预处理单元13的输出而无融合地执行DNN的识别处理(步骤ST4a)，根据输入识别处理结果的可靠性得分来检测中间可靠性得分(例如，0.3至0.7)(步骤ST4b)，并且确定是否存在检测(步骤ST4c)。此处，中间可靠性得分是图5中示出的对象51被RGB传感器11识别的值。RGB传感器11受天气52的影响，并且识别对象51的精度降低。应注意，在可靠性得分小于0.3的情况下，可确保检测是错误的并且不是对象51。
在确定没有检测(否)的情况下，系统控制单元30使DNN识别处理单元14继续无融合的识别处理(步骤ST4d)，并且进入上述步骤ST4b的处理。
另一方面，在确定存在检测的情况下(是)，系统控制单元30打开iToF处理模块20的电源24，使DNN识别处理单元14利用来自RGB预处理单元13的输出和来自iToF预处理单元23的输出的融合来执行识别处理(步骤ST4e)，并且对所处理的帧数进行计数(步骤ST4f)。如图6所示，由于iToF传感器21利用光照射对象51，所以可在不受天气52影响的情况下可靠地识别对象51。
然后，系统控制单元30确定所计数的处理帧的数量是否已达到例如1000帧(步骤ST4g)。这里，在未达到1000帧(否)的情况下，系统控制单元30重复进行上述步骤ST4e和步骤ST4f的处理，直到处理后的帧数达到1000帧，并且在达到1000帧(是)时，系统控制单元30进行到上述步骤ST4a的处理，断开iToF处理模块20的电源24，并且使DNN识别处理单元14在没有融合的情况下进行识别处理。
<根据第一实施例的操作和效果>
如上所述，根据第一实施例，图像传感器中的具有最低功耗的RGB传感器11连接到的RGB处理模块10的电源15被接通，DNN识别处理单元14对RGB预处理单元13的输出信号进行没有融合的对象的识别处理，系统控制单元30确定识别处理结果的可靠性，并且在可靠性高的情况下，继续无融合的识别处理，并且在仅获得低可靠性的结果的情况下，在与iToF处理模块20的输出信号融合的情况下进行识别处理。
因此，在仅通过RGB传感器11可以获得高度可靠的识别结果的条件下，可以减小功率、计算量、存储器占用量和总线频带占用量。另一方面，在仅使用RGB传感器11不利的条件的情况下，自动组合使用iToF处理模块20，并且维持高识别精度。
此外，根据第一实施例，在DNN识别处理单元14进行融合识别处理之前，RGB预处理单元13的输出信号和iToF预处理单元23的待融合的输出信号可以基本上匹配，从而可以通过简单的过程来执行融合识别处理。
此外，根据第一实施例，在有融合的认证处理的执行控制时，有融合的认证处理被重复预定的帧数，并且在达到预定帧数时，通过返回到无融合的认证处理的执行控制，能够以低频率检查条件被改变并且不再需要融合的可能性，并且利用该配置，在可靠性低的状态是临时的并且此后返回到正常的情况下，自动返回到无融合的认证处理的执行控制是可能的，并且因此整个系统的功耗能够降低。
此外，根据第一实施例，识别处理结果的可靠性由DNN识别处理单元14基于从RGB传感器11获得的图像信号的亮度或天气来计算，并且在系统控制单元30确定可靠性未落入确定范围内的情况下，在DNN识别处理单元14上执行无融合的认证处理的执行控制，因此，在可靠性在范围外高的情况下，RGB传感器11独自能够可靠地识别对象，并且在可靠性在范围外低的情况下，能够确保检测是错误的并且不是对象。
应注意，在第一实施方式中，已经描述了其中图像信号的亮度或天气用于计算可靠性得分的示例，但是可以使用RGB传感器11的透镜等的污垢。此外，已经描述了图像信号的处理帧数量用作用于从具有融合的识别处理返回至没有融合的识别处理的条件的实例，然而，例如，可以使用时间段或者来自外部的信号。此外，除了DNN之外，可靠性得分可通过自适应增强(Adaboost)来计算。
<第二实施方式>
接下来，将描述第二实施例。第二实施例是第一实施例的变形，并且包括RGB处理模块10、直接(d)ToF处理模块60和系统控制单元30，并且通过处理来自检测外部状况的图像传感器的信号来识别对象。
图7是示出根据第二实施方式的图像识别装置1B的块配置图。在图7中，与上述图1中的那些相同的部分由相同的参考符号表示，并且省略其详细描述。
dToF处理模块60具备dToF方式的测距传感器61(以下称为dToF传感器61)、dToF显影处理部62、dToF预处理单元63以及电源64。dToF传感器61发射单个脉冲光并且检测用于发光的反射光(光子)。dToF传感器61通过读出以线形式布置的每个像素列的光子来输出具有每个像素的距离信息的摄像帧的图像信号。
dToF显影处理单元62基于从dToF传感器61输出的图像信号获得用于识别对象的特征量。作为特征量，获得与对象的距离坐标值。
dToF预处理单元63基于从dToF显影处理单元62输出的特征量进行诸如图像缩放和视差校正的预处理。这里，dToF预处理单元63将dToF显影处理单元62的输出信号转换成与RGB预处理单元13的输出信号对应的信号。dToF预处理单元63的输出信号被输出到DNN识别处理单元14。电源64向dToF传感器61、dToF显影处理部62、dToF预处理单元63供给电力。
与iToF传感器21相同，dToF传感器61以单脉冲光照射对象，因此能够可靠地识别对象而不受天气影响。
<根据第二实施方式的操作和效果>
如上所述，在第二实施例中，也能够获得与第一实施例相同的效果。
<其他实施方式>
如上所述，已经根据第一实施方式和第二实施方式描述了本技术，但是不应当理解，形成本公开的一部分的描述和附图限制本技术。对本领域技术人员显而易见的是，在理解由上述实施方式公开的技术内容的精神时，各种替代实施方式、实施实例以及操作技术可包括在本技术中。此外，在不发生矛盾的范围内可以适当地组合第一实施方式和第二实施方式中公开的配置。例如，可以组合多个不同实施方式所公开的配置，或者可以组合相同实施方式的多个不同变形所公开的配置。
<其他应用实例>
例如，根据本公开的技术应用于在医院室、站、安全室等中检查患者的情况。在由安装在病房中的图像识别装置识别出患者的情况下，将识别结果从病房传输至监控室。
应注意，本技术还可具有以下配置。
(1)
一种图像识别装置，包括
多个信号处理模块，连接具有不同功能的多个图像传感器，基于从连接的图像传感器输出的并且在预定的成像视野内包括对象的图像信号执行信号处理，并且每个信号处理模块能够被控制用于电源供应，
识别处理单元，选择性地执行通过一个信号处理模块的输出信号的所述对象的识别处理和通过融合所述多个信号处理模块的相应输出信号的所述对象的识别处理，以及
控制单元，通过在激活时向所述多个信号处理模块中的至少一个信号处理模块供应电源、使所述识别处理单元在不融合的情况下执行所述对象的识别处理、确定识别处理结果的可靠性、以及基于确定结果执行另一信号处理模块的电源供应控制，来控制所述识别处理单元的有融合的所述对象的识别处理的执行/停止。
(2)
根据(1)所述的图像识别装置，其中
所述多个信号处理模块包括：
第一信号处理模块，一个图像传感器连接至所述第一信号处理模块，以及
第二信号处理模块，另一图像传感器连接至所述第二信号处理模块，并且所述第二信号处理模块将从所述图像传感器输出的图像信号转换成与所述第一信号处理模块的输出信号对应的信号。
(3)
根据(1)或(2)所述的图像识别装置，其中
所述控制单元在有所述融合的认证处理的执行控制时基于预定条件使所述识别处理单元返回至无所述融合的认证处理的执行控制。
(4)
根据(3)所述的图像识别装置，其中
所述控制单元在所述识别处理单元中对从所述多个信号处理模块输出的多个帧的对应图像信号重复执行预定帧数的有融合的认证处理作为所述条件，并且在达到预定帧数时返回至无所述融合的认证处理的执行控制。
(5)
根据(1)至(4)中任一项所述的图像识别装置，其中
所述识别处理单元基于从所述图像传感器获得的图像信号的亮度、天气和所述图像传感器的污垢中的至少一个计算所述识别处理结果的可靠性，并且
所述控制单元在所述可靠性未落入确定范围内的情况下执行无所述融合的认证处理的执行控制。
(6)
根据(1)至(5)中任一项所述的图像识别装置，其中
所述多个图像传感器中的至少一个图像传感器是RGB传感器，并且另一图像传感器是间接飞行时间(ToF)方法的距离测量传感器。
(7)
根据(1)至(5)中任一项所述的图像识别装置，其中
所述多个图像传感器中的至少一个图像传感器是RGB传感器，并且另一图像传感器是直接飞行时间(ToF)方法的距离测量传感器。
(8)
根据(6)或(7)所述的图像识别装置，其中
所述控制单元将电源供应至所述RGB传感器连接至的信号处理模块，并且对操作信号处理模块的输出信号执行无融合的所述对象的识别处理。
(9)
一种图像识别方法，包括
连接具有不同功能的多个图像传感器，向能够被控制用于电源供应的多个信号处理模块中的至少一个信号处理模块供应电源，并且基于从图像传感器输出的并且在预定的成像视野内包括对象的图像信号执行信号处理，
对操作信号处理模块的输出信号执行不与另一输出信号融合的所述对象的识别处理，
确定识别处理结果的可靠性，以及
通过基于确定结果执行另一信号处理模块的电源供应控制，控制与另一信号处理模块的输出信号融合的对象的识别处理的执行/停止。
参考符号列表
1A、1B 图像识别装置
10 RGB处理模块
11 RGB传感器
12 RGB显影处理单元
13 RGB预处理单元
14 DNN识别处理单元
15、24、64 电源
20 iToF处理模块
21 iToF传感器
22 iToF显影处理单元
23 iToF预处理单元
30 系统控制单元
51 对象
52 天气
60 dToF处理模块
61 dToF传感器
62 dToF显影处理单元
63 dToF预处理单元。

Claims (9)

1.一种图像识别装置，包括：
多个信号处理模块，连接具有不同功能的多个图像传感器，基于从连接的图像传感器输出的并且在预定的成像视野内包括对象的图像信号执行信号处理，并且每个信号处理模块能够被控制用于电源供应；
识别处理单元，选择性地执行通过一个信号处理模块的输出信号的所述对象的识别处理和通过融合所述多个信号处理模块的相应输出信号的所述对象的识别处理；以及
控制单元，通过在激活时向所述多个信号处理模块中的至少一个信号处理模块供应电源、使所述识别处理单元在不融合的情况下执行所述对象的识别处理、确定识别处理结果的可靠性、以及基于确定结果执行另一信号处理模块的电源供应控制，来控制所述识别处理单元的有融合的所述对象的识别处理的执行/停止。
2.根据权利要求1所述的图像识别装置，其中
所述多个信号处理模块包括：
第一信号处理模块，一个图像传感器连接至所述第一信号处理模块；以及
第二信号处理模块，另一图像传感器连接至所述第二信号处理模块，并且所述第二信号处理模块将从所述图像传感器输出的图像信号转换成与所述第一信号处理模块的输出信号对应的信号。
3.根据权利要求1或2所述的图像识别装置，其中
所述控制单元在有所述融合的认证处理的执行控制时基于预定条件使所述识别处理单元返回至无所述融合的认证处理的执行控制。
4.根据权利要求3所述的图像识别装置，其中
所述控制单元在所述识别处理单元中对从所述多个信号处理模块输出的多个帧的对应图像信号重复执行预定帧数的有融合的认证处理作为所述条件，并且在达到预定帧数时返回至无所述融合的认证处理的执行控制。
5.根据权利要求1至4中任一项所述的图像识别装置，其中
所述识别处理单元基于从所述图像传感器获得的图像信号的亮度、天气和所述图像传感器的污垢中的至少一个计算所述识别处理结果的可靠性，并且
所述控制单元在所述可靠性未落入确定范围内的情况下执行无所述融合的认证处理的执行控制。
6.根据权利要求1至5中任一项所述的图像识别装置，其中
所述多个图像传感器中的至少一个图像传感器是RGB传感器，并且另一图像传感器是间接飞行时间(ToF)方法的距离测量传感器。
7.根据权利要求1至5中任一项所述的图像识别装置，其中
所述多个图像传感器中的至少一个图像传感器是RGB传感器，并且另一图像传感器是直接飞行时间(ToF)方法的距离测量传感器。
8.根据权利要求6或7所述的图像识别装置，其中
所述控制单元将电源供应至所述RGB传感器连接至的信号处理模块，并且对操作信号处理模块的输出信号执行无融合的所述对象的识别处理。
9.一种图像识别方法，包括：
连接具有不同功能的多个图像传感器，向能够被控制用于电源供应的多个信号处理模块中的至少一个信号处理模块供应电源，并且基于从所述图像传感器输出的并且在预定的成像视野内包括对象的图像信号执行信号处理；
对操作信号处理模块的输出信号执行不与另一输出信号融合的所述对象的识别处理；
确定识别处理结果的可靠性；以及
通过基于确定结果执行另一信号处理模块的电源供应控制，控制与另一信号处理模块的输出信号融合的所述对象的识别处理的执行/停止。
CN202180028810.6A 2020-04-22 2021-03-02 图像识别装置及图像识别方法 Pending CN115428043A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-075959 2020-04-22
JP2020075959A JP2021174135A (ja) 2020-04-22 2020-04-22 画像認識装置及び画像認識方法
PCT/JP2021/007945 WO2021215116A1 (ja) 2020-04-22 2021-03-02 画像認識装置及び画像認識方法

Publications (1)

Publication Number Publication Date
CN115428043A true CN115428043A (zh) 2022-12-02

Family

ID=78270486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180028810.6A Pending CN115428043A (zh) 2020-04-22 2021-03-02 图像识别装置及图像识别方法

Country Status (4)

Country Link
US (1) US20230161399A1 (zh)
JP (1) JP2021174135A (zh)
CN (1) CN115428043A (zh)
WO (1) WO2021215116A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11965754B2 (en) * 2019-03-13 2024-04-23 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and mobile body apparatus
WO2024024471A1 (ja) * 2022-07-28 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences
US10091419B2 (en) * 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
JP7144926B2 (ja) * 2017-09-26 2022-09-30 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
JP7117566B2 (ja) * 2018-03-27 2022-08-15 パナソニックＩｐマネジメント株式会社 情報処理システムおよび情報処理方法
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
US11017513B1 (en) * 2019-03-28 2021-05-25 Amazon Technologies, Inc. Active sensor fusion systems and methods for object detection

Also Published As

Publication number Publication date
WO2021215116A1 (ja) 2021-10-28
US20230161399A1 (en) 2023-05-25
JP2021174135A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
CN110160536B (zh) 利用人行横道识别结果的引导信息提供装置及方法
US9769469B2 (en) Failure detection apparatus and failure detection program
US9440650B2 (en) Collision prediction apparatus
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US9807320B2 (en) Operation input device, operation input method, and computer-readable recording medium
TWI540462B (zh) 手勢辨識方法及其裝置
EP2775423A2 (en) Object detection apparatus, vehicle-mounted device control system and carrier medium of program of object detection
US20190266425A1 (en) Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program
US20170262716A1 (en) Object recognition apparatus
CN115428043A (zh) 图像识别装置及图像识别方法
EP2367139A1 (en) Matching device, digital image processing system, matching device control program, computer-readable recording medium, and matching device control method
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
KR102333107B1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
US20210004978A1 (en) Method for acquiring depth information of target object and movable platform
CN111801706A (zh) 视频对象检测
CN112292847B (zh) 图像处理设备、移动设备、方法和存储介质
US11847791B2 (en) Object position detection device, travel control system, and travel control method
KR20180093418A (ko) 보행자 검출 장치 및 방법
EP3109828A1 (en) Vehicle-mounted recognition device
EP4060976A1 (en) Electronic device comprising camera and method thereof
US20230341556A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
KR101519966B1 (ko) 기준판 기반의 비전 인식 방법 및 시스템
CN114509773A (zh) 在车辆中使用跨模态传感器的物体检测
US20220308157A1 (en) Image processing apparatus, system, image processing method, and image processing program
KR102535598B1 (ko) 비전기반의 융합형 물체 감지 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination