CN112130553A - 半导体装置、可移动设备和控制可移动设备的方法 - Google Patents

Abstract

本公开涉及半导体装置、可移动设备和控制可移动设备的方法，其中用于具有移动驱动单元和图像单元的设备的半导体装置，包括图像检测单元、图像识别单元和控制单元。所述图像检测单元检测捕获图像中的物体并从所述捕获图像中切出包括所述物体的图像区域作为物体检测区域图像。所述图像识别单元对所述物体检测图像区域执行图像识别处理，并输出所述物体的识别概率。所述控制单元基于所述识别概率，来控制所述移动驱动单元的移动速度和所述图像单元的成像间隔中的至少一个。

Description

半导体装置、可移动设备和控制可移动设备的方法

相关申请的交叉引用

于2019年6月6日提交的日本专利申请第2019-106284号，包括说明书、附图和摘要，其全部内容通过整体引用并入本文。

背景技术

本公开涉及一种半导体装置，例如，本公开可以被适当地应用于用于执行图像处理的半导体装置和包括该半导体装置的可移动设备。

近年来，配备有照相机的可移动设备(诸如自推进的电动吸尘器和侦察机)已经变得普及。配备有照相机的可移动设备可以从捕获图像中检测或识别物体、人等，以便控制该可移动设备。

例如，日本专利第5771885号(专利文献1)公开了一种具有照相机的电动吸尘器设备。专利文献1中的电动吸尘器通过将由照相机捕获的捕获图像，与被存储在存储单元中的异物的图像进行比较，来执行图像识别，并且识别异物。另外，当电动吸尘器识别出异物时，电动吸尘器在设置在电动吸尘器中的显示屏上，显示用于具体说明识别出的异物是什么的信息。

发明内容

在图像识别时，为了提高图像识别精确度，考虑使用具有高分辨率的照相机拍摄的捕获图像，来执行图像识别处理，或增加要进行图像识别处理的捕获图像的数目。然而，由于捕获图像的数目的增加或具有高分辨率的捕获图像，图像识别处理增加。因此，用于图像识别处理的处理单元(例如CPU(中央处理器单元))的处理负荷可能增加，并且功耗可能增加。

本发明的目的是在不过度增加图像识别处理的处理负荷的情况下，提高图像识别精确度。根据说明书和附图的描述，其他问题和新颖特征将变得明显。

根据一个实施例的半导体装置包括：图像检测单元，其检测捕获图像中的物体，并从该捕获图像中切出存在物体的图像区域作为物体检测区域图像；图像识别单元，其对该物体检测区域图像执行图像识别处理并输出物体的识别概率；以及控制单元，其基于识别概率控制移动速度和成像间隔中的至少一个。

根据另一实施例的可移动设备包括：成像单元，其捕获图像；移动驱动单元，其移动可移动设备；图像检测单元，其检测被包括在捕获图像中的物体，并切出存在该物体的物体检测区域图像；图像识别单元，其对该物体检测区域图像执行图像识别处理并输出物体的识别概率；以及控制单元，其基于识别概率控制移动驱动单元和成像单元中的至少一个。

此外，根据另一实施例，可移动设备的控制方法包括：捕获从成像单元获得的图像的步骤；检测被包括在捕获图像中的物体，以切出存在该物体的物体检测区域图像的步骤；执行对物体检测区域图像的图像识别处理，以输出物体的识别概率的步骤；以及根据该识别概率控制可移动设备的移动速度和成像间隔中的至少一个的步骤。

根据本实施例，可以在不过度增加捕获图像数目的情况下提高图像识别精确度。

附图说明

图1是示出了根据第一实施例的可移动设备的配置的框图。

图2是图示了根据第一实施例的可移动设备的操作示例的流程图。

图3是说明了根据第一实施例的可移动设备的示例性操作程序的图。

图4是说明了根据第一实施例的第一修改示例的可移动设备的示例性操作程序的图。

图5是示出了根据第一实施例的第二修改示例的可移动设备的示例性物体检测过程的流程图。

图6是示出了可移动设备的示例性外壳控制操作的流程图。

图7是示出了可移动设备的另一示例性外壳控制操作的流程图。

图8是示出了可移动设备的另一示例性外壳控制操作的流程图。

图9是示出了根据第二实施例的可移动设备的配置的框图。

图10A是图示了计算根据第二实施例的可移动设备的轮廓坐标的示例性过程图。

图10B是图示了计算根据第二实施例的可移动设备的轮廓坐标的示例性过程图。

图11是图示了根据第二实施例的可移动设备的示例性操作的流程图的一部分。

图12是图示了根据第二实施例的可移动设备的示例性操作的流程图的一部分。

图13是说明了根据第二实施例的可移动设备的示例性操作程序的图。

图14是示出了根据第三实施例的可移动设备的配置的框图。

图15是图示了根据第三实施例的可移动设备的示例性操作的流程图。

图16是说明了根据第三实施例的可移动设备的示例性操作程序的图。

具体实施方式

在下文中，将通过参照附图详细地描述根据实施例的半导体装置。在说明书和附图中，相同或对应的组件由相同的附图标记表示，并且省略其重复描述。在附图中，为了便于描述，可以省略或简化配置。而且，至少一些实施例和每个修改可以彼此被任意地组合。

第一实施例

图1是示出了根据第一实施例的可移动设备的配置的框图。如图1中所示，可移动设备1包括半导体装置10、成像单元20和移动驱动单元30。

成像单元20包括例如CCD(电荷耦合设备)图像拾取元件、或CMOS(互补金属氧化物半导体)图像拾取元件以及图像拾取透镜，并且布置在可移动设备1的外壳的前侧上。然后，成像单元20捕获可移动设备的周边(例如，在行进方向上向前的行进表面)的图像。

移动驱动单元30包括移动马达、驱动轮等(未示出)，并且使可移动设备1的外壳在直线方向上前后移动，或使外壳沿左右方向移动。

半导体装置10包括成像接口(I/F)101、成像控制单元102、存储单元103、图像检测单元104、图像识别单元105、移动控制单元106和控制单元107，它们经由系统总线108彼此连接。

成像接口101连接到成像单元20，接收由成像单元20捕获的捕获图像，并将捕获图像暂时存储在存储单元103中。例如，捕获图像的图像大小是640*480像素。

成像控制单元102经由成像接口101将成像控制信号传输给成像单元20。基于来自控制单元107的成像间隔指令，来生成成像控制信号。成像单元20根据成像控制信号控制成像间隔，并且顺序传输以指定的成像间隔所捕获的捕获图像。成像间隔被定义为捕获图像的获取间隔。

存储单元103暂时存储经由成像接口101从成像单元20传输的捕获图像，读取暂时存储的捕获图像，并将图像传输给图像检测单元104以进行图像检测。如稍后所述，当图像检测单元检测到物体时，存储单元103存储被切出的物体检测区域的图像。

在本实施例中，暂时存储在存储单元103中的捕获图像被用于图像检测单元104中的图像检测处理和图像识别单元105中的图像识别处理。

图像检测单元104读取被暂时存储在存储单元103中的捕获图像，并从捕获图像中搜索显示物体的区域。当存在显示物体的区域时，图像检测单元104切出显示物体的区域，并将该区域图像作为物体检测区域图像存储在存储单元103中。例如，物体检测区域图像的图像大小是64*4像素。

图像检测单元104以预定大小的确定区域扫描目标捕获图像，确定在该确定区域中是否存在物体，并且将被确定为包括物体的确定区域作为物体检测区域图像，存储在存储单元103中。可以应用熟知的图案识别技术来确定在确定区域中是否存在物体。

图像识别单元105读取被暂时存储在存储单元103中的物体检测区域图像，并且计算被包括在物体检测区域图像中的物体的识别概率。即，图像识别单元105计算针对物体的多个识别候选的识别概率。然后，基于计算出的识别概率，具体说明该物体是什么。例如，具有最高识别概率的识别候选被用作物体的识别结果。作为识别概率计算方法，应用诸如卷积神经网络方法的神经网络。

移动控制单元106控制移动驱动单元30的移动操作。例如，移动控制单元106包括马达驱动器等，基于来自控制单元107的控制信号来确定移动方向和移动速度，并且指令移动驱动单元30来这样做。

控制单元107指令成像控制单元102以成像间隔来捕获，成像间隔是图像的获取间隔。另外，控制单元107在移动方向和移动速度上指令移动控制单元106。进一步地，控制单元107基于从图像识别单元105输出的识别概率，来控制成像控制单元102和移动控制单元106中的至少一个。具体地，当从图像识别单元105输出的识别概率等于或大于预定值时，控制单元107在成像控制单元102和移动控制单元106中分别设置成像间隔和移动速度的初始值。另一方面，当识别概率小于预定值时，控制单元107控制成像控制单元102和移动控制单元106，以便改变成像间隔和移动速度中的至少一个。例如，当识别概率小于预定值时，控制单元107将可移动设备1的移动速度控制为较低，或将成像间隔控制为较短。

图2是示出了控制根据第一实施例的可移动设备1的示例性方法的流程图。图3是示出了根据可移动设备1的控制的操作的说明图。在图3的中心和右侧，省略了与图3左侧中的元件相同的元件的附图标记。

首先，在步骤S1中使可移动设备1通电，并且分别在成像控制单元102和移动控制单元106中，设置成像间隔的初始值和移动速度的初始值。成像间隔的初始值和移动速度的初始值由设计者预先确定。例如，设置成像间隔的初始值和移动速度的初始值，使得可移动设备1在成像间隔中的移动距离近似等于在行进方向上的图像场长度，即，捕获图像的垂直方向上的长度。可移动设备1根据移动速度的初始值开始移动(步骤S2)，并且根据成像间隔的初始值开始捕获(步骤S3)。

接下来，图像检测单元104为了确定物体是否被包括在由成像单元20捕获的捕获图像中，针对由成像单元20捕获的捕获图像，通过图像检测单元104执行物体检测处理(步骤S4)。如图3的左侧中所示，当物体未被反映在捕获图像202_1中时，由于没有输出物体检测区域图像，因此确定物体未被反映在捕获图像中(步骤S5中为否)，并且过程返回到步骤S3。另一方面，如图3的中心所示，当物体出现在捕获图像202_2中时，由于输出了物体检测区域图像，因此确定物体出现在捕获图像中(步骤S5中为是)，并且将输出的物体检测区域图像存储在存储单元103中。

在步骤S6中，图像识别单元105从存储单元103读取物体检测区域图像，对读取的物体检测区域图像执行图像识别处理，并分别输出与多个识别候选相对应的多个识别概率。

当在多个识别概率当中存在预定值或更大的识别概率(例如，80％或更大)时(步骤S7中为是)，控制单元107将移动速度和成像间隔分别维持在或重置为初始值(步骤S8)。此后，在步骤S9中，控制单元107根据从识别概率获得的物体的识别结果来控制外壳。例如，如稍后将描述，可以控制移动方向以便避开由可移动设备1识别的物体。即，当识别概率等于或大于预定值时，控制单元107可以控制移动驱动单元106，以便改变作为可移动设备1的自身设备的移动方向。备选地，可以通过通知单元(未示出)来通知物体的识别结果。此后，可移动设备1返回到步骤S3，并且基于在步骤S8中设置的移动速度和成像间隔，重复图像捕获、图像检测过程和图像识别过程。

另一方面，当多个识别候选的所有识别概率均小于预定值(例如，小于80％)时(步骤S7中为否)，控制单元107改变移动速度和成像间隔中的至少一个(步骤S10)。即，当识别概率等于或小于预定识别概率时，控制单元107可以控制移动驱动单元106，以便改变作为可移动设备1的自身设备的移动速度。当识别概率等于或小于预定识别概率时，控制单元107可以控制成像控制单元102，以便改变作为可移动设备1的自身设备的成像间隔。作为识别概率变得小于预定值的原因，如图3的中心所示，可能存在物体200被包括在捕获图像201_2中但仅一部分物体出现在捕获图像202_2中的外壳，或可能存在在捕获图像中出现的物体较小并且无法获得必要特征量的外壳。因此，通过控制移动速度或成像间隔，整个物体被显示在捕获图像上。

例如，在步骤S10中，控制单元107将移动速度设置为低于移动速度的初始值。此后，过程返回到S3，并且可移动设备1在以低于设置移动速度的初始值时的速度移动的同时捕获图像。即，由于可移动设备1在减小朝向待被检测物体的速度的同时执行捕获图像，所以可以在防止待被检测的物体落到捕获范围之外的同时捕获整个物体的图像。以此方式，当仅一部分物体被反映(如图3的中心所示)并且仅获得小于预定值的识别概率时，反映整个物体的捕获图像(如图3的右侧中所示)可以通过下一次捕获来获得。

对显示以此方式获得的整个物体的捕获图像，执行物体检测过程，并且输出物体检测区域图像(步骤S4和步骤S5中为是)。在步骤S6中，对物体检测区域图像执行图像识别处理。由于整个物体被包括在物体检测区域图像中，因此可以预期这样的识别概率：大于图3中心的捕获图像中的识别概率。

当获得等于或大于预定值的识别概率时，控制单元107将移动速度回复为移动速度的初始值(步骤S8)，并且基于识别结果执行可移动设备1的控制(步骤S9)。

在步骤S10中，成像间隔可以短于成像间隔的初始值。而且，在该情况下，可以获得与在移动速度被设置为低于移动速度的初始值的外壳中的相同效果。换言之，可以在逐渐接近物体的同时获得捕获图像，并且因此，可以获得反映整个物体的捕获图像。

参照图3，将描述可移动设备1的操作。

如图3的左侧中所示，当物体200超出捕获图像范围时，理所当然地，物体未被反映在捕获图像201_1中。因此，没有检测到物体(步骤S4中为否)，并且在继续移动的同时再次执行图像获取(步骤S3)。如图3的中心所示，当在下一捕获时刻物体200的一部分被反映到捕获图像范围201_2中时，获得一部分物体被反映的捕获图像，并且检测到物体(步骤S5中为是)。然后，在步骤S6中执行图像识别处理。然而，由于仅一部分物体被反映在捕获图像中，因此识别概率减小。当识别概率小于预定值(步骤S7中为否)时，控制单元107将移动速度改变为小于初始值(步骤S10)。即，当从图3的左侧中所示的可移动设备1的位置，到后续捕获时刻(图3的中心)的可移动设备1的移动距离为L时，从图3的中心所示的可移动设备1的位置，到图3的右侧所示的可移动设备1的位置的移动距离L'小于移动距离L。因此，可移动设备1可以移动，使得在后续捕获时刻的捕获图像区域201_3不超出物体的位置，并且因此，可以获得包括整个物体的捕获图像202_3。此后，对包括整个物体的捕获图像202_3执行图像识别处理。例如，当作为环的识别概率等于或大于预定值时(步骤S7中为是)，将该物体识别为环。当识别出物体时，可移动设备1的移动速度返回为其初始值(步骤S8)，并且然后例如改变方向，以便避开物体(步骤S9)。

如上文所述，在图像识别过程之后，根据本实施例的可移动设备1基于识别概率来控制移动速度或成像间隔。当识别概率低时，使可移动设备1的移动速度降低，或使成像间隔缩短，以便通过在接近物体的同时增加捕获图像的数目来执行图像识别处理。通过增加待进行图像识别处理的捕获图像的数目，可以提高图像识别精确度。换言之，在比获得小于预定值的图像识别率的位置更靠近物体的范围内，增加捕获图像的数目，从而提高了物体的图像识别精确度。另一方面，当获得等于或大于预定值的识别概率时，将可移动设备1的移动速度和成像间隔设置为初始值，从而抑制移动区域中的捕获图像的数目。

进一步地，由于仅对物体检测区域图像执行图像识别处理，因此不对没有反映物体的捕获图像执行图像识别处理。进一步地，通过从检测到物体的捕获图像中切出检测到物体的区域的图像，并且仅对切出的图像进行物体图像识别处理，可以抑制图像识别处理的增加。因此，缩短了图像识别处理时间，并且可以以低消耗执行处理。

第一实施例的第一修改示例

将参照图4描述第一实施例的修改示例。图4示出了根据第一实施例的可移动设备1的第一修改示例的示例性控制程序。在第一实施例的说明中，基于物体是否被反映在捕获图像中，来确定物体检测(步骤S4和S5)。另外，可以根据物体检测区域的大小来确定是否检测到物体(步骤S11和S12)。

在检测到物体并且输出反映物体的区域之后，图像检测单元104确定物体检测区域图像的大小是否大于第一预定大小(SIZE_1)(步骤S11)。当物体检测区域图像的大小等于或大于第一预定大小(步骤S11中为是)时，过程前进到步骤S12。另一方面，当物体检测区域图像的大小没有超过第一预定大小的大小(SIZE_1)(步骤S11中为否)时，过程返回到步骤S3。即，当物体检测区域图像的大小小于第一预定大小时，物体检测区域图像未被存储在存储单元103中，并且不对物体检测区域图像执行图像识别处理。

当物体检测区域图像的大小等于或大于第一预定大小时，进一步确定物体检测区域图像的大小是否大于第二预定大小(SIZE_2)(步骤S12)。当物体检测区域图像的大小等于或小于第二预定大小(SIZE_2)(步骤S12中为是)时，将该区域的图像数据存储在存储单元103中，并且执行图像识别处理(步骤S5)。另一方面，当物体检测区域图像的大小大于第二预定大小(步骤S12中为否)时，在未执行图像识别处理的情况下控制外壳，以便不与检测到的物体碰撞(步骤S8)。

如上文所述，根据第一修改示例，当物体检测区域图像的大小在预定大小之内时，对物体检测区域图像执行图像识别处理。

当物体检测区域图像的大小较小时，无法获得识别所需的特征量，并且即使执行图像识别处理，存在仅获得低识别概率的可能性。因此，不对仅基于低识别概率预期获得的识别结果的捕获图像执行图像识别处理。当物体检测区域图像的大小较大时，存在外壳与物体碰撞的概率。因此，优先进行外壳控制，以便在未执行图像识别处理的情况下避免碰撞。因此，通过根据物体检测区域图像的大小，来确定图像识别处理的执行，可以进一步降低功耗。

当物体检测区域图像的大小等于或大于预定大小或小于预定大小时，可以对物体检测区域图像执行图像识别处理。

第一实施例的第二修改示例

将参照图5描述第一实施例的另一修改示例。图5是示出了根据第一实施例的第二修改示例的可移动设备的示例性物体检测处理的流程图。

首先，在根据第二修改示例的物体检测处理中，为了提高物体的检测精确度并防止由于噪声而导致的物体的错误检测，在执行物体检测之前，转换捕获图像的图像质量。

图像检测单元104计算由成像单元20捕获的捕获图像的亮度(步骤S41)。基于计算出的亮度，校正成像单元20的曝光(快门时间、照相机增益)。对特定校正值的计算和对成像单元20的控制由控制单元107执行。注意，步骤S41是用于校正成像单元20的曝光的过程，而不是针对捕获图像本身的过程。

接下来，在步骤S42中，图像检测单元104对捕获图像执行亮度归一化处理。在步骤S41中校正成像单元20的曝光，并且可以在一定程度上抑制所获得的捕获图像的亮度变化。通过对因此捕获的捕获图像执行亮度归一化处理，可以统一捕获图像之间的亮度。

接下来，将进行了亮度归一化处理的捕获图像转换为灰度图像，并且在步骤S43中缩小转换后的灰度图像。例如，缩小的灰度图像的大小是320*240像素。

接下来，在步骤S44中使用噪声去除滤波对缩小的灰度图像执行噪声去除。

在操作S45中，使用边缘检测滤波对已经去除了噪声的缩小灰度图像，执行边缘检测过程。因此，获得了出现在捕获图像中的物体的轮廓图像，即，边缘检测处理之后的图像。应注意，尽管对边缘检测图像执行了边缘扩展处理以补充切割轮廓，但是在该第二修改示例中不执行该边缘扩展处理。

接下来，在步骤S46中，执行物体检测区域提取处理。在物体检测区域提取处理中，首先，在边缘检测处理之后对图像执行轮廓检测，并且计算检测到的轮廓的外接矩形信息(包括位置和大小)。然后，图像检测单元104使用计算出的外接矩形信息，在捕获图像中切出与外接矩形相对应区域的图像，并将该图像作为物体检测区域图像输出。

因此，基于缩小的图像来计算外接矩形信息，并且基于计算出的外接矩形信息，从缩小之前的捕获图像中切出物体检测区域图像。

如上文所述，图像检测单元104对尚未进行边缘扩展处理的边缘检测图像，执行轮廓检测。通过不执行边缘扩展处理，可以防止无需作为识别目标的小物体的轮廓被连接并被错误地检测为一个大轮廓。在防止多个物体的轮廓彼此连接的同时，存在检测到各种较大和较小物体的大量轮廓的概率。由于小轮廓是无需作为识别目标的物体的概率很大，因此当外接矩形的大小等于或小于预定大小(例如32*32像素或更小)时，外接矩形信息可能不会被用于切出捕获图像。

在未执行边缘扩展处理时，可以分割一个物体的轮廓。但是，基于多个分割轮廓的外接矩形可能会重叠。因此，当多个外接矩形的一部分重叠时，被包括在多个外接矩形的每一个中的轮廓，可以被视为一个物体的轮廓，可以生成包括多个外接矩形的连接的外接矩形的外接矩形信息，并且可以将与捕获图像的连接的矩形部分相对应的区域，作为物体检测区域图像输出。当连接的矩形的大小等于或大于预定大小(例如64*64像素或更大)时，多个外接矩形可以不被连接。

进一步地，当在物体检测区域的提取处理中获得多个外接矩形时，可以针对每个外接矩形计算优先级。然后，可以选择具有高优先级的外接矩形的外接矩形信息，并且可以基于选择的外接矩形信息来输出物体检测区域图像。例如，可以根据指示轮廓的像素与构成外接矩形的图像数据的总像素的比率来计算优先级。待进行图像识别的物体(例如戒指)的轮廓通常是直线或平滑曲线，但是当噪声被连接形成轮廓时，轮廓很少是直线或平滑曲线。因此，指示轮廓的像素与外接矩形中的像素总数的比率，小于待进行图像识别的物体的轮廓外接矩形的比率，并且小于噪声彼此相连的轮廓外接矩形的比率。通过将以该方式计算出的比率用作优先级，可以来选择外接矩形，并且可以基于具有高优先级的外接矩形的外接矩形信息，从捕获图像中切出物体检测区域图像。

根据第二修改示例中的物体检测处理，通过基于捕获图像的亮度，以及对捕获图像的亮度进行归一化处理，来对成像单元20进行曝光校正，通过该曝光校正可以防止针对每个捕获图像的检测精确度改变。另外，由于每个像素的数据被平均，并且通过缩小捕获图像来减少噪声，所以可以减少错误检测。另外，通过使用作为低分辨率图像的减小图像执行物体检测处理，并基于该结果从高分辨率的捕获图像中切出物体检测区域图像，这可以提高图像识别精确度，同时缩短物体检测处理时间。进一步地，通过在未执行轮廓的扩展处理的情况下获取轮廓的外接矩形信息，并且基于外接矩形的大小、外接矩形的级联以及外接矩形的优先级来选择适当的外接矩形。因此，可以缩小待进行图像识别处理的物体，并且因此，可以抑制图像识别处理的增加。

步骤S8中的外壳控制的特定示例

可移动设备1可应用于自推进真空吸尘器、用于监视的无人驾驶飞行器、配备有照相机的各种机器人设备等。将针对每个设备描述步骤S8中的外壳控制的特定示例。

图6是示出了当可移动设备1是自推进吸尘器时，外壳控制操作的图。首先，在操作S81中，可移动设备1确定识别结果是否是待被清洁的物体。如果识别出的物体是待被清洁的物体，则与在步骤S82中一样，继续进行抽吸操作。另一方面，当识别出的物体不是待被清洁的物体时，在步骤S83中，自推进吸尘器停止抽吸操作并移动该物体，同时避开该物体以避免因最初吸入不应被吸入的异物而导致的故障或破损。备选地，可以通过通知单元(未示出)来通知物体的存在。

如图7中所示，当可移动设备1是用于监视的无人驾驶飞行器时，确定识别结果是否是通知物体(例如，跌倒的人)(步骤S84)，并且当识别结果是通知物体时，由通知单元(未示出)通知该识别结果(步骤S85)。

进一步地，如图8中所示，当可移动设备1是安装有照相机的机械臂时，确定识别出的物体是否是异物(步骤S86)，并且当它是异物时，由通知单元(未示出)通知该识别出的物体并且停止其操作(步骤S87)。

第二实施例

接下来，将描述根据第二实施例的可移动设备2，该可移动设备2是移动单元设备1的另一种形式。图9是示出示例性可移动设备2的图，并且除半导体装置11之外的配置，可以与图1中所示的配置相同。因此，这里省略其描述。在本实施例中，与图1中的组件具有相同功能的组件，用相同的附图标记表示，并且省略其描述。

图9是示出了根据本实施例的半导体装置11的配置的框图。除了图像检测单元114、控制单元117和图像计算单元119之外，根据本实施例的半导体装置11的配置与根据第一实施例的半导体装置10的配置相同，并且因此省略其描述。

如图9中所示，图像检测单元114、控制单元117和图像计算单元119经由系统总线108连接到构成半导体装置11的相应元件。

类似于第一实施例，图像检测单元114读取被暂时存储在存储单元103中的第一捕获图像，并从第一捕获图像中搜索物体出现的区域。当存在反映第一物体的区域时，图像检测单元114切出反映第一物体的区域作为第一物体检测区域，并将其存储在存储单元103中作为第一物体检测区域图像。当存在反映物体的区域时，图像检测单元114计算相对于捕获图像区域的物体轮廓的局部坐标，并将该局部坐标存储在存储单元103中。

图像计算单元119从存储单元103读取第一物体的轮廓坐标，并使用在可移动设备2中设置的移动方向、移动速度和成像间隔，来估计在下一捕获图像中检测到的物体的轮廓坐标。估计的轮廓坐标被存储在存储单元103中。例如，如果图10A中所示的捕获图像中的物体的轮廓的A点的坐标是(X0，Y0)，可移动设备2的移动方向是θ，移动速度是ν并且成像距离是Δt，则图10B中所示的后续捕获图像的物体轮廓的A点的坐标(X1，Y1)可以估计如下。

X1＝X0-νΔt*cosθ...(1)

Y1＝Y0-νΔt*sinθ...(2)

因此，估计的轮廓坐标(X1，Y1)被存储在存储单元103中。

控制单元117将在这次捕获的第二捕获图像中检测到的第二物体的轮廓坐标，与从先前捕获的第一捕获图像中的第一物体的轮廓坐标中估计出的估计轮廓坐标进行比较。然后，控制单元117确定第二捕获图像中的第二物体，是否与先前捕获的第一捕获图像中的第一物体相同。更具体地，确定估计的轮廓坐标是否被包括在第二捕获图像中检测到的第二物体的轮廓坐标中。当其包括估计的轮廓坐标时，确定第一物体和第二物体是同一物体。然后，在本实施例中，当确定连续捕获的图像中的物体是同一物体时，控制单元117将根据对第一物体的第一识别概率获得的第一识别结果，与根据对第二物体的第二识别概率获得的第二识别结果进行比较。

另外，基于相对于连续捕获的第一捕获图像和第二捕获图像的图像识别结果的比较结果，控制单元117控制成像控制单元102和移动控制单元106中的至少一个。具体地，当针对包括同一物体的连续捕获图像的图像识别结果彼此一致时，控制单元117输出匹配的识别结果作为最终识别结果，并指令成像控制单元102和移动控制单元106将成像间隔和移动速度回复为初始值。另一方面，当包括同一物体的连续捕获图像的图像识别结果彼此不一致时，则认为未能识别物体，并且以与第一实施例相同的方式控制成像控制单元102和移动控制单元106中的至少一个。

以该方式，通过确定物体是否相同，并且使用针对同一物体的多个图像识别结果来识别物体，可以提高物体的识别精确度。

图11和12是示出了根据第二实施例的控制可移动设备2的示例性方法的流程图。在下文中，将参照流程图描述根据可移动设备2的操作。与第一实施例可移动设备1的操作中相同的步骤被分配有相同的附图标记。图13是示出了可移动设备2的过程顺序的说明图。在图13的中心和右侧，省略与图13的左侧共用的部分的附图标记。

在步骤S1中，可移动设备2通电，并且设置成像间隔的初始值和移动速度的初始值。可移动设备2根据移动速度的初始值开始移动(步骤S2)，并且根据成像间隔的初始值执行捕获图像(步骤S3)。此处，作为移动速度的初始值和成像间隔的初始值，例如，设置图像捕获间隔的初始值和移动速度的初始值，使得可移动设备2在图像捕获间隔中的移动距离，等于或小于在行进方向上的图像场长度(即，捕获图像的垂直方向上的长度)的一半。

接下来，在步骤S4中，图像检测单元114执行物体检测处理，用于确定物体是否被反映在捕获图像中。如在图13的左侧所示，当物体未被包括在捕获图像范围211_1中并且物体未被反映在捕获图像212_1中(步骤S20中为否)时，过程返回到步骤S3，并且继续进行移动和捕获。另一方面，如图13的中心所示，当物体进入捕获图像范围211_2并且物体出现在捕获图像212_2中(步骤S20中为是)时，从捕获图像212_2中切出物体出现的区域，并且确定物体在捕获图像中的轮廓坐标。进一步地，图像计算单元119根据轮廓坐标估计在下一捕获图像中检测到的物体的轮廓坐标。

接下来，在步骤S21中，控制单元117使用从当前捕获图像中提取的轮廓坐标和估计的轮廓坐标，来确定捕获图像中的物体是否与先前捕获图像中的物体是同一物体。此处，当图13的左侧中所示的捕获图像212_3，是在图13的中心所示的捕获图像212_2之后获得的捕获图像时，将基于捕获图像212_2计算出的物体的估计轮廓坐标，与基于捕获图像212_3计算出的物体的轮廓坐标进行比较，并确定它们是否为同一物体。

当确定物体不是同一物体(步骤S21中为否)时，对由物体检测单元114切出的物体检测区域图像执行物体识别处理，并且分别输出针对多个识别候选的识别概率(步骤S22)。输出的识别概率被存储在存储单元103中。如果存在等于或大于阈值P0的识别概率(步骤S23中为是)，则过程返回到步骤S3，并且可移动设备2在移动的同时继续捕获。如果所有识别概率均小于阈值P0(步骤S23中为否)，则改变移动速度和成像间隔中的至少一个(步骤S24)，并且可移动设备2根据改变的移动速度和成像间隔中的至少一个，继续移动和捕获。

当在步骤S21中确定物体是同一物体(步骤S21中为是)时，对由物体检测单元114切出的物体检测区域图像执行图像识别处理，并且输出针对多个识别候选的识别概率(步骤S25)。如果存在等于或大于阈值P1的识别概率(步骤S26为是)，则基于被存储在存储单元103中的先前捕获图像，确定从识别概率获得的识别结果和从当前识别概率获得的识别结果是否指示同一结果(步骤S27)。例如，确定从图13的中心所示的捕获图像获得的图像识别结果，和从图13的右侧所示的捕获图像获得的图像识别结果是否指示同一结果。

当从多个连续捕获图像获得的识别结果一致(步骤S27中为是)时，控制单元117将移动速度和成像间隔回复为初始值(步骤S7)，并且在基于物体的识别结果控制外壳(步骤S8)之后，控制单元117返回到步骤S3以继续移动和捕获。应注意，在S8中可移动设备2的控制可以与第一实施例的控制相同，并且因此省略其说明。

如果所有识别概率均小于阈值P1(步骤S26中为否)或如果在步骤S27中多个识别结果不一致(步骤S27中为否)，则过程返回到步骤S24，并且控制单元117改变移动速度和成像间隔中的至少一个。然后，过程返回到S3，并且可移动设备2继续移动和捕获。

识别概率阈值P0和识别概率阈值P1可以是相同值或不同值。通常，当可移动设备1与物体之间的距离很长时，不能充分获得物体的特征量，并且识别概率倾向于很低。因此，通过使识别概率阈值P1大于识别概率阈值P0，可以获得具有更高识别精确度的结果。

通过图像识别处理获得的仅仅是物体的识别概率，并且存在识别错误的概率。然而，根据本实施例的可移动设备2确定被反映在多个捕获图像中的物体是否相同，并且从针对同一物体的多个识别过程结果中获得最终识别结果。即，通过多次识别同一物体，可以获得具有高精确度的识别结果。

在本实施例中，使用来自两个捕获图像的图像识别结果来识别物体，但是可以通过优先考虑后者的识别结果来确定最终识别结果。此外，可以适当地设置移动速度的初始值和成像间隔的初始值，并且可以使用来自三个或更多个捕获图像的图像识别结果，来识别物体。当从三个或更多个捕获图像中获得图像识别结果时，可以由多数的识别结果来确定最终识别结果。

进一步地，在本实施例中，由于计算了轮廓坐标，所以即使当多个物体被反映在捕获图像中时，也可以针对每个物体执行识别过程。例如，可以在第一捕获图像和随后的第二捕获图像中单独地识别物体。

在本实施例中，计算了轮廓坐标，但是可以使用物体检测区域图像的左上坐标来确定同一物体。与使用轮廓坐标来确定物体是否相同的情况相比，由于坐标计算处理和保持信息较小，所以仅使用物体检测区域的左上坐标可以进一步加速处理。

[第三实施例]接下来，说明第三实施例。图14是示出了根据本实施例的可移动设备3的图，并且除半导体装置12之外的配置可以与图1中所示的配置相同。因此，此处省略其描述。另外，由于除了图像合成单元120和控制单元127之外，图14中所示的根据本第三实施例的半导体装置12的配置，与根据第二实施例的半导体装置11的配置相同，因此省略其描述。

如图14中所示，图像合成单元120经由系统总线耦合到构成半导体装置12的元件。当控制单元127确定分别被反映在连续捕获的第一捕获图像和第二捕获图像的第一物体和第二物体，是同一物体时，图像合成单元120从存储单元103中读出捕获图像中的第一物体检测区域图像和第二物体检测区域图像，并且将第一物体检测区域图像和第二物体检测区域图像合成。被合成的图像作为合成图像被存储在存储单元103中。图像合成单元120可以执行图像校正，以便在执行图像合成时调整每个物体检测区域图像的大小。

控制单元127从存储单元103中读出合成图像，并且指令图像识别单元105对合成图像执行图像识别处理。

图15是示出了根据第三实施例的可移动设备3的示例性控制过程的流程图。图16是示出了根据第三实施例的可移动设备3的控制过程的操作的说明图。在图16的右侧中，省略了与图16左侧共用的部分的附图标记。

在本第三实施例中，可移动设备3在捕获图像之后根据以下程序执行过程。

在图15的步骤S20中，对由图像检测单元114进行的捕获图像执行图像检测处理，并且确定是否已经检测到物体。当检测到物体(步骤S20中为是)时，图像检测单元114在捕获图像中切出反映物体的区域，并找出物体在捕获图像中的轮廓坐标。进一步地，图像计算单元119基于轮廓坐标，估计在下一捕获图像中检测到的物体的轮廓坐标。如果没有检测到物体(步骤S20中为否)，则过程返回到步骤S3以捕获图像。

在步骤S30中，控制单元127将捕获图像中的物体的轮廓坐标，与由图像计算单元119估计的估计轮廓坐标进行比较，并确定捕获图像中的物体是否是与在先前捕获图像中的物体相同的物体。

当确定物体不是同一物体(步骤S30中为否)时，图像识别单元105对这次提取的物体检测区域图像执行图像识别处理，并输出识别概率(步骤S5)。另一方面，当确定物体相同(步骤S30中为是)时，图像合成单元120将先前提取出的物体检测区域图像，与这次提取的物体检测区域图像合成(步骤S31)。在步骤S5中，图像识别单元105对合成图像执行图像识别处理，并输出识别概率。

当在图16的右侧中所示的捕获图像222_2中反映的物体，与先前捕获的成像图像222_1中反映的物体200，是相同的物体时，合成物体检测区域图像223_1、223_2以获得合成图像224。然后，图像识别单元105对合成图像224执行图像识别处理。

在步骤S6中，控制单元127确定识别概率是否等于或大于预定值。如果识别概率等于或大于预定值(步骤S6中为是)，则控制单元127将移动速度和成像间隔维持在或重置为初始值(步骤S7)，并基于识别结果控制可移动设备3(步骤S8)。另一方面，当识别概率小于预定值(步骤S6中为否)时，控制单元127改变移动速度和成像间隔中的至少一个(步骤S10)，并且返回到步骤S3。

在本实施例中的步骤S8，对可移动设备3的控制可以与第一实施例中的控制相同，并且因此省略其说明。

根据本实施例，如图16的左侧和右侧中所示，即使当仅一部分物体被反映在捕获图像中时，也可以通过图像合成来获得物体的整个图像。因此，对合成图像的图像识别处理的结果，高于对仅反映一部分物体的捕获图像的图像识别处理的结果。因此，可以提高识别精确度。

在上述实施例中，可移动设备的图像检测单元、图像识别单元和控制单元，可以通过形成在集成电路(IC芯片)上的逻辑电路被配置为硬件，或可以使用CPU通过软件来如下地实现。

当由软件实施时，可移动设备包括：中央处理单元(CPU)，用于执行用于实施每种功能的控制程序的指令；只读存储器(Read Only Memory)，用于存储程序；随机存取存储器(Random Access Memory)，用于扩展程序；以及存储设备，用于存储程序和各种数据。本发明还可以通过提供存储介质来实现，在该存储介质中存储移动设备1的控制程序的程序代码，该程序代码是用于实现上述功能的软件，以便其可由计算机读取到移动单元设备，并且由计算机读出和执行被记录在记录介质中的程序代码。

以上已经基于实施例描述了本发明人所提出的本发明，但是本发明不限于以上的实施例，并且不用说，可以在不脱离其主旨的情况下进行各种修改。

Claims (18)

1.一种用于具有移动驱动单元和图像单元的设备的半导体装置，所述半导体装置包括：

图像检测单元，被配置为检测捕获图像中的物体，并从所述捕获图像中切出包括所述物体的图像区域，作为物体检测区域图像；

图像识别单元，被配置为针对所述物体检测区域图像执行图像识别处理，以输出所述物体的识别概率；以及

控制单元，被配置为设置所述移动驱动单元的移动速度和所述图像单元的成像间隔，

其中，所述控制单元根据所述识别概率控制所述移动速度和所述成像间隔中的至少一个。

2.根据权利要求1所述的半导体装置，

其中，所述控制单元具有所述移动速度的初始值，当所述识别概率等于或大于预定值时，将所述移动速度设置为所述移动速度的所述初始值，并且当所述识别概率小于所述预定值时，将所述移动速度设置为小于所述移动速度的所述初始值。

3.根据权利要求1所述的半导体装置，

其中，所述控制单元具有所述成像间隔的初始值，当所述识别概率等于或大于预定值时，所述控制单元将所述成像间隔设置为所述成像间隔的所述初始值，并且将所述成像间隔设置为小于所述成像间隔的所述初始值。

4.根据权利要求1所述的半导体装置，

其中，当所述物体检测区域图像的大小大于预定大小时，所述图像识别单元对所述物体检测区域图像，执行所述图像识别处理。

5.根据权利要求1所述的半导体装置，

其中，所述图像检测单元将所述捕获图像转换为灰度图像，对所述灰度图像的缩小图像执行噪声去除，在所述噪声去除之后，从所述灰度图像的所述缩小图像中检测所述物体的轮廓，并且基于所述检测到的轮廓的外接矩形信息，从所述捕获图像中切出所述物体检测区域图像。

6.根据权利要求5所述的半导体装置，

其中，当从所述灰度图像的所述缩小图像中检测到多个轮廓时，所述图像检测单元基于所述多个轮廓的外接矩形信息，生成连接的外接矩形，其中，与所述多个轮廓相对应的多个外接矩形被连接，并且基于所述连接的外接矩形的信息，从所述捕获图像中切出所述物体检测区域图像。

7.根据权利要求5所述的半导体装置，

其中，当从所述灰度图像的所述缩小图像中检测到多个轮廓时，所述图像检测单元计算与所述多个轮廓相对应的多个外接矩形的优先级，基于所述优先级选择所述外接矩形中的一个，并且基于与选择的外接矩形相对应的外接矩形信息，从所述捕获图像中切出所述物体检测区域图像。

8.根据权利要求1所述的半导体装置，

其中，所述图像识别单元使用神经网络执行所述图像识别处理。

9.根据权利要求1所述的半导体装置，

其中，所述控制单元基于第一识别结果和第二识别结果输出所述物体的识别结果，

其中，基于针对被包括在第一捕获图像中的第一物体的第一识别概率，来获得所述第一识别结果，以及

其中，基于针对被包括在第二捕获图像中的第二物体的第二识别概率，来获得所述第二识别结果。

10.根据权利要求9所述的半导体装置，

其中，所述图像检测单元输出被包括在所述捕获图像中的所述物体的轮廓坐标，

其中，所述控制单元将被包括在所述第一捕获图像中的所述第一物体的第一轮廓坐标，与被包括在所述第二捕获图像中的所述第二物体的第二轮廓坐标进行比较，当确定所述第一物体和所述第二物体相同时，基于所述第一识别结果和所述第二识别结果输出所述识别结果。

11.根据权利要求1所述的半导体装置，进一步包括：

图像合成单元，以及

其中，所述图像检测单元检测被包括在所述捕获的图像中的所述物体的轮廓坐标，

其中，当确定被包括在第三捕获图像中的第三物体和被包括在第四捕获图像中的第四物体相同时，图像合成单元生成合成图像，所述合成图像由从所述第三捕获图像切出的第三物体检测区域图像，和从所述第四捕获图像切出的第四物体检测区域图像组成。

12.一种可移动设备，其包括：

图像单元，用于捕获图像；

移动驱动单元，用于移动所述可移动设备；

图像检测单元检测捕获图像中的物体，并切出包括所述物体的物体检测区域图像；

图像识别单元，对所述物体检测区域图像执行图像识别处理，并输出所述物体的识别概率；以及

控制单元，基于所述识别概率控制所述图像单元和所述移动驱动单元中的至少一个。

13.根据权利要求12所述的可移动设备，

其中，当所述识别概率等于或大于预定值时，所述控制单元控制所述移动驱动单元，以改变所述可移动设备的移动方向，以及

其中，当所述识别概率小于所述预定值时，所述控制单元控制所述移动驱动单元，以改变所述可移动设备的移动速度。

14.根据权利要求12所述的可移动设备，进一步包括通知单元，当所述识别概率等于或大于预定值时，所述通知单元通知所述物体的存在。

15.一种控制可移动设备的方法，包括：

从图像单元中捕获图像；

当所述捕获图像包括物体时，检测被包括在所述捕获图像中的所述物体，以切出包括所述物体的物体检测区域图像；

对所述物体检测区域图像执行图像识别处理，以输出所述物体的识别概率；以及

控制所述可移动设备的移动速度和成像间隔中的至少一个。

16.根据权利要求15所述的方法，进一步包括：

确定所述物体检测区域图像的大小是否大于预定大小。

17.根据权利要求15所述的方法，进一步包括：

确定被包括在相应的多个捕获图像中的物体相同；以及

当确定被包括在所述捕获图像中的所述物体相同时，基于所述捕获图像的所述识别概率，来输出所述物体的识别结果。

18.根据权利要求15所述的方法，进一步包括：

确定被包括在相应的多个捕获图像中的物体相同；

当确定被包括在相应的所述捕获图像中的所述物体相同时，生成合成图像，所述合成图像由与多个捕获图像相对应的多个物体检测区域图像组成；

通过对所述合成图像执行所述图像识别处理，来输出所述物体的识别结果。

Images