CN109076168B - 控制装置、控制方法和计算机可读介质 - Google Patents
控制装置、控制方法和计算机可读介质 Download PDFInfo
- Publication number
- CN109076168B CN109076168B CN201780028786.XA CN201780028786A CN109076168B CN 109076168 B CN109076168 B CN 109076168B CN 201780028786 A CN201780028786 A CN 201780028786A CN 109076168 B CN109076168 B CN 109076168B
- Authority
- CN
- China
- Prior art keywords
- detection
- imaging
- image
- photographic subject
- photographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
本公开提供了一种控制装置,其包括:成像控制部,所述成像控制部控制成像装置中的成像;和检测部,所述检测部基于通过对设定在所述成像装置的视场角内的一部分中的检测区域进行成像所获得的第一拍摄图像检测拍摄对象。所述成像控制部使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,并且在基于所述第一拍摄图像检测到所述拍摄对象的情况下,使所述成像装置对所述获取区域进行成像。
Description
技术领域
本公开涉及一种控制装置、控制方法和程序。
背景技术
已经开发了一种利用一个成像装置拍摄不同用途的图像的技术。作为通过一个CMOS(互补金属氧化物半导体)相机来回切换来拍摄“作为其中行和列中的至少任意一种已变稀疏的低分辨率图像的车辆检测图像”和“作为没有稀疏过的高分辨率图像的车牌号识别图像”的技术,例如,引用了以下专利文献1中所述的技术。
引用列表
专利文献
专利文献1:JP2004-94412A
发明内容
技术问题
例如,广泛存在使用通过安装在固定点处使用的成像装置的系统,如在工厂、物流系统等中使用的工业相机、在ITS(智能交通系统:Intelligent Transport Systems)中使用的相机以及安保相机。例如,在上述系统中,基于由成像装置拍摄的拍摄图像(运动图像或静止图像)检测拍摄对象(例如,通过线的物体、诸如汽车等移动物体、人类等),并且检测结果用于与系统对应的各种用途。
在上述系统中,期望获得包含拍摄对象的拍摄图像,并且另外还减少指示拍摄图像的图像数据的数据量。
这里,例如,在使用专利文献1中所述的技术的情况下,通过拍摄其中行和列中的至少任意一种已被稀疏了的低分辨率图像来检测拍摄对象。然后,在已经检测到拍摄对象的情况下,拍摄高分辨率图像。因此,例如,在使用专利文献1中所述的技术的情况下,与始终拍摄高分辨率图像的情况相比,可以减少指示拍摄图像的图像数据的数据量。
然而,例如,如在专利文献1中所述的技术中那样,在拍摄其中行和列中的至少任意一种已被稀疏了的低分辨率图像的情况下,由于对成像装置的整个视场角进行成像,因此不始终能够充分减少指示拍摄图像的图像数据的数据量。
在本公开中,提出了一种能够在减少数据量的同时获得包含拍摄对象的拍摄图像的新颖且改进了的控制装置、控制方法和程序。
解决方案
根据本公开,提供了一种控制装置,其包括:成像控制部,所述成像控制部控制成像装置中的成像;和检测部,所述检测部基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象。所述成像控制部使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像。在基于所述第一拍摄图像检测到所述拍摄对象的情况下,所述成像控制部使所述成像装置对所述获取区域进行成像。
另外,根据本公开,提供了一种由控制装置执行的控制方法,所述控制方法包括:控制成像装置中的成像的步骤;和基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象的步骤。在所述控制步骤中,使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,并且在基于所述第一拍摄图像检测到所述拍摄对象的情况下,使所述成像装置对所述获取区域进行成像。
另外,根据本公开,提供了一种用于使计算机实现以下功能的程序:控制成像装置中的成像的功能;和基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象的功能。所述控制成像的功能使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,并且在基于所述第一拍摄图像检测到所述拍摄对象的情况下,所述控制成像的功能使所述成像装置对所述获取区域进行成像。
发明的有益效果
根据本公开,可以在减少数据量的同时,获得包含拍摄对象的拍摄图像。
需要指出的是,上述效果不一定是限制性的。伴随或代替上述效果,还可以实现本说明书中描述的任一种效果或可以从本说明书中理解的其他效果。
附图说明
图1是示出根据本实施方案的检测区域和根据本实施方案的获取区域的第一设定示例的说明图;
图2是用于说明与根据本实施方案的控制方法相关的处理的一个示例的说明图;
图3是用于说明与根据本实施方案的控制方法相关的处理的一个示例的说明图;
图4是示出根据本实施方案的检测区域和根据本实施方案的获取区域的第二设定示例的说明图;
图5是示出根据本实施方案的检测区域和根据本实施方案的获取区域的第三设定示例的说明图;
图6是示出根据本实施方案的控制装置的构成的一个示例的框图;
图7是示出根据本实施方案的控制装置的硬件构成的一个示例的说明图;
图8是示出根据本实施方案的控制装置的硬件构成的另一示例的说明图;
图9是示出车辆控制系统的示意性构成例的框图,该车辆控制系统是可以应用根据本公开的技术的移动物体控制系统的一个示例。
图10是示出成像单元12031的安装位置的示例的图。
具体实施方式
在下文中,将参照附图详细说明本公开的优选实施方案。需要指出的是,在本说明书和附图中,具有基本上相同功能和结构的结构元件采用相同的附图标记来表示,并且省略对这些结构元件的重复说明。
另外,在下文中,将按以下顺序进行说明。
1.根据本实施方案的控制方法
2.根据本实施方案的控制装置
3.根据本实施方案的程序
<根据本实施方案的控制方法>
首先,说明根据本实施方案的控制方法。在下文中,以根据本实施方案的控制装置进行与根据本实施方案的控制方法有关的处理的情况为例。
[1]根据本实施方案的控制方法的概要
如上所述,在使用成像装置的系统中,期望获得包含拍摄对象的拍摄图像,并且此外,还期望减少指示拍摄图像的图像数据的数据量。
然后,根据本实施方案的控制装置控制成像装置中的成像,使得成像装置进行用于检测拍摄对象的成像(后述的对检测区域的成像),或者进行用于获得包含拍摄对象的拍摄图像的成像(后述的对获取区域的成像)。
例如,根据本实施方案的控制装置使成像装置进行用于检测拍摄对象的成像,并且该控制装置基于通过用于检测拍摄对象的成像而获得的拍摄图像(第一拍摄图像)检测拍摄对象。然后,在基于通过用于检测拍摄对象的成像获得的拍摄图像检测到拍摄对象的情况下,根据本实施方案的控制装置使其进行用于获得包含拍摄对象的拍摄图像的成像。
例如,根据本实施方案的控制装置使其针对每一帧进行成像。
例如,根据本实施方案的控制装置使其以设定的预定帧速率进行用于检测拍摄对象的成像。
此外,在其中进行了用于检测拍摄对象的成像的一帧中检测到拍摄对象的情况下,根据本实施方案的控制装置使其在下一帧中进行用于获得包含拍摄对象的拍摄图像的成像。
这里,在从用于检测拍摄对象的成像切换到用于获得包含拍摄对象的拍摄图像的成像的情况下,经过预定的成像延迟时间之后,根据本实施方案的控制装置使其进行用于获得包含拍摄对象的拍摄图像的成像。作为根据本实施方案的预定的成像延迟时间,引用了预先设定的成像延迟时间或者基于拍摄对象的移动速度的成像延迟时间。也就是说,根据本实施方案的控制装置使其在与预先设定的成像延迟时间相对应的预订时刻或者在基于拍摄对象的移动速度的时刻进行用于获得包含拍摄对象的拍摄图像的成像。
作为根据本实施方案的成像装置,例如,引用了包括作为图像传感器的CMOS(互补金属氧化物半导体)的成像装置。包含在根据本实施方案的成像装置中的图像传感器可以仅包括CMOS,或者可以是其他元件 (如CCD(电荷耦合器件))堆叠在CMOS上的堆叠型图像传感器。
关于这一点,根据本实施方案的成像装置不限于上述示例。例如,作为根据本实施方案的成像装置,引用了可以应用全局快门的包含任意图像传感器的成像装置。
作为根据本实施方案的用于检测拍摄对象的成像,引用了设定在成像装置的视场角内的一部分处的检测区域的成像。根据本实施方案的检测区域相当于用于检测拍摄对象的感测区域。
如下文所述,根据本实施方案的控制装置基于其中对检测区域进行了成像的拍摄图像(第一拍摄图像)检测拍摄对象。即,根据本实施方案的检测区域可以是能够基于其中对检测区域进行了成像的拍摄图像来检测拍摄对象的区域,并且该区域在成像装置的视场角内的一部分中具有最小尺寸。作为根据本实施方案的检测区域,引用了能够对拍摄对象的至少一部分进行成像的视场角内的一部分区域。关于这一点,稍后将说明根据本实施方案的控制装置中的拍摄对象的来源。
在引用具体示例的情况下,作为根据本实施方案的检测区域,例如,引用了成像装置的视场角内的一行到约几行或者一行到约十几行的区域。也就是说,即使与其中简单地使行和列中的至少任意一种稀疏了的拍摄图像相比,其中对检测区域进行了成像的拍摄图像(第一拍摄图像) 的图像数据的数据量也变得足够小。
这里,作为根据本实施方案的图像数据,例如,引用了RAW数据。关于这一点,根据本实施方案的图像数据可以是其中对RAW数据进行了与拍摄图像的使用目的相对应的任意处理的数据(如RAW数据经过了无损压缩的数据)。
作为根据本实施方案的用于获得包含拍摄对象的拍摄图像的成像,引用了对设定在成像装置的视场角内的获取区域的成像。例如,根据本实施方案的获取区域是成像装置的整个视场角的区域或者是能够对整个拍摄对象进行成像的成像装置的视场角内的一部分区域。
如下文所述,在基于其中对检测区域进行了成像的拍摄图像(第一拍摄图像)检测到拍摄对象的情况下,根据本实施方案的控制装置使其对获取区域进行成像。也就是说,拍摄对象将被包含在其中对获取区域进行了成像的拍摄图像(第二拍摄图像)中。
例如,如上所述,根据本实施方案的控制装置控制成像装置中的成像,并使成像装置对检测区域进行成像或者对获取区域进行成像。
这里,如上所述,由于允许检测区域是能够对拍摄对象的至少一部分进行成像的视场角内的一部分区域,因此可以尝试减少指示其中对检测区域进行了成像的拍摄图像(第一拍摄图像)的图像数据的数据量。
此外,如上所述,由于获取区域是成像装置的整个视场角的区域或者是能够对整个拍摄对象进行成像的成像装置的视场角内的一部分区域,因此拍摄对象将被包含在其中对获取区域进行了成像的拍摄图像(第二拍摄图像)中。
因此,根据本实施方案的控制装置在减少数据量的同时能够获得包含拍摄对象的拍摄图像。
此外,在使用根据本实施方案的控制方法的情况下,通过在一个成像装置中进行成像来实现包含拍摄对象的拍摄图像的获取。因此,在使用根据本实施方案的控制方法的情况下,与通过在多个成像装置中进行成像来获得包含拍摄对象的拍摄图像的情况相比,可以使成像延迟更小。因此,在使用根据本实施方案的控制方法的情况下,与通过在多个成像装置中进行成像来获取包含拍摄对象的拍摄图像的情况相比,可以更可靠地获取具有更大移动速度的拍摄对象的图像。
关于这一点,与根据本实施方案的控制方法相关的处理不限于上述处理。
例如,根据本实施方案的控制装置可以控制由被控制的成像装置拍摄的拍摄图像的输出。
作为对根据本实施方案的控制装置中的拍摄图像的输出的控制,例如,引用了对将指示拍摄图像的图像数据传输至外部装置的控制和对将指示拍摄图像的图像数据记录在记录介质中的控制中的一者或两者。
在进行作为对拍摄图像的输出的控制的对上述传输的控制的情况下,例如,根据本实施方案的控制装置控制通信部(后述的)中的通信,或者控制与根据本实施方案的控制装置连接的外部通信装置,并使其将图像数据传输至外部装置。此外,在进行作为对拍摄图像的输出的控制的对上述记录的控制的情况下,例如,根据本实施方案的控制装置将包含记录指令的控制信号和图像数据发送至存储部(后述的)、与根据本实施方案的控制装置连接的外部记录介质和装配在外部装置中的记录介质中的一者或两者或多者。
例如,根据本实施方案的控制装置基于拍摄对象的检测结果来控制其中对获取区域进行了成像的图像(第二拍摄图像)的输出,拍摄对象的检测结果是基于其中对检测区域进行了成像的拍摄图像(第一拍摄图像)得到的。在已经检测到拍摄对象的情况下,根据本实施方案的控制装置控制其中对获取区域进行了成像的图像(第二拍摄图像)的输出。
此外,例如,根据本实施方案的控制装置可以基于拍摄对象的检测结果来控制其中对检测区域进行了成像的拍摄图像(第一拍摄图像)的输出,拍摄对象的检测结果是基于其中对检测区域进行了成像的拍摄图像 (第一拍摄图像)得到的。此外,例如,对其中对检测区域进行了成像的拍摄图像(第一拍摄图像)的输出的控制可以在基于根据本实施方案的控制装置的使用者的操作设定了预定操作模式(例如,在进行初始设定或进行评估等时设定的测试模式、评估模式等)的情况下进行。
[2]与根据本实施方案的控制方法相关的处理的一个示例
在下文中,将说明与根据本实施方案的控制方法相关的处理的一个示例,同时引用了根据本实施方案的检测区域和根据本实施方案的获取区域的设定示例。
例如,作为根据本实施方案的检测区域和根据本实施方案的获取区域的设定示例,引用了以下(A)至(D)所示的示例。关于这一点,根据本实施方案的检测区域和根据本实施方案的获取区域的设定示例不限于以下所示的示例。例如,在成像装置包括堆叠型区域ADC(模拟-数字转换器)的情况下,可以将能够在成像装置的视场角内设定的任意形状的区域 (例如,垂直方向上的长度比水平方向上的长度更长的区域)设定为检测区域。
(A)检测区域和获取区域的第一设定示例
图1是示出根据本实施方案的检测区域和根据本实施方案的获取区域的第一设定示例的说明图。图1示出了在成像装置的整个视场角区域中的检测区域和获取区域的一个示例。图1中的“ROI1”对应于检测区域的一个示例,而图1中的“ROI2”对应于获取区域的一个示例。
在下文中,成像装置的视场角的一部分区域表示为“ROI”(感兴趣区域:Region OfInterest)。此外,在下文中,检测区域可以表示为“检测区域ROI1”,获取区域可以表示为“获取区域ROI2”。关于这一点,如上所述,获取区域不限于成像装置的视场角的一部分区域,并且可以是成像装置的整个视场角的区域。
根据本实施方案的控制装置使成像装置对检测区域ROI1进行成像,并且基于其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)检测拍摄对象。
在基于其中对检测区域ROI1进行了成像的一帧中的拍摄图像未检测到拍摄对象的情况下,根据本实施方案的控制装置使其在下一帧中对检测区域ROI1进行成像。
这里,如上所述,可以允许检测区域ROI1是能够对拍摄对象的至少一部分进行成像的视场角内的一部分区域。因此,例如,与对获取区域进行成像的情况相比,根据本实施方案的控制装置增加了帧速率,并且随后,使其对检测区域ROI1进行成像。
此外,在基于其中对检测区域ROI1进行了成像的一帧中的拍摄图像检测到拍摄对象的情况下,根据本实施方案的控制装置使其在下一帧中对获取区域ROI2进行成像。在如图1所示的第一示例中,根据本实施方案的控制装置使其在与预先设定的成像延迟时间对应的设定的预定时刻对获取区域进行成像。
例如,在检测区域和获取区域的第一设定示例中,如上所述来控制成像装置中的成像。
这里,在基于其中对检测区域ROI1进行了成像的拍摄图像检测到拍摄对象的情况下,对获取区域ROI2进行成像。也就是说,对获取区域 ROI2的成像通过将基于其中对检测区域ROI1进行了成像的拍摄图像检测到拍摄对象作为触发来自动进行。
另外,如上所述,由于允许检测区域ROI1是能够对拍摄对象的至少一部分进行成像的视场角内的一部分区域,因此尝试减少指示其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的图像数据的数据量。
此外,如上所述,由于获取区域ROI2是成像装置的整个视场角的区域或者是能够对整个拍摄对象进行成像的成像装置的视场角内的一部分区域,因此拍摄对象将被包含在其中对获取区域ROI2进行了成像的拍摄图像(第二拍摄图像)中。
因此,在检测区域和获取区域的第一设定示例中,通过对检测区域 ROI1进行成像或对获取区域ROI2进行成像,根据本实施方案的控制装置能够在减少数据量的同时,获得包含拍摄对象的拍摄图像。
图2是用于说明与根据本实施方案的控制方法相关的处理的一个示例的说明图,并示出了在检测区域和获取区域的第一设定示例中的处理流程的一个示例。图2中的A表示由成像装置拍摄的帧编号的一个示例,并且在图2中,示出了第一帧(图2中所示的“帧1”)至第五帧(图2中所示的“帧5”)。图2中的B表示每帧中成像装置中的整个视场角的区域与能够成为拍摄对象的物体O之间的关系的一个示例。图2中的C表示每帧中其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的一个示例。此外,图2中的D表示其中对获取区域ROI2进行了成像的拍摄图像(第二拍摄图像)的示例。
图2示出了在物体O以固定的速度沿着穿过成像装置的视场角的内部的路径移动的情况下,与根据本实施方案的控制方法相关的处理流程的一个示例。
首先,根据本实施方案的控制装置使成像装置针对每帧对检测区域 ROI1进行成像,并基于其中对检测区域ROI1进行了成像的拍摄图像进行拍摄对象的检测处理。
此时,在第一帧(图2所示的“帧1”)和第二帧(图2所示的“帧2”)中,如图2中的B所示,物体O不存在于成像装置的视场角内。此时,如图 2中的C所示,由于物体O不包含在其中对检测区域ROI1进行了成像的拍摄图像中,所以通过后述的拍摄对象的检测处理,根据本实施方案的控制装置未判定已经从拍摄图像中检测到拍摄对象。
例如,在未判定已经从其中对检测区域ROI1进行了成像的拍摄图像中检测到拍摄对象的情况下,根据本实施方案的控制装置不会使其输出指示其中对检测区域ROI1进行了成像的拍摄图像的图像数据。关于这一点,如上所述,在未判定已经从其中对检测区域ROI1进行了成像的拍摄图像中检测到拍摄对象的情况下,根据本实施方案的控制装置可以使其输出指示其中对检测区域ROI1进行了成像的拍摄图像的图像数据。
此外,在第三帧(图2所示的“帧3”)中,如图2中的B所示,物体O 存在于成像装置的视场角内的检测区域ROI1中。这里,如上所述,由于根据本实施方案的控制装置可以增大检测区域ROI1的成像的帧速率,因此可以实现如图2中第三帧所示的物体O存在于检测区域ROI1中的情况。
此时,如图2中的C所示,由于物体O被包含在其中对检测区域 ROI1进行了成像的拍摄图像中,所以通过进行后述的对拍摄对象的检测处理,根据本实施方案的控制装置判定已经从拍摄图像中检测到了拍摄对象。
例如,在判定已经从其中已经对检测区域ROI1进行了成像的拍摄图像中检测到拍摄对象的情况下,根据本实施方案的控制装置不会使其输出指示其中已经对检测区域ROI1进行了成像的拍摄图像的图像数据。关于这一点,如上所述,在判定已经从其中已经对检测区域ROI1进行了成像的拍摄图像中检测到拍摄对象的情况下,根据本实施方案的控制装置可以使其输出指示其中已经对检测区域ROI1进行了成像的拍摄图像的图像数据。
在判定已经在第三帧(图2中所示的“帧3”)中检测到拍摄对象时,在作为下一帧的第四帧(图2中所示的“帧4”)中,根据本实施方案的控制装置使成像装置对获取区域ROI2进行成像。根据本实施方案的控制装置使其在与预先设定的成像延迟时间对应的设定的的预定时刻对获取区域 ROI2进行成像。
此时,如图2中的D所示,物体O将被包含在其中对获取区域ROI2 进行了成像的拍摄图像中。例如,根据本实施方案的控制装置使其输出指示其中对获取区域ROI2进行了成像的拍摄图像(第二拍摄图像)的图像数据。
在使成像装置在第四帧(图2中所示的“帧4”)中对获取区域ROI2进行成像时,在作为下一帧的第五帧(图2中所示的“帧5”)中,根据本实施方案的控制装置使成像装置与第一帧类似地针对每帧对检测区域ROI1 进行成像。然后,根据本实施方案的控制装置基于其中对检测区域ROI1 进行了成像的拍摄图像对拍摄对象进行检测处理。
在第六帧及之后的帧中,进行与图2所示的第一帧及之后的帧中的处理类似的处理。
图3是用于说明与根据本实施方案的控制方法相关的处理的一个示例的说明图,并从另一视角示出了图2中所示的与根据本实施方案的控制方法相关的处理流程。图2示出了通过由根据本实施方案的控制装置对成像装置进行控制所实现的在检测区域ROI1中的成像装置的操作和在获取区域ROI2中的成像装置的操作的一个示例。
图3中所示的“VXS”表示成像装置中的垂直同步信号。在图3所示的示例中,通过垂直同步信号VMAX2进行检测区域ROI1的成像。此外,在图3所示的示例中,通过垂直同步信号VMAX进行获取区域ROI2的成像。
图3中所示的“读出”表示读出时间段,在该时间段内读出与检测区域ROI1或获取区域ROI2对应的与成像装置的各个像素的光电转换相对应的信号。此外,图3中所示的“SHS”表示对检测区域ROI1中的成像装置的快门进行设定的时间段,而图3中所示的“SHS2”表示对获取区域 ROI2中的成像装置的快门进行设定的时间段。
图3中所示的“曝光”表示成像装置中的曝光时间段。这里,图3示出了其中对检测区域ROI1进行成像的情况下的曝光时间段与对获取区域ROI2进行成像的情况下的曝光时间段相同的示例。在图3中,对检测区域ROI1进行成像的情况下的曝光时间段与对获取区域ROI2进行成像的情况下的曝光时间段相同的原因是,在使用一个成像装置对检测区域ROI1和获取区域ROI2进行成像的情况下,认为与成像相关的光照条件是一样的。
关于这一点,例如,根据本实施方案的控制装置可以基于对基于其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的拍摄对象的检测结果和对成像装置的附近的环境的检测结果等改变对检测区域 ROI1进行成像的情况下的曝光时间段和对获取区域ROI2进行成像的情况下的曝光时间段。
例如,在基于其中对检测区域ROI1进行了成像的拍摄图像已经检测到拍摄对象的情况下,根据本实施方案的控制装置从对检测区域ROI1 进行成像的情况下的曝光时间段改变到对获取区域ROI2进行成像的情况下的曝光时间段。此外,例如,在对成像装置附近的亮度或照度的检测结果(对成像装置附近的环境的检测结果的示例)的基础上,根据本实施方案的控制装置使其设定与检测结果相对应的曝光时间段。通过能够感测环境的传感器(如亮度传感器、照度传感器等)获取上述的成像装置附近的亮度或照度。
例如,如图3所示,在基于其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的对拍摄对象的检测结果的基础上,根据本实施方案的控制装置使其在检测区域ROI1的成像和获取区域ROI2的成像之间切换,并执行成像。
关于这一点,虽然图3示出了根据本实施方案的控制装置使其输出其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的示例,但是如上所述,根据本实施方案的控制装置可以不使其输出其中对检测区域ROI1进行了成像的拍摄图像。
在检测区域和获取区域的第一设定示例中,例如,根据本实施方案的控制装置进行参照图2所示的处理。此外,在检测区域和获取区域的第一设定示例中,例如,通过由根据本实施方案的控制装置的进行的处理来实现参照图3所示的成像装置的操作。
(B)检测区域和获取区域的第二设定示例
在检测区域和获取区域的第一设定示例中,示出了设定一个检测区域和一个获取区域的示例。然而,根据本实施方案的检测区域和获取区域的设定示例不限于上述的第一设定示例。
例如,在根据本实施方案的检测区域ROI1中,可以独立地设定多个检测区域。在独立地设定多个检测区域的情况下,根据本实施方案的控制装置基于其中对与多个检测区域中的每一个相对应的检测区域进行了成像的拍摄图像(第一拍摄图像),针对多个检测区域中的每一个检测拍摄对象。在多个检测区域中的每一个中的拍摄对象的检测处理与上述的检测区域和获取区域的第一设定示例中的处理相似。
此外,在独立地设定多个检测区域的情况下,针对多个检测区域中的每一个设定根据本实施方案的获取区域ROI2。在针对多个检测区域中的每一个设定获取区域的情况下,根据本实施方案的控制装置使成像装置对与其中检测到拍摄对象的检测区域相对应的获取区域进行成像。与对应于其中检测到拍摄对象的检测区域的获取区域的成像的控制相关的处理与上述的检测区域和获取区域的第一设定示例中的处理相似。
图4是示出根据本实施方案的检测区域和根据本实施方案的获取区域的第二设定示例的说明图。图4示出了“在成像装置的整个视场角的区域内独立地设定多个检测区域并针对多个检测区域中的每一个设定获取区域的示例”。图4中所示的“ROI1-1”、“ROI1-2”和“ROI1-3”对应于独立地设定的多个检测区域的一个示例。此外,图4中所示的“ROI2-1”表示对应于检测区域ROI1-1的获取区域。此外,图4中所示的“ROI2-2”表示对应于检测区域ROI1-2的获取区域,图4中所示的“ROI2-3”表示对应于检测区域ROI1-3的获取区域。
在如图4所示设定检测区域和获取区域的情况下,根据本实施方案的控制装置基于其中对与多个检测区域ROI1-1、ROI1-2和ROI1-3中的每一个相对应的检测区域进行了成像的拍摄图像(第一拍摄图像),检测多个检测区域ROI1-1、ROI1-2和ROI1-3中的每一个的拍摄对象。然后,根据本实施方案的控制装置使成像装置对多个获取区域ROI2-1、ROI2-2和ROI2-3中的与其中检测到拍摄对象的检测区域相对应的获取区域进行成像。
在检测区域和获取区域的第二设定示例中,根据本实施方案的控制装置针对检测区域和获取区域的每个组合进行与上述的检测区域和获取区域的第一设定示例中的处理类似的处理。
因此,在检测区域和获取区域的第二设定示例中,通过对检测区域进行成像或者对获取区域进行成像,根据本实施方案的控制装置能够在减少数据量的同时获得包含拍摄对象的拍摄图像。
此外,在检测区域和获取区域的第二设定示例中,例如如图4所示,检测区域的尺寸和获取区域的尺寸相比于在上述的检测区域和获取区域的第一设定示例中变得更小。因此,在检测区域和获取区域的第二设定示例中,与在上述的检测区域和获取区域的第一设定示例中相比,可以减少数据量。
(C)检测区域和获取区域的第三设定示例
在检测区域和获取区域的第二设定示例中,示出了独立地设定多个检测区域的示例。然而,多个检测区域的设定示例不限于上述的第二设定示例。
例如,在成像装置的视场角内,可以设定第一检测区域和与第一检测区域相对应的第二检测区域作为检测区域ROI1。这里,例如,如后文所述,根据本实施方案的第二检测区域是为了获得拍摄对象的移动速度而设定的检测区域。
如上所述,在设定称为第一检测区域和第二检测区域的一组检测区域的情况下,根据本实施方案的控制装置基于与第一检测区域相对应的拍摄图像(第一拍摄图像)和与第二检测区域相对应的拍摄图像(第一拍摄图像)中的各者检测拍摄对象。在第一检测区域和第二检测区域中的各者中的拍摄对象的检测处理与在上述的检测区域和获取区域的第一设定示例中的处理类似。
此外,根据本实施方案的控制装置基于在第一检测区域和第二检测区域中的各者中的拍摄对象的检测结果检测拍摄对象的移动速度。例如,拍摄对象的移动速度是从“基于成像装置的视场角内的第一检测区域和第二检测区域的位置的第一检测区域和第二检测区域之间的距离”以及“在第一检测区域中检测到拍摄对象之后直到在第二检测区域中检测到拍摄对象时的时间”得到的。
然后,根据本实施方案的控制装置使其在基于检测到的移动速度的时刻对获取区域ROI2进行成像。与对应于其中检测到拍摄对象的第一检测区域的获取区域的成像的控制相关的处理基本上与在上述的检测区域和获取区域的第一设定示例中的处理类似。更具体地说,在检测区域和获取区域的第三设定示例中的获取区域的成像与在检测区域和获取区域的第一设定示例中的获取区域的成像彼此类似,不同之处在于它们进行获取区域ROI2的成像的时刻是不同的。
图5是示出根据本实施方案的检测区域和根据本实施方案的获取区域的第三设定示例的说明图。图5示出了“在成像装置的整个视场角的区域中设定包括两个检测区域的一组检测区域并且针对这组检测区域设定获取区域的示例”。图5中所示的“ROI1-1”和“ROI1-2”对应于上述的一组检测区域的示例。此外,图5中所示的“ROI2”表示与包括检测区域ROI1-1 和检测区域ROI1-2的一组检测区域相对应的获取区域。
在如图5所示设定检测区域和获取区域的情况下,根据本实施方案的控制装置基于其中对检测区域ROI1-1进行了成像的拍摄图像(第一拍摄图像)检测拍摄对象。此外,根据本实施方案的控制装置基于其中对检测区域ROI1-1进行了成像的拍摄图像(第一拍摄图像)和其中对检测区域 ROI1-2进行了成像的拍摄图像(第一拍摄图像)检测拍摄对象的移动速度。
然后,在基于其中对检测区域ROI1-1进行了成像的拍摄图像(第一拍摄图像)检测拍摄对象的情况下,根据本实施方案的控制装置使成像装置在与基于上述检测到的拍摄对象的移动速度的成像延迟时间相对应的时刻对获取区域ROI2进行成像。例如,根据本实施方案的控制装置通过利用其中移动速度与成像延迟时间彼此相关联的表格(或数据库),基于拍摄对象的移动速度来指定成像延迟时间。
在检测区域和获取区域的第三设定示例中,针对一组检测区域和获取区域,根据本实施方案的控制装置进行与上述的检测区域和获取区域的第一设定示例中的处理基本上类似的处理。
因此,在检测区域和获取区域的第三设定示例中,通过对检测区域 ROI1(第一检测区域和第二检测区域)进行成像或对获取区域ROI2进行成像,根据本实施方案的控制装置能够在减少数据量的同时获得包含拍摄对象的拍摄图像。
此外,在检测区域和获取区域的第三设定示例中,在基于检测到的拍摄对象的移动速度的时刻对获取区域ROI2进行成像。因此,在检测区域和获取区域的第三设定示例中,即使在要成为检测目标的拍摄对象的移动速度对于每个拍摄对象是不同的情况下,也能够更可靠地获得包含拍摄对象的拍摄图像。
(D)检测区域和获取区域的第四设定示例
检测区域和获取区域的设定示例可以是上述的检测区域和获取区域的第二设定示例与上述的检测区域和获取区域的第三设定示例的组合。例如,作为检测区域和获取区域的第四设定示例,引用了针对图4中所示的检测区域ROI1-1至检测区域ROI1-3中的每个进一步设定第二检测区域的示例。
<根据本实施方案的控制装置>
接下来,在对根据本实施方案的控制装置的构成例进行说明的同时,更具体地说明与根据本实施方案的控制方法相关的处理,其中所述控制装置能够进行与根据上述本实施方案的控制方法相关的处理。
图6是示出根据本实施方案的控制装置100的构成的一个示例的框图。例如,控制装置100包括成像部102、成像控制部104、检测部106 和输出控制部108。
此外,例如,控制装置100包括控制部(未示出)、ROM(只读存储器,未示出)、RAM(随机存取存储器,未示出)、存储部(未示出)、通信部(未示出)、允许使用者操作的操作部(未示出)和在显示屏上显示各种屏幕的显示部(未示出)等。例如,控制装置100通过作为数据传输路径的总线连接在上述构成部件之间。
控制部(未示出)具有包括如MPU(微处理单元)等运算电路的一个或两个或多个处理器以及各种处理电路等,并控制整个控制装置100。此外,例如,在控制装置100中,控制部(未示出)可以起到成像控制部104、检测部106和输出控制部108中的一个或两个或多个的作用。
关于这一点,成像控制部104、检测部106和输出控制部108中的一个或两个或多个可以由能够实现成像控制部104、检测部106和输出控制部108中的每个的处理的专用(或通用)电路(例如,与控制部(未示出) 分开的处理器等)构成。
ROM(未示出)存储由控制部(未示出)使用的程序和如运算参数等用于控制的数据。RAM(未示出)临时存储由控制部(未示出)执行的程序等。
存储部(未示出)是装配在控制装置100中的存储装置,并且例如,存储各种数据(例如,诸如其中移动速度与成像延迟时间彼此相关联的表格(或数据库)等与根据本实施方案的控制方法相关的数据以及各种应用)。
这里,作为存储部(未示出),例如,引用了如硬盘(Hard Disk)等磁记录介质和如闪存(flash memory)等非易失性存储器(nonvolatile memory) 等。此外,存储部(未示出)是可以从控制装置100中拆卸下来的。
作为通信部(未示出),例如,引用了后述的通信接口。此外,作为操作部(未示出),例如,引用了后述的操作输入装置。此外,作为显示部 (未示出),引用了后述的显示装置。
[控制装置100的硬件构成例]
图7是示出根据本实施方案的控制装置100的硬件构成的一个示例的说明图。
例如,控制装置100包括成像装置150、同步信号生成电路152、触发调节电路154、检测电路156和输出控制电路158。此外,例如,由从装配在控制装置100中的诸如电池等内部电源供给的电力或者从连接的外部电源供给的电力来驱动控制装置100。
成像装置150用作成像部102。例如,成像装置150包括光学系统的透镜(未示出)、诸如CMOS等图像传感器(未示出)、与图像传感器(未示出)相对应的像素电路160、驱动器162以及模拟/数字转换电路164A 和164B。
例如,像素电路160包括(如光电二极管等)光接收元件、晶体管、电容元件等,其中,根据从驱动器162传输的信号来进行与每个像素中的光电转换相对应的信号电荷的积累以及每个像素的初始化等。作为上述的晶体管,例如,引用了双极晶体管以及如TFT(薄膜晶体管)和 MOSFET(金属氧化物半导体场效应晶体管)等FET(场效应晶体管)等。此外,作为电容元件,引用了电容器等。
驱动器162通过将信号传输至像素电路160来驱动像素电路。
模拟/数字转换电路164A和164B中的每个将与来自每个像素的光电转换相对应的模拟信号转换为数字信号(图像数据)。
例如,成像装置150包括上述构成。关于这一点,成像装置150的构成不限于上述示例,并且成像装置150可以装配有AGC(自动增益控制)电路等。
同步信号生成电路152和触发调节电路154充当成像控制部104。在控制装置100中,例如,构成控制部(未示出)的处理器可以充当同步信号生成电路152和触发调节电路154中的每个,或者同步信号生成电路 152和触发调节电路154可以设置为与构成控制部(未示出)的处理器分开的电路。
同步信号生成电路152起到控制成像开始时刻的作用,并向触发调节电路154传输用于控制成像开始时刻的信号。在引用一个示例的情况下,例如,作为由同步信号生成电路152控制的获取区域ROI2的成像开始时刻,引用了与预先设定的成像延迟时间相对应的预定时刻或者基于拍摄对象的移动速度的时刻(该拍摄对象的移动速度是基于检测电路156的检测结果得到的)。
触发调节电路154起到控制在检测区域ROI1和获取区域ROI2中的每个中的成像的作用。触发调节电路154通过向驱动器162传输控制信号来控制在检测区域ROI1和获取区域ROI2中的每个中的成像。
检测电路156充当检测部106。检测电路156基于其中对检测区域 ROI1进行了成像的拍摄图像(第一拍摄图像)检测拍摄对象。例如,检测电路156通过从触发调节电路154传输的信号识别出已经对检测区域 ROI1进行了成像。例如,在控制装置100中,构成控制部(未示出)的处理器可以充当检测电路156,或者检测电路156可以设置为与构成控制部 (未示出)的处理器分开的电路。
具体而言,例如,检测电路156通过执行与下文(a)中所述的第一示例相关的检测处理,或者与下文(b)中所述的第二示例相关的检测处理来检测拍摄对象。
(a)检测处理的第一示例
检测电路156基于其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)和设定的阈值之间的比较结果检测拍摄对象。作为设定的阈值,例如,引用了阈值TH1(第一阈值)和比阈值TH1小的阈值TH2(第二阈值)中的一者或两者。
阈值TH1和阈值TH2可以是预先设定的固定阈值,或者可以是能够基于控制装置100的使用者的操作等而改变的可变阈值。此外,例如,根据本实施方案的阈值TH(如阈值TH1、阈值TH2以及后述的阈值TH3 至TH5)被存储在如寄存器等记录介质中。
(a-1)使用阈值TH1的拍摄对象的检测处理
检测电路156对其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)中的像素值大于阈值TH1(第一阈值)的像素数或者拍摄图像的像素值等于或大于阈值TH1的像素数进行计数。
这里,在成像装置150的每个像素包括与R(红)、G(绿)和B(蓝) 相对应的子像素的情况下,检测电路156基于G像素的像素值(例如, Gr和Gb的总值)对像素数进行计数。检测电路156使用G像素的像素值的原因如下。关于这一点,不言而喻地是,除了针对不同颜色进行的计数之外,还可以使检测电路156进行与拍摄对象的检测相关的判定。
·在对不同颜色进行计数的情况下,与后述判定相关的处理变得复杂,并且产生错误判定的可能性增加。
·与其他光相比,G光中的波长是宽波段,并且其灵敏度也很高。因此,在使用G像素的像素值的情况下,在与后述判定相关的处理中,可以作出具有足够精度的判定。
然后,检测电路156基于计数的像素数和设定的阈值TH3(第三阈值) 之间的比较结果,通过判定是否已经检测到拍摄对象来检测拍摄对象。阈值TH3可以是预先设定的固定阈值,或者是能够基于控制装置100的使用者的操作等改变的可变阈值。
更具体地说,在计数的像素数大于阈值TH3(第三阈值)的情况下,或者在像素数等于或大于阈值TH3的情况下,检测电路156判定已经检测到拍摄对象。此外,在计数的像素数等于或小于阈值TH3的情况下,或者在像素数小于阈值TH3的情况下,检测电路156未判定已经检测到拍摄对象。
(a-2)使用阈值TH2的拍摄对象的检测处理
检测电路156对其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)中的像素值小于阈值TH2(第二阈值)的像素数,或者拍摄图像的像素值等于或大于阈值TH2像素数进行计数。
这里,在成像装置150的每个像素包括与R(红)、G(绿)和B(蓝) 相对应的子像素的情况下,检测电路156基于G像素的像素值(例如, Gr和Gb的总值)对像素数进行计数。关于这一点,不言而喻地是,除了针对不同颜色进行的计数外,还可以使检测电路156进行与拍摄对象的检测相关的判定。
然后,检测电路156基于计数的像素数和设定的阈值TH4(第四阈值) 之间的比较结果,通过判定是否已经检测到拍摄对象来检测拍摄对象。阈值TH4可以是预先设定的固定阈值,或者是能够基于控制装置100的使用者的操作等而改变的可变阈值。此外,阈值TH4和阈值TH3可以是相同的值,或者是不同的值。
更具体地说,在计数的像素数大于阈值TH4(第四阈值)的情况下,或者在像素数等于或大于阈值TH4的情况下,检测电路156判定已经检测到拍摄对象。此外,在计数的像素数等于或小于阈值TH4的情况下,或者在像素数小于阈值TH4的情况下,检测电路156未判定已经检测到拍摄对象。
(a-3)使用阈值TH1和阈值TH2的拍摄对象的检测处理
检测电路156进行如上所述的(a-1)的处理和如上所述的(a-2)的处理中的各者。然后,在如上所述的(a-1)的处理和如上所述的(a-2)的处理中的至少一个中,已经判定了检测到拍摄对象的情况下,检测电路156判定已经检测到拍摄对象。
(b)检测处理的第二示例
检测电路156在“基于当前帧中的其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的像素值和前一帧中的其中对检测区域ROI1 进行了成像的拍摄图像(第一拍摄图像)的像素值的判定值”与设定的阈值 TH5(第五阈值)之间的比较结果的基础上检测拍摄对象。
作为上述的判定值,例如,引用了当前帧中的其中对检测区域ROI1 进行了成像的拍摄图像(第一拍摄图像)的像素值和前一帧中的其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的像素值之间的差值的总值。此外,上述的判定值可以是上述差值的平均值。
此外,阈值TH5可以是预先设定的固定阈值,或者可以是能够基于控制装置100的使用者的操作等改变的可变阈值。
更具体地说,在上述判定值大于阈值TH5(第五阈值)的情况下,或者在上述判定值等于或大于阈值TH5的情况下,检测电路156判定已经检测到拍摄对象。此外,在上述判定值等于或小于阈值TH5的情况下,或者在上述判定值小于阈值TH5的情况下,检测电路156未判定已经检测到拍摄对象。
例如,检测电路156通过进行与上文中所述的(a)所示的第一示例相关的检测处理或者与上文中所述的(b)所示的第二示例相关的检测处理来检测拍摄对象。
输出控制电路158充当输出控制部108。输出控制电路158控制由成像装置150拍摄的拍摄图像的输出。例如,在控制装置100中,构成控制部(未示出)的处理器可以充当输出控制电路158,或者输出控制电路 158可以设置为与构成控制部(未示出)的处理器分开的电路。
例如,输出控制电路158基于在检测电路156中的拍摄对象的检测结果,控制其中对获取区域ROI2进行了成像的拍摄图像(第二拍摄图像) 的输出。例如,当已经从检测电路156传输表示已经检测到拍摄对象的信号时,输出控制电路158使其输出其中对获取区域ROI2进行了成像的拍摄图像。
另外,输出控制电路158可以基于在检测电路156中的拍摄对象的检测结果,控制其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的输出。例如,当从检测电路156传输表示未检测到拍摄对象的信号时,输出控制电路158使其输出其中对检测区域ROI1进行了成像的拍摄图像。
例如,控制装置100通过图7中所示的构成进行与根据本实施方案的控制方法相关的处理。
关于这一点,根据本实施方案的控制装置100的硬件构成不限于图 7中所示的构成。
图8是示出根据本实施方案的控制装置100的硬件构成的另一示例的说明图。
例如,控制装置100包括MPU 170、ROM 172、RAM 174、记录介质176、输入/输出接口178、操作输入装置180、显示装置182、通信接口184和成像装置186。此外,例如,控制装置100通过作为数据传输路径的总线188在各个构成部件之间进行连接。此外,例如,控制装置100 由从装配在控制装置100中的诸如电池等内部电源供给的电力或者从连接的外部电源供给的电力来驱动。
例如,MPU 170具有包括如MPU等运算电路的一个或两个或多个处理器以及各种处理电路等,并充当控制整个控制装置100的控制部(未示出)。此外,在控制装置100中,例如,MPU 170可以起到成像控制部 104、检测部106和输出控制部108的作用。
关于这一点,成像控制部104、检测部106和输出控制部108中的一个或两个或多个可以由能够实现成像控制部104、检测部106和输出控制部108中的各者的处理的专用(或通用)电路(例如,与MPU 170分开的处理器等)构成。
ROM 172存储由MPU 170使用的程序和如运算参数用于控制的数据。例如,RAM 174临时存储由MPU 170执行的程序等。
记录介质176充当存储部(未示出),并且例如,存储各种数据(例如,诸如其中移动速度与成像延迟时间彼此相关联的表格(或数据库)等与根据本实施方案的控制方法相关的数据以及各种应用)。这里,作为记录介质176,例如,引用了如硬盘等磁记录介质和如闪存等非易失性存储器等。此外,记录介质176是可以从控制装置100中可拆卸的。
例如,输入/输出接口178连接操作输入装置180和显示装置182。操作输入装置180充当操作部(未示出),显示装置182充当显示部(未示出)。这里,作为输入/输出接口178,例如,引用了USB(通用串行总线) 终端、DVI(数字视频接口)终端、HDMI(高清晰度多媒体接口)(注册商标) 终端和各种处理电路等。
例如,操作输入装置180设置在控制装置100上,并与控制装置100 内部的输入/输出接口178连接。作为操作输入装置180,例如,引用了按钮、如方向键和轻推转盘(jogdial)等旋转型选择器以及它们的组合。
例如,显示装置182设置在控制装置100上,并与控制装置100内部的输入/输出接口178连接。作为显示装置182,例如,引用了液晶显示器、有机EL显示器(有机电致发光显示器,或者也被称为OLED显示器(有机发光二极管显示器))等。
关于这一点,毋庸置疑地是,输入/输出接口178能够与控制装置100 的如外部操作输入装置(例如,键盘、鼠标等)和外部显示装置等外部装置连接。此外,例如,显示装置182可以是能够进行显示并允许使用者操作的装置,如触摸面板。
通信接口184是装配在控制装置100中的通信装置,并充当通信部 (未示出),该通信部(未示出)通过网络(或直接地)与如外部成像装置、外部记录介质等外部装置以及如服务器等外部设备无线或有线地进行通信。这里,作为通信接口184,例如,引用了通信天线和RF(射频)电路(无线通信)、IEEE802.15.1端口和收发器电路(无线通信)、IEEE802.11端口和收发器电路(无线通信)、LAN(局域网)终端和收发器电路(有线通信) 等。
成像装置186充当通过成像生成拍摄图像(运动图像或静止图像)的成像部(未示出)。
作为成像装置186,例如,引用了参照图7中所述的成像装置150(包括根据变形例的构成)。
例如,控制装置100通过图8中所示的构成进行与根据本实施方案的控制方法相关的处理。
关于这一点,根据本实施方案的控制装置100的硬件构成不限于图 7和图8所示的构成。
例如,在控制装置100控制外部成像装置并基于由外部成像装置拍摄的拍摄图像来进行处理的情况下,控制装置100能够采用不具备图8 中所示的成像装置186的构成。
此外,例如,控制装置100能够采用不具备如图8中所示的记录介质176、操作输入装置180、显示装置182和通信接口184中的一个或两个或多个的构成。
此外,例如,可以通过一个或两个或多个IC(集成电路)来实现图8 中所示的构成(或根据变形例的构成)。
再次参照图6,说明控制装置100的构成的一个示例。
[1]成像部102
成像部102包括成像装置,并通过成像生成拍摄图像。作为包含在成像部102中的成像装置,例如,引用了参照图7所述的成像装置150(也包括根据变形例的构成)。
[2]成像控制部104
成像控制部104控制在成像装置中的成像。图6示出了由成像控制部104控制的目标成像装置是包含在成像部102中的成像装置的示例。关于这一点,由成像控制部104控制的目标成像装置可以是控制装置100 的外部成像装置。
成像控制部104使成像装置对检测区域ROI1进行成像或者对获取区域ROI2进行成像。在检测部106中在基于其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)检测到拍摄对象的情况下,成像控制部 104使其对获取区域ROI2进行成像。
更具体地来说,例如,成像控制部104使其针对每一帧对检测区域 ROI1进行成像。然后,在其中对检测区域ROI1进行了成像的一帧中检测到拍摄对象的情况下,成像控制部104使其在下一帧中对获取区域 ROI2进行成像。
例如,在引用具体示例的情况下,如参照上述(A)中所示的检测区域和获取区域的第一设定示例至上述(D)中所示的检测区域和获取区域的第四设定示例所示,成像控制部104使其对检测区域ROI1进行成像和对获取区域ROI2进行成像。
[3]检测部106
检测部106基于其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)检测拍摄对象。例如,检测部106通过执行与上述(a)中所示的第一示例相关的检测处理或者与上述(b)中所示的第二示例相关的检测处理来检测拍摄对象。
[4]输出控制部108
输出控制部108控制由如构成成像部102的成像装置等被控制的目标成像装置拍摄的拍摄图像的输出。
例如,作为输出控制部108中对拍摄图像的输出的控制,引用了对将指示拍摄图像的图像数据传输至外部装置的控制和对将指示拍摄图像的图像数据记录在如存储部(未示出)等记录介质中的控制中的一者或两者。
在使其将指示拍摄图像的图像数据传输至外部装置的情况下,例如,输出控制部108将包含图像数据和传输指令的信号(图6中所示的输出信号)发送至通信部(后述的)或与控制装置100连接的外部通信装置。
此外,在使其将指示拍摄图像的图像数据记录在记录介质中的情况下,例如,输出控制部108将包含图像数据和记录指令的信号(图6中所示的输出信号)发送至存储部(后述的)和与控制装置100连接的外部记录装置中的一者或两者中。
此外,在使其将指示拍摄图像的图像数据记录在记录介质中的情况下,例如,输出控制部108将包含图像数据、传输指令和记录指令的信号(图6中所示的输出信号)发送至通信部(后述的),并使其将包含图像数据和记录指令的信号传输至外部装置中。通过将包含指示拍摄图像的图像数据、传输指令和记录指令的信号传输至通信部(后述的)等,使得包含图像数据和记录指令的信号被传输至外部装置,从而能够实现将图像数据记录在装配在外部装置中的记录介质内。
例如,输出控制部108基于检测部106中的拍摄对象的检测结果控制其中对获取区域ROI2进行了成像的拍摄图像(第二拍摄图像)的输出。例如,当从检测部106传输的信号显示已经检测到拍摄对象时,输出控制部108使其输出其中对获取区域ROI2进行了成像的拍摄图像。
另外,输出控制部108可以基于检测部106中的拍摄对象的检测结果控制其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)的输出。例如,当从检测部106传输的信号显示未检测到拍摄对象时,输出控制部108使其输出其中对检测区域ROI1进行了成像的拍摄图像。
例如,控制装置100通过如图6所示的构成进行与根据本实施方案的控制方法相关的处理。
关于这一点,根据本实施方案的控制装置的构成不限于图6中所示的构成。
例如,在根据本实施方案的控制装置控制外部成像装置中的成像并基于由外部成像装置拍摄的拍摄图像获取包含拍摄对象的拍摄图像的情况下,根据本实施方案的控制装置可以不装配图6所示的成像部102。
此外,例如,根据本实施方案的控制装置也可以采用不装配图6中所示的输出控制部108的构成。即使采用不装配图6中所示的输出控制部108的构成,在基于其中对检测区域ROI1进行了成像的拍摄图像(第一拍摄图像)检测到拍摄对象的情况下,根据本实施方案的控制装置仍然能够使成像装置对获取区域ROI2进行成像。因此,即使采用未装配图6 中所示的输出控制部108的构成,根据本实施方案的控制装置仍然能够在减少数据量的同时获得包含拍摄对象的拍摄图像。
[5]根据本实施方案的控制装置的应用例
虽然,作为本实施方案,通过引用控制装置进行了说明,但是本实施方案不限于这一种模式。例如,本实施方案能够应用到装配有通过安装在固定点使用的成像装置的成像设备,如在工厂、物流系统等中使用的工业相机、在ITS(智能交通系统)中使用的相机和安保相机。此外,本实施方案可以应用于能够进行与根据本实施方案的控制方法相关的处理的各种装置,如PC(个人计算机)和服务器等计算机。此外,例如,本实施方案也可以应用于能够结合在上述成像装置和设备中的处理芯片。
此外,例如,根据本实施方案的控制装置可以应用于如云计算等包括多个装置的系统,假设该系统与网络连接(或者各个装置之间的通信)。也就是说,例如,根据上述本实施例的控制装置也能够实现为通过多个装置进行与根据本实施方案的控制方法相关的处理的控制系统。作为通过多个装置进行与根据本实施方案的控制方法相关的处理的控制系统的一个示例,例如,引用了其中构成控制系统的多个装置协作地进行“与成像装置中的成像的控制相关的处理”和“基于其中对检测区域ROI1进行了成像的拍摄图像的拍摄对象的检测处理”的系统。
另外,例如,根据本实施方案的控制装置可以应用于任意移动物体,如汽车、电动车辆、混合动力车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶和机器人等。
在下文中,将说明将根据本实施方案的技术应用于移动物体的情况下的一个示例。
图9是示出车辆控制系统的示意性配置示例的框图,该车辆控制系统是可以应用根据本公开的技术的移动物体控制系统的一个示例。
车辆控制系统12000包括通过通信网络12001连接的多个电子控制单元。在图9所示的示例中,车辆控制系统12000包括驱动系统控制单元12010、主体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。另外,作为综合控制单元12050 的功能构成,示出了微型计算机12051、声音和图像输出单元12052以及车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如,驱动系统控制单元12010充当用于下述装置的控制装置:产生车辆的驱动力的驱动力产生装置(如内燃机或驱动电机等)、将驱动力传递到车轮的驱动力传递机构、调节车辆的转向角的转向机构和产生车辆的制动力的制动装置等。
主体系统控制单元12020根据各种程序控制安装在车身上的各种装置的操作。例如,主体系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或如前灯、倒车灯、刹车灯、方向灯或雾灯等各种灯的控制装置。在这种情况下,主体系统控制单元12020能够接收从可以代替钥匙的便携式设备发送的无线电波或者各种开关的信号。主体系统控制单元12020接收这些无线电波或信号,并控制车辆门锁装置、电动车窗装置和灯等。
车外信息检测单元12030检测关于安装有车辆控制系统12000的车辆外部的信息。例如,成像单元12031连接至车外信息检测单元12030。车外信息检测单元12030使成像单元12031拍摄车辆外部的图像,并接收拍摄的图像。车外信息检测单元12030可以基于接收到的图像对人、车辆、障碍物、标志和路面上的字符等执行物体检测处理或距离检测处理。
成像单元12031是接收光并输出与接收的光量相对应的电信号的光学传感器。成像单元12031可以将电信号作为图像或距离测量信息输出。另外,由成像单元12031接收的光可以是可见光,或者可以是诸如红外线等不可见光。
车内信息检测单元12040检测关于车辆内部的信息。例如,车内信息检测单元12040连接至检测驾驶员状态的驾驶员状态检测单元12041。例如,驾驶员状态检测单元12041可以包括拍摄驾驶员的相机。基于从驾驶员状态检测单元12041输入的检测信息,车内信息检测单元12040 可以估算驾驶员的疲劳程度或驾驶员的集中程度,或者确定驾驶员是否在打瞌睡。
此外,微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部和内部的信息,控制驱动力产生装置、转向机构和制动装置,并且向驱动系统控制单元12010输出控制指令。例如,微型计算机12051可以进行用于实现先进驾驶员辅助系统(ADAS:advanced driver assistance system)的功能的协同控制,所述功能包括车辆的碰撞避免或撞击减轻、基于车间距离的跟踪行驶、恒定车速行驶、车辆碰撞警告、车道偏离警告等。
另外,微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆周围区域的信息控制驱动力产生装置、转向机构、制动装置等,从而执行用于实现自动驾驶等的协同控制,以使车辆自动行驶而不依赖驾驶员的操作。
此外,微型计算机12051可以基于通过车外信息检测单元12030获取的车辆外部的信息来向主体系统控制单元12020输出控制指令。例如,微型计算机12051可以根据由车外信息检测单元12030检测到的前方车辆或对向车辆的位置来控制前灯,并可以进行用于防止眩光的协同控制,如将远光灯切换至近光灯。
声音和图像输出单元12052将声音和图像中的至少一者的输出信号传输至输出装置,该输出装置能够视觉地或听觉地向车辆的乘客或车辆的外部通知信息。在图9的示例中,将音频扬声器12061、显示单元12062 和仪器面板12063示出为输出装置。例如,显示单元12062可以包括车载显示器或平视显示器中的至少一者。
图10是示出成像单元12031的安装位置的示例的图。
在图10中,车辆12100包括作为成像单元12031的成像单元12101、 12102、12103、12104、12105。
例如,成像单元12101、12102、12103、12104和12105位于车辆 12100的前鼻、后视镜、后保险杠、后门以及车厢内的挡风玻璃的上部。设置在前鼻处的成像单元12101和设置在车厢内的挡风玻璃的上部的成像单元12105主要获取车辆12100前方区域的图像。设置在后视镜上的成像单元12102和成像单元12103主要获取车辆12100两侧区域的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后方区域的图像。由成像单元12101和12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
另外,图10示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置在前鼻处的成像单元12101的成像范围。成像范围12112和12113分别表示设置在后视镜上的成像单元12102和12103 的成像范围。成像范围12114表示设置在后保险杠或后门上的成像单元 12104的成像范围。例如,将由成像单元12101到12104拍摄的图像数据叠加提供了车辆12100的如从上方观察的俯瞰图像。
成像单元12101至12104中的至少一者可以具有获取距离信息的功能。例如,成像单元12101至12104中的至少一者可以是包括多个图像传感器的立体相机,或者可以是包括用于相位差检测的像素的图像传感器。
例如,微型计算机12051通过基于从成像单元12101至12104获得的距离信息来获得距成像范围12111至12114内的每个三维物体的距离以及该距离的时间变化(相对于车辆12100的相对速度),可以特别地通过使用在车辆12100的行驶道路上最近的三维物体将在与车辆12100基本相同的方向上以预定速度(例如,等于或大于0千米/小时)行驶的三维物体提取为提取前方车辆。另外,微型计算机12051可以预先设定在前方车辆之前所确保的车间距离,并且执行自动制动控制(包括跟踪停止控制) 或自动加速控制(包括跟踪起动控制)等。以这种方式,可以执行用于自动驾驶等的协同控制,使得车辆自动行驶而不依赖于驾驶员的任意操作。
例如,微型计算机12051可以基于从成像单元12101至12104获得的距离信息将与三维物体有关的三维物体数据分类并提取为诸如摩托车、普通车辆、大型车辆、行人和电线杆等其他三维物体,并可以使用其他三维物体来自动避开障碍物。例如,微型计算机12051将车辆12100 周围的障碍物识别为可以被车辆12100的驾驶员在视觉上识别的障碍物和难以被车辆12100的驾驶员在视觉上识别的障碍物。然后,微型计算机12051可以确定指示与每个障碍物碰撞的风险的碰撞风险,并在碰撞风险等于或大于设定值并且因此存在碰撞可能性的情况下,通过音频扬声器12061或显示单元12062向驾驶员输出警告,或者可以通过由驱动系统控制单元12010执行强制减速或避让转向来执行用于避免碰撞的辅助驾驶。
成像单元12101到12104中的至少一者可以是用于检测红外线的红外相机。例如,微型计算机12051可以通过确定在成像单元12101到12104 的拍摄图像中是否存在行人来识别行人。例如,可以在如下程序中识别行人:在作为红外相机的成像单元12101至12104的拍摄图像中提取特征点的程序和使对表示物体轮廓的一系列特征点经受图案匹配处理以判定是否存在行人的程序。微型计算机12051确定在成像单元12101到 12104的成像图像中存在行人。在识别到行人时,声音和图像输出单元 12052控制显示单元12062,从而使得用于强调的矩形轮廓线叠加显示在被识别出的行人上。另外,声音和图像输出单元12052控制显示单元 12062,使得表示行人的图标等显示在期望的位置上。
在上文,已经说明了在将根据本实施方案的技术应用到移动物体的情况下的车辆控制系统的一个示例。例如,可以将根据本实施方案的技术应用到上述车辆控制系统中的微型计算机12051。关于这一点,在上述车辆控制系统中应用了根据本实施方案的技术的构成元件不限于微型计算机12051,并且可以应用至能够执行与根据本实施方案的控制方法相关的处理的任意构成元件。
<根据本实施方案的程序>
通过计算机中的处理器等执行用于使计算机充当根据本实施方案的控制装置的程序(例如,能够执行与根据本实施方案的控制方法相关的处理的程序,如“用于使计算机实现控制成像装置中的成像的功能和基于其中对检测区域ROI1进行了成像的拍摄图像检测拍摄对象的功能的程序”和“用于使计算机实现控制成像装置中的成像的功能、基于其中对检测区域ROI1进行了成像的拍摄图像检测拍摄对象的功能以及控制由成像装置拍摄的拍摄图像的输出的功能的程序”),从而可以在减少数据量的同时获得包含拍摄对象的拍摄图像。
此外,在通过计算机中的处理器等执行用于使计算机充当根据本实施方案的控制装置的程序的情况下,可以实现上述通过与根据本实施方案的控制方法相关的处理产生的效果。
需要指出的是,在本说明书和附图中,具有基本上相同功能和结构的结构元件有时在相同的附图标记后使用不同的字母来表示以彼此区分。然而,当不需要特别区分具有基本上相同功能和结构的结构元件时,仅使用相同的附图标记。
例如,在上述说明中,尽管示出了提供用于使计算机充当根据本实施方案的控制装置的程序(计算机程序),但是也可以在本实施方案中进一步提供存储上述程序的记录介质。
上述构成示出了本实施方案的一个示例,并且自然属于本公开的技术范围。
此外,本说明书中所述的效果仅仅是说明性的或示例性的效果,而不是限制性的。也就是说,伴随或代替上述效果,根据本公开的技术可以从本说明书的说明中实现对于本领域的技术人员来说显而易见的其他效果。
另外,本技术也可以具有如下构成:
(1)一种控制装置,其包括:
成像控制部,所述成像控制部控制成像装置中的成像;和
检测部,所述检测部基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象,
其中,
所述成像控制部使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,并且
在基于所述第一拍摄图像检测到所述拍摄对象的情况下,所述成像控制部使所述成像装置对所述获取区域进行成像。
(2)根据(1)所述的控制装置,其中,
所述成像控制部使所述成像装置针对每一帧对所述检测区域进行成像,并且
在其中对所述检测区域进行了成像的一帧中检测到所述拍摄对象的情况下,所述成像控制部使所述成像装置在下一帧中对所述获取区域进行成像。
(3)根据(1)或(2)所述的控制装置,其中,所述检测部基于所述第一拍摄图像的像素值与设定的第一阈值和设定的小于所述第一阈值的第二阈值中的一者或两者之间的比较结果检测所述拍摄对象。
(4)根据(3)所述的控制装置,其中,
所述检测部对所述第一拍摄图像的像素值大于所述第一阈值的像素数或者对所述第一拍摄图像的像素值等于或大于所述第一阈值的像素数进行计数,并且
所述检测部基于计数的所述像素数与设定的第三阈值之间的比较结果通过判定是否已经检测到所述拍摄对象来检测所述拍摄对象。
(5)根据(4)所述的控制装置,其中,在计数的所述像素数大于所述第三阈值的情况下,或者在所述像素数等于或大于所述第三阈值的情况下,所述检测部判定已经检测到所述拍摄对象。
(6)根据(3)至(5)中任一项所述的控制装置,其中,
所述检测部对所述第一拍摄图像的像素值小于所述第二阈值的像素数或者对所述第一拍摄图像的像素值等于或大于所述第二阈值的像素数进行计数,并且,
所述检测部基于计数的所述像素数与设定的第四阈值之间的比较结果通过判定是否已经检测到所述拍摄对象来检测所述拍摄对象。
(7)根据(6)所述的控制装置,其中,
在计数的所述像素数大于所述第四阈值的情况下,或者在所述像素数等于或大于所述第四阈值的情况下,所述检测部判定已经检测到所述拍摄对象。
(8)根据(2)所述的控制装置,其中,
所述检测部基于设定的第五阈值与基于当前帧中的所述第一拍摄图像的像素值和前一帧中的所述第一拍摄图像的像素值的判定值之间的比较结果检测所述拍摄对象。
(9)根据(1)至(8)中任一项所述的控制装置,其中,在独立地设定多个所述检测区域的情况下,所述检测部基于与多个所述检测区域中的每一个相对应的所述第一拍摄图像,针对多个所述检测区域中的每一个检测所述拍摄对象。
(10)根据(9)所述的控制装置,其中,针对多个所述检测区域中的每一个设定所述获取区域,并且,
所述成像控制部使所述成像装置对与其中已经检测到所述拍摄对象的所述检测区域相对应的所述获取区域进行成像。
(11)根据(1)至(10)中任一项所述的控制装置,其中,在所述成像装置的视场角内,设定第一检测区域和与所述第一检测区域相对应的第二检测区域作为所述检测区域,以及,
所述检测部基于与所述第一检测区域相对应的所述第一拍摄图像和与所述第二检测区域相对应的所述第一拍摄图像中的每一个检测所述拍摄对象,并且,
所述检测部基于检测结果进一步检测所述拍摄对象的移动速度。
(12)根据(11)所述的控制装置,其中,所述成像控制部使所述成像装置在基于检测到的所述移动速度的时刻对所述获取区域进行成像。
(13)根据(1)至(10)中任一项所述的控制装置,其中,所述成像控制部使所述成像装置在设定的预定时刻对所述获取区域进行成像。
(14)根据(1)至(13)中任一项所述的控制装置,其中,所述检测区域是能够对所述拍摄对象的至少一部分进行成像的视场角中的一部分区域。
(15)根据(1)至(14)中任一项所述的控制装置,其中,所述获取区域是所述成像装置的整个视场角的区域,或者是能够对整个所述拍摄对象进行成像的所述成像装置的视场角内的一部分区域。
(16)根据(1)至(15)中任一项所述的控制装置,其进一步包括:
输出控制部,所述输出控制部基于所述拍摄对象的检测结果控制由所述成像装置拍摄的拍摄图像的输出。
(17)根据(16)所述的控制装置,其中,在已经检测到所述拍摄对象的情况下,所述输出控制部输出其中对所述获取区域进行了成像的第二拍摄图像。
(18)根据(1)至(17)中任一项所述的控制装置,其进一步包括:
成像部,所述成像部包括所述成像装置。
(19)一种由控制装置执行的控制方法,所述控制方法包括:
控制成像装置中的成像的步骤;和
基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象的步骤,
其中,在所述控制步骤中,
使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,并且
在基于所述第一拍摄图像检测到所述拍摄对象的情况下,使所述成像装置对所述获取区域进行成像。
(20)一种用于使计算机实现以下功能的程序:
控制成像装置中的成像的功能;和
基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象的功能,
其中,
所述控制成像的功能使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,并且
在基于所述第一拍摄图像检测到所述拍摄对象的情况下,所述控制成像的功能使所述成像装置对所述获取区域进行成像。
附图标记列表
100 控制装置
102 成像部
104 成像控制部
106 检测部
108 输出控制部
Claims (19)
1.一种控制装置,其包括:
成像控制部,所述成像控制部控制成像装置中的成像;和
检测部,所述检测部基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象,
其中,
所述成像控制部使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,
在基于所述第一拍摄图像检测到所述拍摄对象的情况下,所述成像控制部使所述成像装置对所述获取区域进行成像,并且
其中,在独立地设定多个所述检测区域的情况下,所述检测部基于与多个所述检测区域中的每一个相对应的所述第一拍摄图像,针对多个所述检测区域中的每一个检测所述拍摄对象。
2.根据权利要求1所述的控制装置,其中,
所述成像控制部使所述成像装置针对每一帧对所述检测区域进行成像,并且
在其中对所述检测区域进行了成像的一帧中检测到所述拍摄对象的情况下,所述成像控制部使所述成像装置在下一帧中对所述获取区域进行成像。
3.根据权利要求1或2所述的控制装置,其中,所述检测部基于所述第一拍摄图像的像素值与设定的第一阈值和设定的小于所述第一阈值的第二阈值中的一者或两者之间的比较结果检测所述拍摄对象。
4.根据权利要求3所述的控制装置,其中,
所述检测部对所述第一拍摄图像的像素值大于所述第一阈值的像素数或者对所述第一拍摄图像的像素值等于或大于所述第一阈值的像素数进行计数,并且
所述检测部基于计数的所述像素数与设定的第三阈值之间的比较结果通过判定是否已经检测到所述拍摄对象来检测所述拍摄对象。
5.根据权利要求4所述的控制装置,其中,在计数的所述像素数大于所述第三阈值的情况下,或者在所述像素数等于或大于所述第三阈值的情况下,所述检测部判定已经检测到所述拍摄对象。
6.根据权利要求3所述的控制装置,其中,
所述检测部对所述第一拍摄图像的像素值小于所述第二阈值的像素数或者对所述第一拍摄图像的像素值等于或大于所述第二阈值的像素数进行计数,并且,
所述检测部基于计数的所述像素数与设定的第四阈值之间的比较结果通过判定是否已经检测到所述拍摄对象来检测所述拍摄对象。
7.根据权利要求6所述的控制装置,其中,在计数的所述像素数大于所述第四阈值的情况下,或者在所述像素数等于或大于所述第四阈值的情况下,所述检测部判定已经检测到所述拍摄对象。
8.根据权利要求2所述的控制装置,其中,
所述检测部基于设定的第五阈值与基于当前帧中的所述第一拍摄图像的像素值和前一帧中的所述第一拍摄图像的像素值的判定值之间的比较结果检测所述拍摄对象。
9.根据权利要求1所述的控制装置,其中,针对多个所述检测区域中的每一个设定所述获取区域,并且,
所述成像控制部使所述成像装置对与其中已经检测到所述拍摄对象的所述检测区域相对应的所述获取区域进行成像。
10.根据权利要求1或2所述的控制装置,其中,在所述成像装置的视场角内,设定第一检测区域和与所述第一检测区域相对应的第二检测区域作为所述检测区域,以及,
所述检测部基于与所述第一检测区域相对应的所述第一拍摄图像和与所述第二检测区域相对应的所述第一拍摄图像中的每一个检测所述拍摄对象,并且,
所述检测部基于检测结果进一步检测所述拍摄对象的移动速度。
11.根据权利要求10所述的控制装置,其中,所述成像控制部使所述成像装置在基于检测到的所述移动速度的时刻对所述获取区域进行成像。
12.根据权利要求1或2所述的控制装置,其中,所述成像控制部使所述成像装置在设定的预定时刻对所述获取区域进行成像。
13.根据权利要求1或2所述的控制装置,其中,所述检测区域是能够对所述拍摄对象的至少一部分进行成像的视场角中的一部分区域。
14.根据权利要求1或2所述的控制装置,其中,所述获取区域是所述成像装置的整个视场角的区域,或者是能够对整个所述拍摄对象进行成像的所述成像装置的视场角内的一部分区域。
15.根据权利要求1或2所述的控制装置,其进一步包括:
输出控制部,所述输出控制部基于所述拍摄对象的检测结果控制由所述成像装置拍摄的拍摄图像的输出。
16.根据权利要求15所述的控制装置,其中,在已经检测到所述拍摄对象的情况下,所述输出控制部输出其中对所述获取区域进行了成像的第二拍摄图像。
17.根据权利要求1或2所述的控制装置,其进一步包括:
成像部,所述成像部包括所述成像装置。
18.一种由控制装置执行的控制方法,所述控制方法包括:
控制成像装置中的成像的步骤;和
基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象的步骤,
其中,在所述控制步骤中,
使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,
在基于所述第一拍摄图像检测到所述拍摄对象的情况下,使所述成像装置对所述获取区域进行成像,并且
在独立地设定多个所述检测区域的情况下,基于与多个所述检测区域中的每一个相对应的所述第一拍摄图像,针对多个所述检测区域中的每一个检测所述拍摄对象。
19.一种计算机可读介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现以下步骤:
控制成像装置中的成像的步骤;和
基于其中对设定在所述成像装置的视场角内的一部分处的检测区域进行了成像的第一拍摄图像检测拍摄对象的步骤,
其中,
控制成像的所述步骤使所述成像装置对所述检测区域进行成像或者对设定在所述成像装置的视场角内的获取区域进行成像,
在基于所述第一拍摄图像检测到所述拍摄对象的情况下,控制成像的所述步骤使所述成像装置对所述获取区域进行成像,并且
在独立地设定多个所述检测区域的情况下,基于与多个所述检测区域中的每一个相对应的所述第一拍摄图像,针对多个所述检测区域中的每一个检测所述拍摄对象。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-099733 | 2016-05-18 | ||
JP2016099733A JP2017208699A (ja) | 2016-05-18 | 2016-05-18 | 制御装置、制御方法、およびプログラム |
PCT/JP2017/004826 WO2017199487A1 (ja) | 2016-05-18 | 2017-02-09 | 制御装置、制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109076168A CN109076168A (zh) | 2018-12-21 |
CN109076168B true CN109076168B (zh) | 2021-01-19 |
Family
ID=60324968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780028786.XA Active CN109076168B (zh) | 2016-05-18 | 2017-02-09 | 控制装置、控制方法和计算机可读介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10951811B2 (zh) |
JP (1) | JP2017208699A (zh) |
CN (1) | CN109076168B (zh) |
WO (1) | WO2017199487A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109559522B (zh) * | 2019-01-21 | 2021-09-28 | 熵基科技股份有限公司 | 一种调试方法、伸缩立柱、摄像机及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005064586A (ja) * | 2003-08-13 | 2005-03-10 | Jai Corporation | 撮像タイミング自動検知機能を備えた検査・選別機用撮像装置 |
JP2007324966A (ja) * | 2006-06-01 | 2007-12-13 | Shimadzu Corp | トリガ信号出力装置 |
JP2012211796A (ja) * | 2011-03-31 | 2012-11-01 | Kubota Corp | 鋳物穴加工品の鏡面球体残留検査装置および方法 |
JP2014182026A (ja) * | 2013-03-19 | 2014-09-29 | Ishida Co Ltd | 物品検査装置 |
CN105430251A (zh) * | 2014-09-16 | 2016-03-23 | 株式会社东芝 | 信息处理设备和图像输入设备 |
-
2016
- 2016-05-18 JP JP2016099733A patent/JP2017208699A/ja active Pending
-
2017
- 2017-02-09 WO PCT/JP2017/004826 patent/WO2017199487A1/ja active Application Filing
- 2017-02-09 CN CN201780028786.XA patent/CN109076168B/zh active Active
- 2017-02-09 US US16/099,533 patent/US10951811B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005064586A (ja) * | 2003-08-13 | 2005-03-10 | Jai Corporation | 撮像タイミング自動検知機能を備えた検査・選別機用撮像装置 |
JP2007324966A (ja) * | 2006-06-01 | 2007-12-13 | Shimadzu Corp | トリガ信号出力装置 |
JP2012211796A (ja) * | 2011-03-31 | 2012-11-01 | Kubota Corp | 鋳物穴加工品の鏡面球体残留検査装置および方法 |
JP2014182026A (ja) * | 2013-03-19 | 2014-09-29 | Ishida Co Ltd | 物品検査装置 |
CN105430251A (zh) * | 2014-09-16 | 2016-03-23 | 株式会社东芝 | 信息处理设备和图像输入设备 |
Also Published As
Publication number | Publication date |
---|---|
US10951811B2 (en) | 2021-03-16 |
US20190166304A1 (en) | 2019-05-30 |
JP2017208699A (ja) | 2017-11-24 |
CN109076168A (zh) | 2018-12-21 |
WO2017199487A1 (ja) | 2017-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7105754B2 (ja) | 撮像装置、及び、撮像装置の制御方法 | |
CN111656770A (zh) | 固态成像元件、成像装置及固态成像元件的控制方法 | |
US11454723B2 (en) | Distance measuring device and distance measuring device control method | |
JP6977722B2 (ja) | 撮像装置、および画像処理システム | |
US20200057149A1 (en) | Optical sensor and electronic device | |
US20220232182A1 (en) | Image recognition device, solid-state imaging device, and image recognition method | |
US20210218923A1 (en) | Solid-state imaging device and electronic device | |
US11582407B2 (en) | Solid-state imaging apparatus and driving method thereof | |
WO2021241360A1 (ja) | 検出装置、検出システム及び検出方法 | |
WO2021065494A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2020153272A1 (ja) | 測定装置、測距装置および測定方法 | |
US20220155459A1 (en) | Distance measuring sensor, signal processing method, and distance measuring module | |
CN109076168B (zh) | 控制装置、控制方法和计算机可读介质 | |
US20190141263A1 (en) | Control device and control method | |
US20190191119A1 (en) | Imaging device and control method | |
WO2021065500A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
CN117546477A (zh) | 成像装置、电子设备及光检测方法 | |
WO2022254792A1 (ja) | 受光素子およびその駆動方法、並びに、測距システム | |
US20230142762A1 (en) | Sensing system | |
US20220351505A1 (en) | Information processing device, information processing method, and information processing program | |
US20230254600A1 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
WO2021065495A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2020153262A1 (ja) | 計測装置および測距装置 | |
JP2022163882A (ja) | 信号処理装置および方法、並びにプログラム | |
Ahmed et al. | Design and development of image based lane warning and anti-collision detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |