CN115131749A - 图像处理装置、图像处理方法以及计算机可读取存储介质 - Google Patents

图像处理装置、图像处理方法以及计算机可读取存储介质 Download PDF

Info

Publication number
CN115131749A
CN115131749A CN202210187271.7A CN202210187271A CN115131749A CN 115131749 A CN115131749 A CN 115131749A CN 202210187271 A CN202210187271 A CN 202210187271A CN 115131749 A CN115131749 A CN 115131749A
Authority
CN
China
Prior art keywords
vehicle
unit
image
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210187271.7A
Other languages
English (en)
Inventor
安井裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115131749A publication Critical patent/CN115131749A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • B60K35/22—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B60K2360/1523—
    • B60K2360/16—
    • B60K2360/21—
    • B60K2360/25—
    • B60K2360/349—
    • B60K35/28—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

本发明涉及图像处理装置、图像处理方法以及计算机可读取存储介质，能够基于从车辆的内部拍摄的拍摄图像来适当地识别车辆的外部的移动物体。图像处理装置具备：拍摄单元，其对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄；获取单元，其以预定的时间间隔获取多个由所述拍摄单元所拍摄的图像；生成单元，其基于由所述获取单元所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器；以及存储单元，其存储由所述生成单元所生成的所述掩模滤波器。

Description

图像处理装置、图像处理方法以及计算机可读取存储介质
技术领域
本发明涉及对由拍摄手段所拍摄的图像进行处理的图像处理装置、图像处理方法以及存储程序的计算机可读取存储介质。
背景技术
对由搭载于车辆的摄像机所拍摄的拍摄图像进行各种处理。在专利文献1中记载了如下内容：在通过从侧后视镜视野朝向后方地安装的拍摄手段所拍摄的图像中，基于各像素的亮度或色调的偏差的大小为预定的阈值以下这一情况，从处理范围中排除。在专利文献2中记载了如下内容：以与由配置于侧后视镜附近的拍摄部所拍摄的拍摄图像中的车身部分一致的方式生成掩模图像，从而更适当地提高驾驶员对其他车辆的视觉辨认性。在专利文献3中记载了如下内容：在由设置于前窗周边且对本车辆的前方进行拍摄的车载摄像机所拍摄的图像上重叠显示用于路径引导的图形。
另一方面，关于图像处理，已知从图像上除去移动体，生成仅提取了路面背景的路面背景图像(专利文献4)，或者在物体识别处理中相对提高重要度高的区域中的亮度的重要度，调整为重要度越高的区域则成为最佳的亮度(专利文献5)。
现有技术文献
专利文献
专利文献1：日本特开2016-224649号公报
专利文献2：日本特开2016-111509号公报
专利文献3：日本特开2007-315861号公报
专利文献4：日本特开2003-296709号公报
专利文献5：日本特开2019-139471号公报
发明内容
发明所要解决的问题
然而，在哪一个专利文献中，都没有提及能够基于从车辆的内部拍摄并包含车辆的内部以及外部的拍摄图像而适当地识别车辆的外部的移动物体这一内容。
本发明的目的在于提供一种能够基于从车辆的内部拍摄的拍摄图像来适当地识别车辆的外部的移动物体的图像处理装置、图像处理方法以及存储程序的计算机可读取存储介质。
用于解决问题的手段
本发明所涉及的图像处理装置具备：拍摄单元，其对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄；获取单元，其以预定的时间间隔获取多个由所述拍摄单元所拍摄的图像；生成单元，其基于由所述获取单元所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器；以及存储单元，其存储由所述生成单元所生成的所述掩模滤波器。
本发明所涉及的图像处理方法是在图像处理装置中执行的图像处理方法，图像处理装置具备对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄的拍摄单元，其中，所述图像处理方法具有：获取步骤，在所述获取步骤中，以预定的时间间隔获取多个由拍摄单元所拍摄的图像；生成步骤，在所述生成步骤中，基于在所述获取步骤中所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器；以及存储步骤，在所述存储步骤中，将在所述生成步骤中所生成的所述掩模滤波器存储于存储部。
本发明所涉及的存储程序的计算机可读取存储介质存储有用于使计算机以如下方式发挥功能的程序：以预定的时间间隔获取多个由拍摄单元所拍摄的图像，所述拍摄单元对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄，基于所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器，将所生成的所述掩模滤波器存储于存储部。
发明效果
根据本发明，能够基于从车辆的内部拍摄的拍摄图像适当地识别车辆的外部的移动物体。
附图说明
图1是表示车辆用控制装置的构成的图。
图2是表示控制单元的功能块的图。
图3是用于说明行车记录仪和指示器的图。
图4是表示行车记录仪所做出的拍摄图像的图。
图5是表示显示控制处理的流程图。
图6是表示掩模滤波器生成处理的流程图。
图7是表示显示控制处理的流程图。
图8是用于说明平均化帧图像和掩模滤波器的图。
图9是用于说明使用了掩模完毕图像的物体检测的图。
图10是表示在车辆的周围识别出行人的情形的图。
图11是用于说明成为风险对象的物体的判断的图。
图12是用于说明成为风险对象的物体的判断的图。
附图标记说明
1：车辆；2：控制单元；20、21、22、23、24、25、26、27、28、29：ECU；200、220：控制部；218：行车记录仪；219：指示器。
具体实施方式
以下，参照附图详细说明实施方式。此外，以下的实施方式并不限定技术方案所涉及的发明，另外，在实施方式中说明的特征的组合不一定全部是发明所必须的。可以任意地组合在实施方式中说明的多个特征中的两个以上的特征。另外，对相同或同样的构成标注相同的附图标记，并省略重复的说明。
[第一实施方式]
图1是本发明的一个实施方式所涉及的车辆用控制装置(行驶控制装置)的框图，对车辆1进行控制。在图1中，以俯视图和侧视图表示车辆1的概略。作为一个例子，车辆1是轿车型的四轮乘用车。
图1的控制装置包含控制单元2。控制单元2包含通过车内网络而连接为可通信的多个ECU20～ECU29。各ECU包含以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储设备中存储有供处理器执行的程序、处理器在处理中使用的数据等。各ECU也可以具备多个处理器、存储设备以及接口等。另外，图1的控制装置的构成能够成为实施程序所涉及的发明的计算机。
以下，对ECU20～ECU29各自担负的功能等进行说明。此外，能够对ECU的数量、担负的功能适当地设计，能够比本实施方式更细化、或者进行整合。
ECU20执行与车辆1的驾驶辅助以及自动驾驶相关的控制。在驾驶辅助中，对车辆1的转向和加速减速中的至少任一方进行自动控制。在自动驾驶中，对车辆1的转向和加速减速双方进行自动控制。
ECU21控制电动动力转向装置3。电动动力转向装置3包含根据驾驶员对方向盘31的驾驶操作(转向操作)来使前轮转向的机构。另外，电动动力转向装置3包含发挥用于对转向操作进行辅助、或者对前轮进行自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ECU21与来自ECU20的指示对应地自动控制电动动力转向装置3，来控制车辆1的行进方向。
ECU22以及ECU23进行检测车辆的周围状况的检测单元41～检测单元43的控制以及检测结果的信息处理。检测单元41是对车辆1的前方进行拍摄的摄像机(以下，有时表述为摄像机41)，在本实施方式的情况下，在车辆1的车顶前部安装于前窗的车室内侧。通过摄像机41所拍摄的图像的解析，能够提取目标物的轮廓、道路上的车道的划分线(白线等)。
检测单元42为光探测与测距(LIDAR，Light Detection and Ranging)，对车辆1的周围的目标物进行检测，或者对与目标物之间的距离进行测距。在本实施方式的情况下，设置有五个检测单元42，在车辆1的前部的各角部各设置有一个，在后部中央各设置有一个，在后部各侧方各设置有一个。检测单元43是毫米波雷达(以下，有时表述为雷达43)，检测车辆1的周围的目标物，或者对与目标物的距离进行测距。在本实施方式的情况下，设置有五个雷达43，在车辆1的前部中央设置有一个，在前部的各角部各设置有一个，在后部的各角部各设置有一个。
ECU22进行对一方的摄像机41和各检测单元42的控制以及检测结果的信息处理。ECU23进行对另一方的摄像机41和各雷达43的控制以及检测结果的信息处理。通过具备两组检测车辆的周围状况的装置，能够提高检测结果的可靠性，另外，通过具备摄像机、雷达等种类不同的检测单元，能够多方面地进行车辆的周边环境的解析。
ECU24进行对陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等判定车辆1的行进路线。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息、气象信息的服务器进行无线通信，来获取这些信息。ECU24能够访问在存储设备中构建的地图信息的数据库24a，ECU24进行从当前位置到目的地的路径探索等。此外，也可以在数据库24a中构建上述的交通信息、气象信息等的数据库。
ECU25具备车与车之间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信，进行车辆间的信息交换。通信装置25a具有各种通信功能，例如具有专用短程通信(DSRC：Dedicated Short Range Communication)功能、蜂窝通信功能。通信装置25a也可以构成为包含发送接收天线的TCU(Telematics Communication Unit：远程通信单元)。DSRC是单向或双向的短程～中程中的通信功能，能够进行车辆间、路车间的高速的数据通信。
ECU26对动力装置6进行控制。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构，例如包含发动机和变速器。ECU26例如与由设置于加速踏板7A的操作检测传感器7a所检测的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出，或者基于车速传感器7c所检测的车速等信息来切换变速器的变速挡。在车辆1的驾驶状态为自动驾驶的情况下，ECU26与来自ECU20的指示对应地自动控制动力装置6，从而控制车辆1的加速减速。
ECU27对包含方向指示器8(转向灯)的照明器件(前照灯、尾灯等)进行控制。在图1的例子的情况下，方向指示器8设置于车辆1的前部、车门后视镜以及后部。
ECU28进行输入输出装置9的控制。输入输出装置9进行对驾驶员的信息的输出和来自驾驶员的信息的输入的接受。声音输出装置91通过声音向驾驶员报告信息。显示装置92通过图像的显示向驾驶员报告信息。显示装置92例如配置于驾驶席正面，构成仪表盘等。此外，在此，例示了声音和显示，但也可以通过振动、光来报告信息。另外，也可以组合声音、显示、振动或者光中的多个来报告信息。进一步地，也可以根据待通知的信息的等级(例如紧急度)，使组合不同，或者使通知方式不同。另外，显示装置92包含导航装置。
输入装置93是配置于驾驶员能够操作的位置并进行对车辆1的指示的开关组，但也可以包含声音输入装置。
ECU29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力而使车辆1减速或停止。ECU29例如与由设置于制动踏板7B的操作检测传感器7b所检测的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的工作。在车辆1的驾驶状态为自动驾驶的情况下，ECU29与来自ECU20的指示对应地对制动装置10进行自动控制，控制车辆1的减速以及停止。制动装置10、驻车制动器能够为了维持车辆1的停止状态而工作。另外，在动力装置6的变速器具备驻车锁定机构的情况下，也能够为了维持车辆1的停止状态而使驻车锁定机构进行动作。
对ECU20所执行的与车辆1的驾驶辅助相关的控制进行说明。在驾驶辅助中，ECU20自动控制车辆1的转向和加速减速中的至少任一方。在自动控制时，ECU20从ECU22以及ECU23获取与车辆1的周围状况相关的信息(外界信息)，并基于获取到的信息向ECU21、ECU26以及ECU29指示，来控制车辆1的转向、加速减速。此外，即使在车辆1的转向和加速减速双方由ECU20控制的情况下，在向驾驶员请求监视周边、系统的状态的情况下，也作为与驾驶辅助相关的控制来执行。在上述中，说明了ECU20执行与车辆1的驾驶辅助相关的控制的情况，但也存在ECU20执行与车辆1的自动驾驶相关的控制的情况。在该情况下，若由驾驶员指示目的地和自动驾驶，则ECU20按照由ECU24搜索到的引导路线，朝向目的地自动控制车辆1的行驶。在该情况下，也与执行与驾驶辅助相关的控制的情况同样地，ECU20从ECU22以及ECU23获取与车辆1的周围状况相关的信息(外界信息)，并基于获取到的信息向ECU21、ECU26以及ECU29指示，来控制车辆1的转向、加速减速。本实施方式能够应用于ECU20执行与车辆1的驾驶辅助相关的控制的情况和ECU20执行与车辆1的自动驾驶相关的控制的情况这双方。
图2是表示控制单元2的功能块的图。控制部200与图1的控制单元2对应，包含外界识别部201、自身位置识别部202、车内识别部203、行动计划部204、驱动控制部205、设备控制部206。各功能块通过图1所示的一个ECU或多个ECU来实现。
外界识别部201基于来自外界识别用摄像机207以及外界识别用传感器208的信号来识别车辆1的外界信息。在此，外界识别用摄像机207例如是图1的摄像机41，外界识别用传感器208例如是图1的检测单元42、检测单元43。外界识别部201基于来自外界识别用摄像机207以及外界识别用传感器208的信号，来对例如识别交叉路口、铁路道口、隧道等场景、路肩等自由空间、其他车辆的行为(速度、行进方向)进行识别。自身位置识别部202基于来自GPS传感器211的信号来识别车辆1的当前位置。在此，GPS传感器211例如与图1的GPS传感器24b对应。
车内识别部203基于来自车内识别用摄像机209以及车内识别用传感器210的信号，识别车辆1的搭乘者，另外，识别搭乘者的状态。车内识别用摄像机209例如是设置在车辆1的车内的显示装置92上的近红外摄像机，例如检测搭乘者的视线的方向。另外，车内识别用传感器210例如是检测搭乘者的生物体信号的传感器。车内识别部203基于这些信号来识别搭乘者处于瞌睡状态、驾驶以外的作业中的状态等。
行动计划部204基于外界识别部201、自身位置识别部202所做出的识别结果，执行对最佳路径、风险避免路径等车辆1的行驶路径进行计划的行驶计划。行动计划部204例如进行基于交叉路口、铁路道口等的开始点、终点的进入判定、基于其他车辆的行为预测的行动计划。驱动控制部205基于行动计划部204所做出的行动计划来控制驱动力输出装置212、转向装置213、制动装置214。在此，驱动力输出装置212例如与图1的动力装置6对应，转向装置213与图1的电动动力转向装置3对应，制动装置214与制动装置10对应。
设备控制部206控制与控制部200连接的设备。例如，设备控制部206控制扬声器215，输出用于警告、导航的消息等预定的声音消息。另外，例如，设备控制部206控制显示装置216，显示预定的界面画面。显示装置216例如对应于显示装置92。另外，例如，设备控制部206控制导航装置217，获取导航装置217中的设定信息。
控制部200也可以适当包含图2所示以外的功能块，例如，也可以包含基于经由通信装置24c所获取的地图信息来计算到目的地为止的最佳路径的最佳路径计算部。另外，控制部200也可以从图2所示的摄像机、传感器以外获取信息，例如，也可以经由通信装置25a获取其他车辆的信息。另外，控制部200不仅接收来自GPS传感器211的检测信号，还接收来自设置于车辆1的各种传感器的检测信号。例如，控制部200经由构成于车门部的ECU接收设置于车辆1的车门部的车门的开闭传感器、门锁的机构传感器的检测信号。由此，控制部200能够检测车门的锁定解除、车门的开闭动作。
在本实施方式中，在车辆1安装有行车记录仪218。行车记录仪218可以是内置于车辆1的构成，也可以是后期安装的构成。在本实施方式中，如图3所示，行车记录仪218例如安装于前窗玻璃的上部和内后视镜的背侧。行车记录仪218例如将由传感器222对车辆1的阈值以上的冲击作为触发，将由摄像机221所拍摄的动态图像数据存储于存储部223。在图2中，行车记录仪218表示为内置有摄像机221的构成，但也可以构成为主体与摄像机221分离的分离型。
控制部220包含处理器、存储器，统一控制行车记录仪218。例如，控制部220基于来自传感器222的检测信号，开始摄像机221的拍摄，或将拍摄图像数据存储于存储部223。本实施方式的动作例如通过控制部220的处理器读出并执行存储于存储器的程序来实现。即，控制部220以及行车记录仪218能够成为实施发明的计算机。
如图3所示，摄像机221包含构成于行车记录仪218的前表面的摄像机301和构成于行车记录仪218的后表面的摄像机302。摄像机301是能够拍摄车辆1的前方的广角摄像机，摄像机302是能够拍摄车辆的后方的鱼眼摄像机。作为鱼眼摄像机，例如也可以使用水平设置的一个鱼眼摄像机。另外，作为鱼眼摄像机，例如使用视场角为220～240度的鱼眼摄像机。在图3中，在图示上，摄像机301和摄像机302各示出一个，但也可以各构成多个。图4的图像401表示由摄像机301所拍摄的图像的一个例子。图4的图像402、图像403、图像404表示由摄像机302所拍摄的图像的一个例子。如图4所示，图像402、图像403、图像404包含车辆1的内部的图像和从车窗能够可见的外部的风景图像。图像402表示拍摄到行车记录仪218的右后方的图像，图像403表示拍摄到行车记录仪218的左后方的图像。另外，图像404表示拍摄了行车记录仪218的后方的图像。摄像机221将所拍摄的图像数据以预定的帧率发送到控制部220，控制部220基于发送来的图像数据，以MP4等预定格式生成的动态图像文件的形式保存到存储部223。
传感器222例如包含加速度传感器、运动传感器、GPS传感器。控制部220基于来自传感器222的检测信号获取车辆1的位置信息、车速信息、加速度信息、时刻信息等，基于所获取的各信息进行摄像机221的拍摄控制、所拍摄的图像的显示控制。
存储部223例如是SD卡，构成为能够存储预定容量的动态图像数据。另外，在本实施方式中，存储部223存储后述的所生成的掩模滤波器。显示部224例如是液晶监视器，显示设定画面等各种用户界面画面。另外，行车记录仪218也可以构成为与导航装置217协作。例如，也可以通过导航装置217所显示的画面上的设定操作来进行行车记录仪218的设定。通信接口225能够与车辆1的控制部200、各电器单元之间进行通信。例如，行车记录仪218能够通过Bluetooth(注册商标)/WiFi(注册商标)进行与控制部200、制动装置214之间的通信。另外，行车记录仪218也可以构成为能够与车辆1的控制部200、各电器单元以外的装置、例如司机所保持的智能手机等便携终端进行通信。
如图3所示，指示器219设置在仪表板上部，构成为能够利用LED等分别点亮与车辆1周边的八个方向分别对应的显示区域。如图11以及图12所示，车辆1周边的八个方向是指车辆1的前方(F)、右前方(FR)、左前方(FL)、右方(R)、左方(L)、后方(B)、右后方(BR)、左后方(BL)。指示器219的表面的玻璃状的圆区域在上述八个方向上被划分，在各区域中埋入有例如黄色/红色的可变的LED304。通过LED304发光，从司机来看，与该LED304对应的扇型的部分看起来发光。行车记录仪218能够经由通信接口225与指示器219通信。例如，行车记录仪218基于摄像机221的拍摄图像数据来判断车辆1的外部的风险对象物，使与风险对象物存在的方向对应的LED304以预定颜色发光。关于风险对象物的判断将在后面叙述。行车记录仪218也可以适当包含图2所示以外的功能块，例如，也可以包含用于输入声音的麦克风。
在本实施方式中，基于由行车记录仪218所拍摄的图像，判断车辆1的外部的风险对象物，并将其判断结果报告给司机等搭乘者。行车记录仪218不仅拍摄车辆1的前方，还拍摄车辆1的内部。因此，在由行车记录仪218所拍摄的图像中，不仅包含车辆1的内部，还包含从车窗能够可见的外部的风景。在本实施方式中，基于由行车记录仪218所拍摄的图像的这样的特点，不仅判断车辆1的前方，还判断侧后方的风险对象物。另外，此时，能够适当地确定由行车记录仪218所拍摄的图像中的、通过后述的处理而从车窗可见的外部的风景。
图5是表示本实施方式中的行车记录仪218的显示控制处理的流程图。图5的处理例如通过行车记录仪218的控制部220的处理器读出并执行存储器中存储的程序来实现。图5的处理例如在司机搭乘于车辆1而开始驾驶时开始。另外，也可以是，司机在行车记录仪218的设定画面中，设定通过行车记录仪218进行车辆1的外部的风险对象物的报告，以该设定为触发而开始图5的处理。
在S101中，控制部220判定车辆1是否处于行驶中。例如，控制部220基于来自传感器222的检测信号、摄像机221的拍摄图像数据，判定车辆1是否处于行驶中。在判定为车辆1处于行驶中的情况下，进入S102，在判定为车辆1不处于行驶中的情况下，进入S109。判定为车辆1不是行驶中的情况例如包含交叉路口处的临时停车。在本实施方式中，在S101中判定车辆1是否处于行驶中，但也可以基于各种车辆信息的条件来进行判定。例如，也可以基于车辆1的速度是否为预定值以下来进行S101的判定。在S102中，进行掩模滤波器的生成。
图6是表示S102的掩模滤波器生成的处理的流程图。在S201中，控制部220获取来自摄像机221的帧图像数据。在S202中，控制部220判定是否获取了预定数量的帧图像数据，在判定为未获取预定数量的帧图像数据的情况下，在S203中等待经过预定时间，在S201中再次获取帧图像数据。S203的预定时间与帧率对应。即，通过S201～S203的处理，以预定的时间间隔按时序获取预定数量的帧图像数据。在S202之后，在S204中，控制部220基于在S201～S203中所获取的预定数量的帧图像数据，生成平均化图像数据。
然后，在S205中，控制部220判定是否结束帧图像数据的获取。例如，控制部220在判定为生成了足够用来生成掩模滤波器的平均化图像数据的情况下，判定为结束帧图像数据的获取。关于该判定基准将在后面叙述。在S205中判定为不结束帧图像数据的获取的情况下，在S203中等待经过预定时间，在S201中再次获取帧图像数据。
图8是用于说明S201～S205的动作的图。在图8中，示出了通过摄像机302对行车记录仪218的左后方进行拍摄而得到的图像。帧图像801～帧图像804表示由摄像机302以预定的时间间隔按时序拍摄到的帧图像。帧图像801是在帧图像获取时刻k-3在S201中获取的帧图像。帧图像802是在S203中经过预定时间后的帧图像获取时刻k-2在S201中获取的帧图像。帧图像803是在S203中经过预定时间后的帧图像获取时刻k-1在S201中获取的帧图像。帧图像804是在S203中经过预定时间后的帧图像获取时刻k获取的帧图像。即，随着预定时间的经过，在S201中依次获取帧图像801～帧图像804。此外，在此，将在S202中判定的预定数量设为“2”。另外，将各帧图像例如作为RGB图像进行说明，将像素值表示为RGB各值。控制部220依次使用帧图像801～帧图像804来生成平均化图像。即，控制部220针对获取了预定数量的帧图像的各像素计算RGB各值的平均值。
例如，当获取帧图像801和帧图像802时，在S202中判定为获取了预定数量的帧图像，并且在S204中使用帧图像801和帧图像802来生成平均化图像。然后，当在S201中通过S203获取帧图像803时，在S202中判定为获取了预定数量的帧图像。即，通过获取已经在S204中生成的平均化图像和在本次的S201中获取的帧图像803这两个帧图像，判定为在S202中获取了预定数量的帧图像。然后，使用已经在S204中生成的平均化图像和帧图像803，在S204中生成平均化图像。
然后，当经过S203而在S201中获取帧图像804时，在S202中判定为获取了预定数量的帧图像。即，通过获取已经在S204中生成的平均化图像和在本次的S201中获取的帧图像804这两个帧图像，判定为在S202中获取了预定数量的帧图像。然后，使用已经在S204中生成的平均化图像和帧图像804，在S204中生成平均化图像。
即，在本实施方式中，针对以预定时间间隔获取的帧图像，计算按预定数量的各像素值的移动平均。在上述情况下，平均化图像805表示当获取帧图像804时生成的平均化图像。在通过图6的处理生成的平均化图像的像素值中，表现出以下那样的倾向。
如帧图像801～帧图像804所示，图像内包含拍摄车内空间的区域和拍摄从车窗可见的外部的风景的区域。拍摄车内空间的区域例如包含座椅、车门的图像，拍摄从车窗可见的外部的风景的区域例如包含外部的行人、外部的车辆的图像。在此，拍摄车内空间而得到的区域的图像被视为拍摄对象物的时间几乎没有变化，因此在伴随时间经过的帧图像中，各像素的像素值成为几乎恒定的像素值。另一方面，拍摄了从车窗可见的外部的风景的区域的图像由于拍摄对象物随着时间经过而随机地变化，因此在帧图像801～帧图像804中各像素的像素值的偏差变大。由于存在这样的倾向，因此对平均化图像内的车内空间进行拍摄而得到的区域中的像素值成为基于拍摄对象物的像素值。另一方面，对从平均化图像内的车窗可见的外部的风景进行拍摄而得到的区域中的像素值逐渐接近最大值或最小值。例如，通过平均化时的相加，接近RGB像素值的最大值＝(255，255，255)的白色(白色化)。另外，例如，通过平均化时的相加，接近RGB像素值的最小值＝(0，0，0)的黑色。在本实施方式中，说明对从平均化图像内的车窗可见的外部的风景进行拍摄而得到的区域中的像素值接近最大值的情况。
图8的平均化图像805内的区域806表示通过反复进行S204的平均化图像的生成而被白色化。此外，在图8的平均化图像805中，表示完全白色化的状态，但根据S204的处理次数，可能存在未完全白色化的状态。
作为S205的帧图像数据的获取结束的判断基准，例如也可以将视为白色化的RGB值规定为阈值，对于RGB值所变动的区域(例如，区域806)，在该RGB值成为阈值以上的情况下判断为已白色化，判定为结束帧图像数据的获取。阈值例如也可以通过预先决定随机出现颜色的像素的重叠的次数、和与白色化的关系来决定。
在S206中，控制部220对在S204中生成的平均化图像进行二值化处理。进行二值化时的像素值的阈值可以与S205中使用的阈值相同，也可以不同。例如，也可以使S205中的用于视为白色化的阈值大于S206中的用于二值化的阈值。通过这样的构成，能够更适当地确定外部的风景的区域和拍摄了成为掩模处理的对象的车内空间的区域。
图8的二值化图像807表示在S206中进行了二值化处理的帧图像。例如，如二值化图像807所示，与区域806对应的区域被二值化为值“0”，除此以外的区域被二值化为值“1”。在S207中，控制部220基于在S206中进行了二值化处理的二值化图像807中的、与值“1”对应的区域来生成掩模滤波器，并存储于存储部223。之后，结束图6的处理。
再次参照图5。在S102中生成掩模滤波器之后，在S103中，控制部220通过在S102中生成的掩模滤波器对由摄像机221拍摄的图像数据执行掩模处理。图9的掩模完毕图像901表示通过在S102中生成的掩模滤波器进行了掩模处理的图像。如掩模完毕图像901所示，成为从车窗可见的外部的风景以外的图像被进行了掩模处理的状态。然后，在S104中，控制部220对掩模完毕图像901进行图像处理。这里，进行的图像处理是用于适当地检测后期的移动物体的图像处理，例如是亮度调整。即，由于在掩模完毕图像901中拍摄了从车窗可见的外部的风景，因此根据此时的环境，例如有可能在图像的一部分中产生泛白而失去灰度。当灰度损失时，在移动物体的检测中，有可能无法检测待检测的物体。因此，在本实施方式中，对掩模完毕图像901进行等级校正、色调曲线的调整，从而防止灰度损失。
在S104中，例如也可以进行以下那样的图像处理。控制部220检测掩模完毕图像901内的未进行掩模处理的区域(即，从车窗可见的外部的风景)中的亮度分布。该检测结果被提取为相对于各亮度的像素数的直方图分布。然后，控制部220在该亮度分布偏向亮度最小值侧、或偏向亮度最大值侧的情况下，以从最小值到最大值为止过渡而分布的方式消除偏向。其结果是，掩模完毕图像901内的未进行掩模处理的区域的亮度得到改善，能够适当地进行移动物体的检测。
在S105中，控制部220基于掩模完毕图像901进行物体检测。此外，在物体检测中，例如使用以能够检测行人、自行车等移动物体(交通参与者)的方式学习到的神经网络。在检测完毕图像902中，行人903被检测为移动物体。在此使用的神经网络是使用与S104的图像处理的条件对应的图像、例如预定的亮度分布的图像来学习的神经网络。
在本实施方式中，如掩模完毕图像901所示，使用对车内空间进行了掩模处理的图像数据，进行移动物体的检测。在车内空间有可能存在移动的物体，例如悬挂于窗部附近的装饰物等可能因振动而晃动。在使用未进行掩模处理的图像数据的情况下，存在这样的物体被错误地检测为车外的行人、自行车等移动物体的可能性。然而，在本实施方式中，基于来自摄像机221的帧图像数据，对从车窗可见的外部的风景以外的区域进行掩模处理，因此能够防止将上述那样的车内空间中的物体误检测为车外的移动物体。
在S106中，控制部220针对在S105中所检测的物体，检测距离车辆1的方向以及距离。例如，控制部220也可以基于使用了伴随时间经过的多个帧图像数据的光流、图像上的对象的水平方向位置、对象的检测框的大小，来检测移动物体的方向以及距离。
图10是表示伴随着车辆1的移动而获取了帧图像1001和帧图像1002的情况的图。控制部220从帧图像1001检测行人1003，从帧图像1002检测行人1004。然后，控制部220在获取了帧图像1001和帧图像1002时，如图10的下层所示，对行人1011和行人1012位于车辆1这一情况进行识别。行人1011和行人1012分别对应于行人1003和行人1004。
在S107中，控制部220基于车辆1的车辆信息，判断在S105中所检测的移动物体中的、成为风险对象的移动物体(风险对象物)。例如，控制部220基于车辆1以及移动物体的各行为来判断风险对象物。在车辆1正直行的情况下，控制部220根据从车辆1的右侧方以及左侧方的拍摄图像识别出的移动物体的移动方向以及推定速度、和车辆1的车速来判断碰撞的风险，将判断为风险高的移动物体判断为风险对象物。另外，在车辆1正转弯的情况下，将风险对象物的判断对象区域限定为转弯方向。
图11是表示如图10的下层所示那样控制部220识别移动物体，车辆1正向左方转弯的情况的图。在该情况下，控制部220将风险提取范围1101设为S107的判断的对象区域。如图11所示，车辆1所正向左方转弯的方向与行人1012的移动方向重叠。进一步地，控制部220在根据车辆1的车速和行人1012的推定速度而判断为车辆1与行人1012随着时间经过而碰撞的风险高的情况下，将行人1012判断为风险对象物。另一方面，车辆1所正向左方转弯的方向与行人1011的移动方向相互重叠。然而，控制部220在根据车辆1的车速和行人1011的推定速度判断为车辆1与行人1011碰撞的风险极低的情况下，控制部220不将行人1011判断为风险对象物。
图12是表示如图10的下层所示那样控制部220识别移动物体，车辆1正向右方转弯的情况的图。在该情况下，控制部220将风险提取范围1201设为S107的判断的对象区域。即，不对行人1011以及行人1012进行风险对象物的判断。这样，根据车辆1的转弯方向来限定S107的判断的对象区域，因此能够减轻控制部220的处理负荷。
在S108中，控制部220基于S107中的判断结果进行显示控制。
图7是表示S108的显示控制的处理的流程图。在S301中，控制部220确定指示器219的显示区域。例如，控制部220基于在S106以及S107中判断为风险对象物的移动物体的方向、距离，从指示器219的划分为八块后的显示区域中确定显示对象的区域。在此，划分为八块后的显示区域是指前方(F)、右前方(FR)、左前方(FL)、右方(R)、左方(L)、后方(B)、右后方(BR)、左后方(BL)。例如，如图11所示，在判断为行人1012是风险对象物的情况下，控制部220确定指示器219的划分为八块后的显示区域中的、相当于左前方的显示区域。
在S302中，控制部220决定在S301中确定的显示区域的显示方式。此时，控制部220基于风险对象物以及车辆1的各行为来决定显示区域的显示方式。例如，在风险对象物与车辆1的TTC(Time to Collision，碰撞时间)小于阈值的情况下，决定为点亮表示紧急的红色LED。另一方面，在TTC大于阈值的情况下，决定为点亮表示注意的黄色LED。
在S303中，控制部220将指示器219控制为在S302中决定的显示方式显示在S301中确定的显示区域。在S303之后，结束图7的处理。
S301中的显示区域的确定以及S302中的显示方式的决定不限于上述内容。例如，在风险对象物的位置为前方的情况下，在S301以及S302中，控制部220将指示器219的划分为八块后的显示区域全部确定为显示区域，决定为点亮红色LED。通过这样的构成，尤其在风险被识别为高的区域存在风险对象物的情况下，能够增大该警告显示的程度。
另外，控制部220也可以进一步基于来自控制部200的信息，进行S301中的显示区域的确定、以及S302中的显示方式的决定。例如，控制部220使用从控制部200的车内识别部203发送的司机的视线的方向的信息，进行S301以及S302的处理。例如，在司机的视线的方向与风险对象物的预定时间一致的情况下，也可以不进行与该风险对象物对应的显示区域的显示。通过这样的构成，能够防止为了显示指示器219而使已经朝向风险对象物的司机的注意减少。
另外，S108以及图7的显示控制的处理不仅可以针对指示器219进行，也可以针对显示部224、显示装置216、导航装置217进行。在该情况下，也可以显示图11、图12所示那样的能够识别风险对象物的方向、距离的警告画面。
如上所述，在S101中判定为车辆1处于行驶中的情况下，在S102中生成掩模滤波器。另一方面，在交叉路口处的临时停止等、在S101中判定为车辆1不是行驶中的情况下，在S109中，控制部220判定是否存在已经存储于存储部223的掩模滤波器。然后，在判定为存在已经存储的掩模滤波器的情况下，在S110中，控制部220获取该掩模滤波器，并且执行随后的处理。另一方面，在判定为不存在已经存储的掩模滤波器的情况下，结束图5的处理。在该情况下，也可以再次重复从S101起的处理。
这样，根据本实施方式，例如在车辆1到达目的地为止的期间，能够使用行车记录仪的拍摄图像来适当地检测车辆1的外部的移动物体(风险对象物)。另外，能够基于该检测结果，进行与移动物体的位置有关的信息的显示控制。其结果是，能够减轻车辆1的控制部200中的处理负荷。此外，也可以在行车记录仪218的设定画面中设定是否使用行车记录仪218的拍摄图像来执行车辆1的外部的移动物体的检测以及显示控制。另外，也可以在车辆1开始移动到目的地之前或者中途执行这样的设定。另外，也可以通过控制部200来实现在本实施方式中说明的行车记录仪218的处理的至少一部分。例如，控制部220也可以将进行到图5的S104的图像处理为止的图像数据提供给控制部200，控制部200执行S105～S107的处理，从而更高精度地进行风险对象物的检测。例如，在车辆1转弯的情况下，也可以进行与转弯方向相反侧方的风险对象物的判断。
在本实施方式中，说明了通过在S102中生成的掩模滤波器对由摄像机221所拍摄的图像数据进行掩模处理的构成。此外，如果是基于多个图像间的像素值的变化量的构成，则也可以通过其他构成进行掩模处理。例如，也可以构成为，在经过几秒钟依次拍摄的多个拍摄图像中，通过对像素值的变化的方差比预定值低的区域(与拍摄了车内空间的区域对应)进行掩模来进行掩模处理。在该情况下，也能够起到与本实施方式相同的效果。
<实施方式的总结>
上述实施方式的图像处理装置具备：拍摄单元(221)，其对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄；获取单元(220、S102)，其以预定的时间间隔获取多个由所述拍摄单元所拍摄的图像；生成单元(220、S102)，其基于由所述获取单元所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器；以及存储单元(223)，其存储由所述生成单元所生成的所述掩模滤波器。
根据这样的构成，例如能够基于行车记录仪218的拍摄图像适当地检测外部的风险对象物。
另外，所述生成单元基于从由所述获取单元所获取的多个图像得到的平均化图像来生成所述掩模滤波器。另外，所述生成单元通过对由所述获取单元所获取的所述多个图像各自的各像素的像素值沿着时序进行移动平均来获取所述平均化图像。另外，所述生成单元通过对所述平均化图像进行二值化处理来生成所述掩模滤波器。另外，所述图像处理装置还具备处理单元(220、S103)，所述处理单元使用存储于所述存储单元的所述掩模滤波器来对由所述拍摄单元所拍摄的图像进行掩模处理。
根据这样的构成，例如能够生成用于对行车记录仪218的拍摄图像中的、与车辆的内部对应的区域适当地进行掩模处理的掩模滤波器。
另外，对由所述处理单元进行了掩模处理的图像进行图像处理(S104)。另外，所述图像处理包含亮度调整。
根据这样的构成，能够将进行了掩模处理的图像设为用于检测外部的移动物体的适当的图像。
另外，图像处理装置还具备检测单元(220、S105)，所述检测单元基于由所述处理单元进行了掩模处理的图像来检测所述车辆的外部的移动体。
根据这样的构成，例如能够使用行车记录仪218的拍摄图像来适当地检测车辆的外部的行人。
另外，图像处理装置还具备显示控制单元(220、S108)，所述显示控制单元基于所述检测单元的检测结果来控制显示单元(224、219、217)。另外，所述显示控制单元将所述所述显示单元控制为显示与由所述检测单元所检测的所述移动体相对于所述车辆的位置相关的信息。
根据这样的构成，例如能够使用行车记录仪218的拍摄图像来对移动物进行警告显示。
另外，所述显示单元构成在所述图像处理装置的外部。另外，所述显示单元是指示器(219)。根据这样的构成，例如能够使用行车记录仪218的拍摄图像，对指示器进行显示控制。
另外，所述图像处理装置还具备所述显示单元(224)。根据这样的构成，例如能够使用行车记录仪218的拍摄图像，在行车记录仪218上对移动物进行警告显示。
另外，在所述车辆行驶的期间，所述获取单元以所述预定的时间间隔获取多个由所述拍摄单元所拍摄的图像。
根据这样的构成，能够使用由拍摄单元以预定的帧率拍摄的帧图像。
另外，所述图像处理装置是行车记录仪(218)。根据这样的构成，能够在行车记录仪218上实现本实施方式的动作。
本发明并不限定于上述的实施方式，能够在发明的主旨的范围内进行各种变形、变更。

Claims (17)

1.一种图像处理装置，其中，
所述图像处理装置具备：
拍摄单元，其对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄；
获取单元，其以预定的时间间隔获取多个由所述拍摄单元所拍摄的图像；
生成单元，其基于由所述获取单元所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器；以及
存储单元，其存储由所述生成单元所生成的所述掩模滤波器。
2.根据权利要求1所述的图像处理装置，其中，所述生成单元基于从由所述获取单元所获取的多个图像得到的平均化图像来生成所述掩模滤波器。
3.根据权利要求2所述的图像处理装置，其中，所述生成单元通过对由所述获取单元所获取的所述多个图像各自的各像素的像素值沿着时序进行移动平均来获取所述平均化图像。
4.根据权利要求2或3所述的图像处理装置，其中，所述生成单元通过对所述平均化图像进行二值化处理来生成所述掩模滤波器。
5.根据权利要求1或2所述的图像处理装置，其中，所述图像处理装置还具备处理单元，所述处理单元使用存储于所述存储单元的所述掩模滤波器来对由所述拍摄单元所拍摄的图像进行掩模处理。
6.根据权利要求5所述的图像处理装置，其中，所述图像处理装置对由所述处理单元进行了掩模处理的图像进行图像处理。
7.根据权利要求6所述的图像处理装置，其中，所述图像处理包含亮度调整。
8.根据权利要求5所述的图像处理装置，其中，所述图像处理装置还具备检测单元，所述检测单元基于由所述处理单元进行了掩模处理的图像来检测所述车辆的外部的移动体。
9.根据权利要求8所述的图像处理装置，其中，所述图像处理装置还具备显示控制单元，所述显示控制单元基于所述检测单元的检测结果来控制显示单元。
10.根据权利要求9所述的图像处理装置，其中，所述显示控制单元将所述显示单元控制为显示与由所述检测单元所检测的所述移动体相对于所述车辆的位置相关的信息。
11.根据权利要求9或10所述的图像处理装置，其中，所述显示单元构成在所述图像处理装置的外部。
12.根据权利要求11所述的图像处理装置，其中，所述显示单元是指示器。
13.根据权利要求9或10所述的图像处理装置，其中，所述图像处理装置还具备所述显示单元。
14.根据权利要求1或2所述的图像处理装置，其中，在所述车辆行驶的期间，所述获取单元以所述预定的时间间隔获取多个由所述拍摄单元所拍摄的图像。
15.根据权利要求1或2所述的图像处理装置，其中，所述图像处理装置是行车记录仪。
16.一种图像处理方法，其中，
所述图像处理方法具有：
获取步骤，在所述获取步骤中，以预定的时间间隔获取多个由拍摄单元所拍摄的图像，所述拍摄单元对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄；
生成步骤，在所述生成步骤中，基于在所述获取步骤中所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器；以及
存储步骤，在所述存储步骤中，将在所述生成步骤中所生成的所述掩模滤波器存储于存储部。
17.一种计算机可读取存储介质，其中，
所述计算机可读取存储介质存储有用于使计算机以如下方式发挥功能的程序：
以预定的时间间隔获取多个由拍摄单元所拍摄的图像，所述拍摄单元对包含与车辆的内部对应的区域以及与外部对应的区域在内的图像进行拍摄，
基于所获取的多个图像中的变化量，生成用于对由所述拍摄单元所拍摄的图像中的、与所述车辆的内部对应的区域进行掩模的掩模滤波器，
将所生成的所述掩模滤波器存储于存储部。
CN202210187271.7A 2021-03-12 2022-02-28 图像处理装置、图像处理方法以及计算机可读取存储介质 Pending CN115131749A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-040660 2021-03-12
JP2021040660A JP2022140026A (ja) 2021-03-12 2021-03-12 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN115131749A true CN115131749A (zh) 2022-09-30

Family

ID=83193916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210187271.7A Pending CN115131749A (zh) 2021-03-12 2022-02-28 图像处理装置、图像处理方法以及计算机可读取存储介质

Country Status (3)

Country Link
US (1) US20220292686A1 (zh)
JP (1) JP2022140026A (zh)
CN (1) CN115131749A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11851060B2 (en) * 2020-03-15 2023-12-26 Ron Zass Controlling vehicles in response to windows

Also Published As

Publication number Publication date
US20220292686A1 (en) 2022-09-15
JP2022140026A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
CN106205175B (zh) 用于车辆的显示设备和车辆
CN106167045B (zh) 驾驶人员辅助装置及其控制方法
EP3184365B1 (en) Display device for vehicle and control method thereof
CN104115198B (zh) 车辆合流辅助系统和方法
EP3211616A2 (en) Driver assistance apparatus
US11180164B2 (en) Vehicle control apparatus, vehicle, and control method
JP6935800B2 (ja) 車両制御装置、車両制御方法、および移動体
CN109204305B (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
CN106314424A (zh) 基于汽车的超车辅助方法、装置及汽车
CN111731296A (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
CN111731318B (zh) 车辆控制装置、车辆控制方法、车辆以及存储介质
CN116438583A (zh) 可用泊车位识别装置、可用泊车位识别方法和程序
CN114365208B (zh) 驾驶辅助装置、驾驶辅助方法以及存储介质
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
US11052822B2 (en) Vehicle control apparatus, control method, and storage medium for storing program
CN111762175A (zh) 控制装置、控制方法以及存储介质
KR101985496B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
CN113370972B (zh) 行驶控制装置、行驶控制方法以及存储程序的计算机可读取存储介质
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
CN111098864B (zh) 提示方法、装置、自动驾驶车辆及存储介质
CN111216631B (zh) 行驶控制装置、控制方法以及存储程序的存储介质
CN111712865B (zh) 车载系统
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム
KR20170087618A (ko) 차량용 디스플레이 장치 및 그 동작 방법
CN117651981A (zh) 信息处理装置、信息处理方法以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination