CN113497933B - 内部设备的异常判断装置、异常判断方法以及记录介质 - Google Patents
内部设备的异常判断装置、异常判断方法以及记录介质 Download PDFInfo
- Publication number
- CN113497933B CN113497933B CN202110291662.9A CN202110291662A CN113497933B CN 113497933 B CN113497933 B CN 113497933B CN 202110291662 A CN202110291662 A CN 202110291662A CN 113497933 B CN113497933 B CN 113497933B
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- abnormality
- abnormality determination
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims description 68
- 238000005286 illumination Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008033 biological extinction Effects 0.000 description 3
- 208000004350 Strabismus Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明提供能够使判断内部设备有无异常的处理简洁化的内部设备的异常判断装置、异常判断方法以及程序等。ECU(50)是判断内部设备有无异常的异常判断装置,该内部设备包括:获取车辆(100)的内部的图像的图像获取部(21);获取图像的亮度的亮度获取部(22);和将车辆(100)的乘员照亮的LED(30)。ECU(50)具有基于所述图像的亮度来判断图像获取部(21)以及LED(30)有无异常的异常判断部(52a)。
Description
技术领域
本发明涉及内部设备的异常判断装置等。
背景技术
提出有如下技术,其用摄像头拍摄车辆的驾驶者,基于该拍摄结果来检测驾驶者的打瞌睡和分神斜视等。另外,还提出了如下技术,其检测拍摄驾驶者的摄像头、和当其拍摄时将驾驶者照亮的照明装置有无异常。作为这种技术,例如在专利文献1中记载了检测照明装置以及拍摄装置的异常的异常检测装置,其中,该照明装置对驾驶车辆的驾驶者照射光,该拍摄装置拍摄被该照明装置照射了光的驾驶者。
现有技术文献
专利文献
专利文献1:日本特开2009-159568号公报
发明内容
但是,在专利文献1所述的技术中,用各自不同的方法来执行照明装置的异常检测的处理和拍摄装置的异常检测的处理。该结果为,导致异常检测装置中的处理复杂化,另外,检测到异常为止的时间变长。关于包括照明装置和拍摄装置的内部设备的异常检测,仍然具有谋求简洁化的空间,但专利文献1中没有记载这种技术。
因此,本发明的课题在于,提供能够使判断内部设备有无异常的处理简洁化的内部设备的异常判断装置等。
为了解决上述课题,本发明的内部设备的异常判断装置判断内部设备有无异常,该内部设备包括:获取移动体的内部的图像的图像获取部;获取所述图像的亮度的亮度获取部;和将所述移动体的乘员照亮的照明部,所述异常判断装置的特征在于,具有异常判断部,其基于所述图像的亮度来判断所述图像获取部以及所述照明部有无异常。
发明效果
根据本发明,提供能够使判断内部设备有无异常的处理简洁化的内部设备的异常判断装置等。
附图说明
图1是第1实施方式的异常判断装置中作为有无异常的判断对象的车室摄像头和驾驶席侧LED、副驾驶侧LED所搭载的车辆的车室的说明图。
图2是第1实施方式的异常判断装置中,图1所示的区域K的局部放大图。
图3是包括第1实施方式的异常判断装置、即ECU的功能框图。
图4是第1实施方式的异常判断装置中,关于车室摄像头和LED有无异常的判断的说明图。
图5是第1实施方式的异常判断装置中,关于车室摄像头和LED有无异常而ECU所执行的处理的流程图。
图6是第2实施方式的异常判断装置中,关于车室摄像头和LED有无异常而ECU所执行的处理的流程图。
图7A是第3实施方式的异常判断装置中,关于车室摄像头和LED有无异常而ECU所执行的处理的流程图。
图7B是第3实施方式的异常判断装置中,关于车室摄像头和LED有无异常而ECU所执行的处理的流程图。
附图标记说明
10显示器(显示部)
20车室摄像头(内部设备)
21图像获取部(内部设备)
22亮度获取部
30LED(内部设备、照明部)
31、31a、31b、31c驾驶席侧LED(内部设备、照明部、第1照明部)
32、32a、32b、32c副驾驶侧LED(内部设备、照明部、第2照明部)
40速度检测部
50ECU(内部设备的异常判断装置)
51记忆部
52控制部
52a异常判断部
52b LED控制部
52c显示控制部
100车辆(移动体)
Q车室(移动体的内部)
具体实施方式
《第1实施方式》
图1是第1实施方式的异常判断装置中作为有无异常的判断对象的车室摄像头20和驾驶席侧LED31、副驾驶侧LED32所搭载的车辆100的车室Q的说明图。
以下,在说明ECU50(Electronic Control Unit,异常判断装置:参照图3)之前,简单说明有无异常的判断对象、即车室摄像头20和驾驶席侧LED31(照明部、第1照明部)、副驾驶侧LED32(照明部、第2照明部)等。
如图1所示,在仪表盘P中,在车宽方向的中央附近设置有显示器10(显示部)。显示器10执行关于车辆100的规定显示。例如,在显示器10中除了显示车辆100的状态、和车辆100周围的状况之外,还显示对从现在地至目的地的路径进行表示的规定的导航画面。在显示器10的附近,除了接下来说明的车室摄像头20之外,还设置有驾驶席侧LED31和副驾驶侧LED32。
图2是图1所示的区域K的局部放大图。
图2所示的车室摄像头20是除了拍摄设有方向盘H(参照图1)的驾驶席的乘员之外还拍摄副驾驶席和后部座席的乘员的摄像头。如图2所示,仪表盘P中,在显示器10的附近设置有车室摄像头20。若更详细说明,则在显示器10的下侧,在车宽方向的中央附近设置有车室摄像头20。
驾驶席侧LED31以及副驾驶侧LED32将车辆100(参照图1)的乘员照亮,设置在仪表盘P的规定部位。驾驶席侧LED31(第1照明部)具有在车辆100的内部将车辆100的车宽方向一侧(图2的纸面右侧)照亮的功能。该驾驶席侧LED31包括在车宽方向上隔开规定间隔配置的三个LED31a、31b、31c。作为这种LED31a、31b、31c,例如能够使用红外线LED(InfraredLight Emitting Diode)。
副驾驶侧LED32(第2照明部)具有在车辆100的内部将车辆100的车宽方向另一侧(图2的纸面左侧)照亮的功能。该副驾驶侧LED32包括在车宽方向上隔开规定间隔配置的三个LED32a、32b、32c。作为这种LED32a、32b、32c,例如能够使用红外线LED。
在图2的例子中,在车室摄像头20的下侧,LED31a、31b、31c、32a、32b、32c以该顺序隔开规定间隔沿车宽方向配置为一列。另外,在车宽方向上,在驾驶席侧(图2的纸面右侧)配置有LED31a、31b、31c,另一方面,在副驾驶侧(图2的纸面左侧)配置有LED32a、32b、32c。
此外,车辆100的“内部设备”的构成包括车室摄像头20、驾驶席侧LED31和副驾驶侧LED32。另外,将驾驶席侧LED31以及副驾驶侧LED32总称为LED30。
当车室摄像头20对坐在驾驶席和副驾驶席的乘员进行拍摄时,LED30被点亮。由此,即使在经由前挡风玻璃WF(参照图1)和后挡风玻璃WD(参照图1)几乎没有光射入的夜间,也能够通过车室摄像头20来拍摄乘员。
图3是包括作为异常判断装置的ECU50的功能框图。
如图3所示,车室摄像头20具有图像获取部21和亮度获取部22。
图像获取部21具有获取车辆100的内部的图像的功能。作为这种图像获取部21,虽未图示,但可以使用具有光学镜头、拍摄元件和A/D转换器的构成。作为上述拍摄元件,例如能够使用CCD传感器(Charge Coupled Device)和CMOS传感器(Complementary MetalOxide Semiconductor)。由图像获取部21获取的图像的数据向亮度获取部22输出,并且向ECU50输出。
亮度获取部22获取来自图像获取部21的图像的亮度。也就是说,亮度获取部22基于从图像获取部21输入的图像的数据来获取该图像中所含的各像素的亮度。此外,在从图像获取部21输入的图像中,也可以预先设定由驾驶席侧LED31和副驾驶侧LED32照亮的区域。并且,亮度获取部22也可以将上述区域的亮度的平均值作为从图像获取部21输入的“图像的亮度”来获取。由亮度获取部22获取的亮度的数据向ECU50输出。
图3所示的速度检测部40检测车辆100移动的速度。例如,速度检测部40基于车辆100中的车轮在单位时间内的转速来检测车辆100的速度。这样地由速度检测部40检测到的速度的数据向ECU50输出。
ECU50(异常判断装置)具有控制车辆100的各设备的功能。虽未图示,但ECU50的构成包括CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random AccessMemory)、和各种接口等的电子回路。并且,读取ROM内记忆的程序并在RAM内展开,CPU执行各种处理。
如图3所示,ECU50具有记忆部51和控制部52。在记忆部51内,除了规定的程序,还存储有从图像获取部21、亮度获取部22、和速度检测部40等输入的规定的数据。
控制部52基于记忆部51内存储的数据来控制包括车室摄像头20、LED30及显示器10在内的各设备。如图3所示,控制部52具有异常判断部52a、LED控制部52b、和显示控制部52c。
异常判断部52a具有判断包括LED30以及图像获取部21的“内部设备”有无异常的功能。LED控制部52b具有按规定控制LED30的功能。显示控制部52c具有按规定控制显示器10的功能。此外,随后详细说明异常判断部52a、LED控制部52b和显示控制部52c。
除此之外,也可以为,ECU50基于车室摄像头20的拍摄结果来检测驾驶者的视线。例如,ECU50将驾驶者的眼球中LED30的光照射到的部位设为规定的基准点(几乎不动的点),基于与该基准点的位置关系来确定驾驶者的眼球的瞳孔位置。由此,ECU50检测驾驶者的视线,基于该检测结果来检测驾驶者的打瞌睡和分神斜视等。此外,上述的视线检测的方法是一例,并不限定于此。
图4是关于车室摄像头和LED中有无异常的判断的说明图(适当参照图2、图3)。
此外,图4所示的纵轴是在从ECU50向LED30输出了点亮指令的状态下由亮度获取部22获取的图像的亮度。作为这种亮度,也可以使用作为车室摄像头20的拍摄结果的图像的各像素中的由LED30照射的规定区域的亮度的平均值。
以下,将作为车室摄像头20的拍摄结果的图像的亮度仅称为“图像的亮度”。另外,作为图4所示的亮度阈值的第1阈值LUM1、第2阈值LUM2、以及第3阈值LUM3的大小关系为LUM1>LUM2>LUM3。也就是说,第2阈值LUM2是小于第1阈值LUM1且大于第3阈值LUM3的亮度阈值。
图像的亮度为第1阈值LUM1以上的“正常范围”是成为ECU50判断为车室摄像头20的图像获取部21以及LED30均正常时的基准的亮度范围。若车室摄像头20正常工作,并且LED30也正常点亮,则获得的图像比较明亮,图像的亮度为第1阈值LUM1以上。
图像的亮度不足第3阈值LUM3的“车室摄像头的异常范围”是成为ECU50判断为至少车室摄像头20的图像获取部21具有异常时的基准的亮度范围。在车室摄像头20的图像获取部21具有异常的情况下,大多会导致图像的亮度变得极端低。
图像的亮度不足第2阈值LUM2且为第3阈值LUM3以上的“LED的异常范围”是成为ECU50判断为LED30具有异常时的基准的亮度范围。在LED30具有异常的情况下,图像的亮度与正常时相比变低。
顺便来说,即使在“内部设备”正常的情况下,或即使在“内部设备”发生了某种异常的情况下,图像的亮度都不会成为不足第1阈值LUM1且为第2阈值LUM2以上的范围内。
另外,第1实施方式中,作为一例而说明预先设定了第1阈值LUM1、第2阈值LUM2及第3阈值LUM3的情况。此外,在第2实施方式中说明第1阈值LUM1和第2阈值LUM2为可变的情况。
图5是关于车室摄像头和LED有无异常而ECU所执行的处理的流程图(适当参照图3、图4)。
此外,也可以为,当图5的“开始”时,车辆100例如处于停在出货前或保养时的检查用暗室(未图示)内的状态(虽接入电源但未行驶的状态)。
步骤S101中,ECU50通过LED控制部52b向LED30输出点亮指令。也就是说,ECU50向驾驶席侧LED31以及副驾驶侧LED32输出点亮指令。
步骤S102中,ECU50读取图像的亮度LUM。也就是说,ECU50读取作为车室摄像头20的拍摄结果的图像的亮度LUM。
步骤S103中,ECU50判断图像的亮度LUM是否为第1阈值LUM1(参照图4)以上。在图像的亮度LUM为第1阈值LUM1以上的情况下(S103:是),ECU50的处理向步骤S104前进。
步骤S104中,ECU50通过异常判断部52a判断为内部设备正常。也就是说,ECU50判断为图像获取部21以及LED30均正常。来自LED30的红外线恰当地照射车室Q(参照图1),该红外线由图像获取部21恰当地转换为规定的电气信号(表示各像素亮度的电气信号),因此作为该结果为,图像的亮度成为第1阈值LUM1以上。
另一方面,在步骤S103中,图像的亮度LUM不足第1阈值LUM1的情况下(S103:否),ECU50的处理向步骤S105前进。步骤S105中,ECU50判断图像的亮度LUM是否不足第3阈值LUM3。在图像的亮度LUM不足第3阈值LUM3的情况下(S105:是),ECU50的处理向步骤S106前进。
步骤S106中,ECU50通过异常判断部52a判断为车室摄像头20的图像获取部21具有异常(异常判断步骤)。这是因为图像的亮度LUM极端变低至正常时不可能的程度。步骤S107中,ECU50报告异常。例如,ECU50在显示器10显示应进行车辆100保养的意思。
另一方面,在步骤S105中,图像的亮度LUM为第3阈值LUM3以上的情况下(S105:否),ECU50的处理向步骤S108前进。
步骤S108中,ECU50判断图像的亮度LUM是否为第3阈值LUM3以上且不足第2阈值LUM2。在图像的亮度LUM为第3阈值LUM3以上且不足第2阈值LUM2的情况下(S108:是),ECU50的处理向步骤S109前进。
步骤S109中,ECU50通过异常判断部52a判断为LED30具有异常(异常判断步骤)。在LED30具有异常的情况下,作为车室摄像头20的拍摄结果的图像变暗,因此结果上图像的亮度变低。这样地,在第1实施方式的例子中,异常判断部52a仅基于图像的亮度LUM来判断图像获取部21以及LED30有无异常。
步骤S110中,ECU50报告异常。例如,ECU50通过显示控制部52c而在显示器10显示应进行车辆100保养的意思。
在进行步骤S104、S107或S110的处理之后,ECU50结束一系列的处理(结束)。
<效果>
第1实施方式的ECU50基本如上那样地构成。接着,说明由ECU50的处理实现的作用和效果。
如图1~图5所示,ECU50(内部设备的异常判断装置)是判断内部设备有无异常的异常判断装置,该内部设备包括:获取车辆100(移动体)的内部的图像的图像获取部21;获取该图像的亮度的亮度获取部22;和将车辆100的乘员照亮的LED30(照明部),ECU50具有基于图像的亮度来判断LED30以及图像获取部21有无异常的异常判断部52a。
根据这种构成,与用不同方法独立进行LED30的异常判断和图像获取部21的异常判断的情况相比,能够使异常判断部52a的处理简洁化。另外,能够大幅缩短由异常判断部52a获得判断结果为止的时间。
另外,如图1~图5所示,在向LED30(照明部)输出了点亮指令的状态下,图像的亮度为第1阈值LUM1以上的情况下(图5的S103:是),异常判断部52a判断为上述的内部设备正常(S104)。另外,在向LED30输出了点亮指令的状态下,图像的亮度不足第2阈值LUM2且为第3阈值LUM3以上的情况下(S108:是),异常判断部52a判断为LED30具有异常(S109)。另外,在向LED30输出了点亮指令的状态下,图像的亮度不足第3阈值LUM3的情况下(S105:是),异常判断部52a判断为至少图像获取部21具有异常。此外,第2阈值LUM2小于第1阈值LUM1且大于第3阈值LUM3。
根据这种构成,ECU50通过比较由图像获取部21获取的图像的亮度与各阈值的大小,能够简洁且迅速地判断内部设备有无异常。
《第2实施方式》
第2实施方式与第1实施方式的不同点在于,ECU50在向LED30输出了熄灭指令的状态下获取图像的亮度,基于该亮度设定第1阈值LUM1以及第2阈值LUM2。此外,其他部分(车辆100的构成等:参照图1~图4)与第1实施方式相同。因此,说明与第1实施方式不同的部分,省略说明重复部分。
图6是关于车室摄像头和LED有无异常而ECU所执行的处理的流程图(适当参照图3、图4)。
此外,优选为,在图6的“开始”时,车辆100的速度为规定值以下(包括速度为零的状态)。也就是说,优选为,在车辆100的速度为规定值以下的状态下,ECU50判断车室摄像头20的图像获取部21和LED30有无异常(进行图6的一系列处理)。由此,例如能够防止在光的照射情况不同的环境下进行图像获取部21的异常判断和LED30的异常判断。
顺便来讲,图6的一系列处理所需要的时间例如为几毫秒,由此即使在没有设置上述速度条件的情况下,也不担心会对图像获取部21和LED30的异常判断产生障碍。
在图6的步骤S201中,ECU50通过LED控制部52b向LED30输出熄灭指令。
接着,在步骤S202中,ECU50读取图像的亮度LUM。由此,ECU50能够获取LED30熄灭的状态下的图像的亮度LUM。该亮度LUM反映了经由前挡风玻璃FW(参照图1)和后挡风玻璃DW(参照图1)照射的外界光(自然光)的明亮程度。此外,将在向LED30输出了熄灭指令的状态下获取图像的亮度的模式称为“外界光检测模式”。
接着,在步骤S203中,ECU50设定与图像的亮度有关的第1阈值LUM1(参照图4)以及第2阈值LUM2(参照图4)。例如,ECU50根据由外界光检测模式获取的图像的亮度越高而将第1阈值LUM1以及第2阈值LUM2设定为越高的值。由此,即使在外界光射入车室Q(参照图1)的状况下,ECU50也能够以高精度判断图像获取部21和LED30有无异常。
此外,也可以设定为,第1阈值LUM1和第2阈值LUM2可变,但第3阈值LUM3(参照图4)为固定值。如上述所述,第3阈值LUM3用在判断图像获取部21有无异常时,这样设定是因为,在图像获取部21具有异常的情况下,无关车室Q的亮度,由ECU50读取的图像的亮度会极端变低。
在进行步骤S203的处理之后,ECU50适当执行图6所示的步骤S101~S110的处理。此外,步骤S101~S110的各处理与第1实施方式(参照图5)相同,因此省略说明。另外,将上述的外界光检测模式(S201、S202)的执行后,ECU50在向LED30输出了点亮指令的状态下获取图像的亮度的(S101、S102)模式称为“内部检测模式”。
<效果>
第2实施方式的ECU50基本以上那样构成。接着,说明由ECU50的处理实现的作用和效果。
如图1~图4、图6所示,ECU50(内部设备的异常判断装置)的异常判断部52a在向LED30(照明部)输出了熄灭指令的状态下,执行由亮度获取部22获取表示外界光的明亮程度的图像的亮度的外界光检测模式(图6的S201、S201),在向LED30输出了点亮指令的状态下,执行由亮度获取部22获取图像的亮度的内部检测模式(S101、S102)。并且,异常判断部52a基于外界光检测模式下的图像的亮度来设定在内部检测模式下使用的第2阈值LUM2(S203)。
根据这种构成,即使在外界光射入车室Q的状况下,ECU50也能够恰当地判断图像获取部21和LED30有无异常。
另外,如图1~图4、图6所示,ECU50(内部设备的异常判断装置)的异常判断部52a基于外界光检测模式下的图像的亮度来设定在内部检测模式下使用的第1阈值LUM1(S203)。
根据这种构成,即使在外界光射入车室Q的状况下,ECU50也能够恰当地判断图像获取部21和LED30有无异常。
另外,如图3所示,ECU50(内部设备的异常判断装置)具有检测车辆100(移动体)的速度的速度检测部40,异常判断部52a优选为,在车辆100的速度为规定值以下的情况下执行外界光检测模式以及内部检测模式。
根据这种构成,在光的照射情况大致相同的环境下进行图像获取部21和LED30的异常判断,由此能够恰当进行异常判断。
另外,优选为,在车辆100的速度大于规定值的情况下,异常判断部52a不执行外界光检测模式以及内部检测模式。
根据这种构成,与图像获取部21以及LED30有无异常有关的误判断进一步变得那样发生。
《第3实施方式》
第3实施方式与第2实施方式的不同点在于,关于LED30(参照图2、图3),独立判断驾驶席侧LED31有无异常以及副驾驶侧LED32有无异常。此外,其他部分(车辆100的构成等:参照图1~图4)与第2实施方式相同。因此,说明与第2实施方式不同的部分,省略说明重复部分。
图7A、图7B是关于车室摄像头和LED有无异常而ECU所执行的处理的流程图(适当参照图3、图4)。
此外,在图7A的“开始”时,车辆100例如可以停止,另外也可以以规定值以下的速度行驶。另外,图7A的步骤S301~S303的处理是与第2实施方式的步骤S201~S203(参照图6)同样的,因此省略说明。
图7A的步骤S303中,在设定了第1阈值LUM1以及第2阈值LUM2后,ECU50的处理向步骤S304前进。
在步骤S304中,ECU50通过LED控制部52b向驾驶席侧LED31输出点亮指令,并向副驾驶侧LED32输出熄灭指令。
接着,在步骤S305中,ECU50读取图像的亮度LUM。此外,将在向驾驶席侧LED31输出点亮指令并向副驾驶侧LED32输出了熄灭指令的状态下获取图像的亮度LUM的模式称为“第1内部检测模式”。
在步骤S306中,ECU50判断图像的亮度LUM是否为第1阈值LUM1以上。在图像的亮度LUM为第1阈值LUM1以上的情况下(S306:是),ECU50的处理向图7B的步骤S313前进。另一方面,在步骤S306中,在图像的亮度LUM不足第1阈值LUM1的情况下(S306:否),ECU50的处理向步骤S307前进。
并且,在步骤S307中,图像的亮度LUM不足第3阈值LUM3的情况下(S307:是),ECU50的异常判断部52a判断为图像获取部21具有异常(S308),报告该异常(S309)。另一方面,在步骤S307中,图像的亮度LUM为第3阈值LUM3以上的情况下(S307:否),ECU50的处理向步骤S310前进。
并且,在步骤S310中,图像的亮度LUM为第3阈值LUM3以上且不足第2阈值LUM2的情况下(S310:是),ECU50判断为驾驶席侧LED31具有异常(S311),报告该异常(S312)。在进行步骤S309或步骤S312的处理后,ECU50的处理向7B的步骤S313前进。
在图7B的步骤S313中,ECU50通过LED控制部52b向驾驶席侧LED31输出熄灭指令,并向副驾驶侧LED32输出点亮指令。
接着,步骤S314中,ECU50读取图像的亮度LUM。此外,将在向驾驶席侧LED31输出熄灭指令并向副驾驶侧LED32输出了点亮指令的状态下获取图像的亮度LUM的模式称为“第2内部检测模式”。
步骤S315中,ECU50再次判断图像的亮度LUM是否为第1阈值LUM1以上。在图像的亮度LUM为第1阈值LUM1以上的情况下(S315:是),ECU50的异常判断部52a判断为内部设备正常(S316)。
另一方面,在步骤S315中,图像的亮度LUM不足第1阈值LUM1的情况下(S315:否),ECU50的处理向步骤S317前进。
并且,在步骤S317中,图像的亮度LUM为第3阈值LUM3以上且不足第2阈值LUM2的情况下(S317:是),ECU50的异常判断部52a判断为副驾驶侧LED32具有异常(S318),报告该异常(S319)。在进行步骤S316或步骤S319的处理后,ECU50结束一系列的处理(结束)。
第3实施方式的ECU50基本以上那样构成。接着,说明由ECU50的处理实现的作用和效果。
如图1~图4、图7A、图7B所示,LED30(照明部)具有在车辆100(移动体)的内部将车辆100的宽度方向一侧照亮的驾驶席侧LED31(第1照明部)、和在车辆100(移动体)的内部将车辆100的宽度方向另一侧照亮的副驾驶侧LED32(第2照明部)。并且,异常判断部52a在向驾驶席侧LED31输出点亮指令并向副驾驶侧LED32输出了熄灭指令的状态下,执行由亮度获取部22获取图像的亮度的第1内部检测模式,基于该第1内部检测模式的结果判断驾驶席侧LED31有无异常。而且,异常判断部52a在向驾驶席侧LED31输出熄灭指令并向副驾驶侧LED32输出了点亮指令的状态下,执行由亮度获取部22获取图像的亮度的第2内部检测模式,基于该第2内部检测模式的结果来判断副驾驶侧LED32有无异常。
根据这种构成,在LED30具有异常的情况下,异常判断部52a能够确定驾驶席侧LED31以及副驾驶侧LED32中的哪侧具有异常。因此,车辆100的保养时作业员容易特定LED30的异常部位。
《变形例》
以上,用各实施方式说明了本发明的ECU50(参照图3)等,但并不限定于这些记载,能够进行各种变更。例如,异常判断部52a判断内部设备有无异常时,可以进行如下处理。也就是说,也可以为,车室摄像头20的图像获取部21设置在显示器10(显示部)的附近(参照图2),异常判断部52a在显示器10工作的状态下执行外界光检测模式以及内部检测模式的双方,或在显示器10未工作的状态下执行外界光检测模式以及内部检测模式的双方。
根据这种构成,能够缓和显示器10的状态对内部设备有无异常的判断给予的影响。
另外,在各实施方式中说明了ECU50在比较了图像的亮度LUM和第1阈值LUM1的大小之后(图5的S103)比较亮度LUM和其他的各阈值的大小的处理,但并不限于此。例如,也可以为,异常判断部52a在外界光检测模式的紧后,执行图像的亮度LUM是否不足第3阈值LUM3的判断,在图像的亮度LUM不足第3阈值LUM3的情况下,判断为图像获取部21具有异常,不向内部检测模式转移。
根据这种构成,在判断为图像获取部21具有异常的情况下,异常判断部52a不向内部检测模式转移,由此与各实施方式相比,能够更迅速地做出内部设备有无异常的判断结果。
另外,在第3实施方式中说明了内部检测模式下ECU50使驾驶席侧LED31以及副驾驶侧LED32中的一方点亮并使另一方熄灭来判断各自有无异常的处理,但并不限于此。例如,也可以为,异常判断部52a在向驾驶席侧LED31(第1照明部)以及副驾驶侧LED32(第2照明部)输出了点亮指令的状态下,执行由亮度获取部22获取图像的亮度的内部检测模式,基于内部检测模式下的图像中的由驾驶席侧LED31照亮的区域的亮度来判断驾驶席侧LED31有无异常。而且,也可以为,异常判断部52a基于内部检测模式下的图像中的由副驾驶侧LED32(第2照明部)照亮的区域的亮度来判断副驾驶侧LED32有无异常。
根据这种构成,异常判断部52a能够确定驾驶席侧LED31以及副驾驶侧LED32中的哪侧具有异常。因此,车辆100的保养时作业员容易特定LED30的异常部位。
另外,各实施方式中说明了车室摄像头20(参照图3)具有图像获取部21以及亮度获取部22双方的情况,但并不限于此。例如,也可以为,车室摄像头20具有图像获取部21,另一方面,ECU50和外部的服务器(未图示)承担亮度获取部22的功能。
另外,各实施方式中说明了ECU50(图3参照)具有异常判断部52a的情况,但并不限于此。例如,也可以为,外部的服务器(未图示)承担异常判断部52a的功能。
图2所示的驾驶席侧LED31和副驾驶侧LED32中,LED的个数和配置(参照图2)是一例,能够适当变更。
另外,也可以为,车室摄像头20和LED30以外的规定设备包含在“内部设备”内,异常判断部52a通过规定的方法一起判断该设备有无异常。
另外,第2、第3实施方式中,说明了ECU50基于由外界光检测模式获取的图像的亮度来设定第1阈值LUM1以及第2阈值LUM2的双方(也就是说,各阈值可变)的情况,但并不限于此。例如,也可以为,第1阈值LUM1以及第2阈值LUM2中的一方可变,另一方为固定值。
另外,第2、第3实施方式中,说明了ECU50在执行外界光检测模式后执行内部检测模式的处理,但并不限于此。例如,也可以为,ECU50在执行了内部检测模式后,执行外界光检测模式,基于该外界光检测模式下的图像的亮度来设定第1阈值LUM1和第2阈值LUM2,而且基于内部检测模式的图像的亮度来进行规定的异常判断。
另外,将车辆100的乘员照亮的“照射部”的类型不限于LED,可以使用其他类型的光学设备。
另外,第2实施方式中,说明了基于将LED30设为熄灭状态的情况下的图像的亮度来设定第1阈值LUM1和第2阈值LUM2的情况,但并不限于此。例如,也可以为,将第1阈值LUM1和第2阈值LUM2设为固定值,对于将LED30设为熄灭状态的情况下的图像的亮度,从随后将LED30设为点亮状态的情况下的图像的亮度中减去。此外,针对第3实施方式也能够同样处理。
另外,各实施方式除了四轮的车辆、二轮和三轮的车辆之外,还能够适用于船舶和航空机等各种移动体。另外,也可以为,将用于使计算机执行各实施方式中所说明的方法(内部设备的异常判断方法)的程序等存储在存储器和硬盘或IC(Integrated Circuit)卡等的记录介质内。
Claims (10)
1.一种内部设备的异常判断装置,其判断内部设备有无异常,该内部设备包括:获取移动体的内部的图像的图像获取部;获取所述图像的亮度的亮度获取部;和将所述移动体的乘员照亮的照明部,所述内部设备的异常判断装置的特征在于,
具有异常判断部,其基于所述图像的亮度来判断所述图像获取部以及所述照明部有无异常,
在向所述照明部输出了点亮指令的状态下,所述图像的亮度为第1阈值以上的情况下,所述异常判断部判断为所述内部设备正常,
在向所述照明部输出了点亮指令的状态下,所述图像的亮度不足第2阈值且为第3阈值以上的情况下,所述异常判断部判断为所述照明部具有异常,
在向所述照明部输出了点亮指令的状态下,所述图像的亮度不足所述第3阈值的情况下,所述异常判断部判断为至少所述图像获取部具有异常,
所述第2阈值小于所述第1阈值且大于所述第3阈值。
2.根据权利要求1所述的内部设备的异常判断装置,其特征在于,
所述异常判断部在向所述照明部输出了熄灭指令的状态下执行外界光检测模式,在向所述照明部输出了点亮指令的状态下执行内部检测模式,该外界光检测模式下,通过所述亮度获取部来获取表示外界光的明亮程度的所述图像的亮度,该内部检测模式下,通过所述亮度获取部来获取所述图像的亮度,
所述异常判断部基于所述外界光检测模式下的所述图像的亮度来设定在所述内部检测模式下使用的所述第2阈值。
3.根据权利要求2所述的内部设备的异常判断装置,其特征在于,
所述异常判断部基于所述外界光检测模式下的所述图像的亮度来设定在所述内部检测模式下使用的所述第1阈值。
4.根据权利要求2或3所述的内部设备的异常判断装置,其特征在于,
具有检测所述移动体的速度的速度检测部,
所述异常判断部在所述速度为规定值以下的情况下,执行所述外界光检测模式以及所述内部检测模式。
5.根据权利要求1所述的内部设备的异常判断装置,其特征在于,
所述照明部具有在所述移动体的内部将所述移动体的宽度方向一侧照亮的第1照明部、和在所述移动体的内部将所述移动体的宽度方向另一侧照亮的第2照明部,
所述异常判断部在向所述第1照明部输出了点亮指令并向所述第2照明部输出了熄灭指令的状态下,执行通过所述亮度获取部来获取所述图像的亮度的第1内部检测模式,基于该第1内部检测模式的结果来判断所述第1照明部有无异常,
在向所述第1照明部输出了熄灭指令并向所述第2照明部输出了点亮指令的状态下,执行通过所述亮度获取部来获取所述图像的亮度的第2内部检测模式,基于该第2内部检测模式的结果来判断所述第2照明部有无异常。
6.根据权利要求1所述的内部设备的异常判断装置,其特征在于,
所述照明部具有在所述移动体的内部将所述移动体的宽度方向一侧照亮的第1照明部、和在所述移动体的内部将所述移动体的宽度方向另一侧照亮的第2照明部,
所述异常判断部在向所述第1照明部以及所述第2照明部输出了点亮指令的状态下,执行通过所述亮度获取部来获取所述图像的亮度的内部检测模式,
基于所述内部检测模式下的所述图像中的由所述第1照明部照亮的区域的亮度来判断所述第1照明部有无异常,
基于所述内部检测模式下的所述图像中的由所述第2照明部照亮的区域的亮度来判断所述第2照明部有无异常。
7.根据权利要求2或3所述的内部设备的异常判断装置,其特征在于,
具有显示部,其进行关于所述移动体的规定显示,
所述图像获取部设置在所述显示部的附近,
所述异常判断部在所述显示部工作的状态下执行所述外界光检测模式以及所述内部检测模式的双方,或者
在所述显示部未工作的状态下执行所述外界光检测模式以及所述内部检测模式的双方。
8.根据权利要求2或3所述的内部设备的异常判断装置,其特征在于,
所述异常判断部在所述外界光检测模式的紧后,执行所述图像的亮度是否不足所述第3阈值的判断,
在所述图像的亮度不足所述第3阈值的情况下判断为所述图像获取部具有异常,不向所述内部检测模式转移。
9.一种内部设备的异常判断方法,其判断内部设备有无异常,该内部设备包括:获取移动体的内部的图像的图像获取部;获取所述图像的亮度的亮度获取部;和将所述移动体的乘员照亮的照明部,所述内部设备的异常判断方法的特征在于,
包括异常判断步骤,该步骤基于所述图像的亮度来判断所述图像获取部以及所述照明部有无异常,
在向所述照明部输出了点亮指令的状态下,所述图像的亮度为第1阈值以上的情况下,所述异常判断步骤判断为所述内部设备正常,
在向所述照明部输出了点亮指令的状态下,所述图像的亮度不足第2阈值且为第3阈值以上的情况下,所述异常判断步骤判断为所述照明部具有异常,
在向所述照明部输出了点亮指令的状态下,所述图像的亮度不足所述第3阈值的情况下,所述异常判断步骤判断为至少所述图像获取部具有异常,
所述第2阈值小于所述第1阈值且大于所述第3阈值。
10.一种记录介质,其特征在于,储存有如下程序,该程序用于使计算机执行权利要求9所述的内部设备的异常判断方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-048397 | 2020-03-18 | ||
JP2020048397A JP7470540B2 (ja) | 2020-03-18 | 2020-03-18 | 内部機器の異常判定装置、異常判定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113497933A CN113497933A (zh) | 2021-10-12 |
CN113497933B true CN113497933B (zh) | 2023-12-29 |
Family
ID=77746644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110291662.9A Active CN113497933B (zh) | 2020-03-18 | 2021-03-18 | 内部设备的异常判断装置、异常判断方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11790670B2 (zh) |
JP (1) | JP7470540B2 (zh) |
CN (1) | CN113497933B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009159568A (ja) * | 2007-12-28 | 2009-07-16 | Omron Corp | 異常検出装置および方法、並びに、プログラム |
KR101538978B1 (ko) * | 2014-03-25 | 2015-07-24 | (주)그린아이티코리아 | 감시 카메라 장치 및 이를 이용한 적외전 led 광원의 이상을 감지하는 방법 |
CN110754082A (zh) * | 2017-09-21 | 2020-02-04 | 麦克赛尔株式会社 | 平视显示装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129505B2 (en) * | 1995-06-07 | 2015-09-08 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
JP2004067031A (ja) * | 2002-08-08 | 2004-03-04 | Nissan Motor Co Ltd | 操作者判別装置およびこれを用いた車載装置 |
JP4649828B2 (ja) | 2003-10-17 | 2011-03-16 | Jfeスチール株式会社 | 画像処理装置の異常の判定方法 |
JP4130434B2 (ja) | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
JP4130435B2 (ja) | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
JP4658899B2 (ja) | 2006-10-24 | 2011-03-23 | 本田技研工業株式会社 | 車両の乗員検知装置 |
JP4853389B2 (ja) | 2007-06-07 | 2012-01-11 | 株式会社デンソー | 顔画像撮像装置 |
JP2013196331A (ja) * | 2012-03-19 | 2013-09-30 | Denso Corp | 撮像制御装置及びプログラム |
JP2018518021A (ja) * | 2015-06-05 | 2018-07-05 | シーイング マシーンズ リミテッド | 赤外光源用保護システム |
JP7073769B2 (ja) * | 2018-02-14 | 2022-05-24 | いすゞ自動車株式会社 | 運転支援システム及び運転支援方法 |
CN111699680B (zh) * | 2018-03-15 | 2022-03-01 | Jvc建伍株式会社 | 行车记录仪、显示控制方法以及存储介质 |
WO2019198179A1 (ja) * | 2018-04-11 | 2019-10-17 | 三菱電機株式会社 | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 |
JP7438127B2 (ja) * | 2018-04-19 | 2024-02-26 | シーイング マシーンズ リミテッド | 赤外線光源保護システム |
WO2019220436A2 (en) * | 2018-05-14 | 2019-11-21 | BrainVu Ltd. | Driver predictive mental response profile and application to automated vehicle brain interface control |
WO2020016635A1 (en) * | 2018-07-19 | 2020-01-23 | Bosch Car Multimedia Portugal S.a. | Method and system for detecting and identifying an interior abnormal condition in a passenger vehicle |
EP3882884A4 (en) * | 2018-11-13 | 2022-01-05 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
JP2021043571A (ja) * | 2019-09-09 | 2021-03-18 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム |
CN110750482A (zh) | 2019-09-20 | 2020-02-04 | 上海连尚网络科技有限公司 | 一种用于提供小说阅读信息的方法与设备 |
-
2020
- 2020-03-18 JP JP2020048397A patent/JP7470540B2/ja active Active
-
2021
- 2021-03-15 US US17/201,595 patent/US11790670B2/en active Active
- 2021-03-18 CN CN202110291662.9A patent/CN113497933B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009159568A (ja) * | 2007-12-28 | 2009-07-16 | Omron Corp | 異常検出装置および方法、並びに、プログラム |
KR101538978B1 (ko) * | 2014-03-25 | 2015-07-24 | (주)그린아이티코리아 | 감시 카메라 장치 및 이를 이용한 적외전 led 광원의 이상을 감지하는 방법 |
CN110754082A (zh) * | 2017-09-21 | 2020-02-04 | 麦克赛尔株式会社 | 平视显示装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113497933A (zh) | 2021-10-12 |
US11790670B2 (en) | 2023-10-17 |
JP7470540B2 (ja) | 2024-04-18 |
US20210295072A1 (en) | 2021-09-23 |
JP2021150798A (ja) | 2021-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100413324C (zh) | 车载夜视摄象机系统,显示装置和显示方法 | |
US8115811B2 (en) | Vehicle surrounding area display device | |
JP6488922B2 (ja) | 運転者異常検出装置 | |
US20110102483A1 (en) | Headup display device and method for indicating virtual image | |
EP1947548A1 (en) | Actuation system for functions in a vehicle and vehicle | |
US9199536B2 (en) | On-vehicle display device and on-vehicle display program | |
US20110035099A1 (en) | Display control device, display control method and computer program product for the same | |
US20190193633A1 (en) | Viewing device for vehicle | |
CN112533794B (zh) | 前照灯控制方法以及前照灯控制装置 | |
JP2010111260A (ja) | 車速制御装置 | |
JP2006193120A (ja) | 車両用照明装置及び車両制御装置 | |
JP2008258778A (ja) | 撮像システム | |
CN113497933B (zh) | 内部设备的异常判断装置、异常判断方法以及记录介质 | |
US20140055641A1 (en) | System for recognizing surroundings of vehicle | |
CN112622763A (zh) | 车辆的乘员监视装置及车辆的乘员保护系统 | |
JP2010012995A (ja) | 照明装置 | |
US10882484B2 (en) | Occupant detection apparatus | |
US20060203091A1 (en) | Switching on/off concept for an automobile night vision system | |
JP2006021591A (ja) | 照明制御システム | |
WO2014061175A1 (ja) | 状態監視装置 | |
JP5182567B2 (ja) | 乗員監視装置 | |
JP2009096384A (ja) | 運転支援装置及び運転支援方法 | |
JP2008166926A (ja) | 逆光判定装置、及び被写体撮像方法 | |
US11960646B2 (en) | Display control device, display system, display method, and display program | |
US20240096045A1 (en) | Synchronizing image frames by super sampling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |