CN104065930B - 集成摄像头模组和光传感器的视觉辅助方法及装置 - Google Patents

集成摄像头模组和光传感器的视觉辅助方法及装置 Download PDF

Info

Publication number
CN104065930B
CN104065930B CN201410304779.6A CN201410304779A CN104065930B CN 104065930 B CN104065930 B CN 104065930B CN 201410304779 A CN201410304779 A CN 201410304779A CN 104065930 B CN104065930 B CN 104065930B
Authority
CN
China
Prior art keywords
vision
optical sensor
camera module
user
prompting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410304779.6A
Other languages
English (en)
Other versions
CN104065930A (zh
Inventor
邓雪冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Qingdao Goertek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Goertek Co Ltd filed Critical Qingdao Goertek Co Ltd
Priority to CN201410304779.6A priority Critical patent/CN104065930B/zh
Publication of CN104065930A publication Critical patent/CN104065930A/zh
Priority to PCT/CN2015/082633 priority patent/WO2015131857A2/zh
Priority to KR1020167017715A priority patent/KR101708832B1/ko
Priority to US15/115,111 priority patent/US20170007459A1/en
Priority to JP2016558300A priority patent/JP6117451B1/ja
Application granted granted Critical
Publication of CN104065930B publication Critical patent/CN104065930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2250/00—Special features of prostheses classified in groups A61F2/00 - A61F2/26 or A61F2/82 or A61F9/00 or A61F11/00 or subgroups thereof
    • A61F2250/0001—Means for transferring electromagnetic energy to implants
    • A61F2250/0002—Means for transferring electromagnetic energy to implants for data transfer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision

Abstract

本发明提供一种集成摄像头模组和光传感器的视觉辅助方法及装置，包括处理芯片、光传感器、摄像头模组、指示模块。通过光传感器侦测到环境光线亮度低于预设值时，将指示模块打开进行闪烁提醒，当光强度达到预设值以上并达到设定的时间后关闭指示模块，设备会主动打开摄像头模组对路况进行拍摄，处理芯片通过对比图像可以判断出光强突变为硬件设施变化则打开指示模块灯提示使用者位置，还能够判断来车位置并推算大致距离，并通过摄像头模组捕捉的图像震动提醒加语音提示躲闪方向避让。既能够对使用者进行实时提醒，也能对周围进行指示预警，为使用者的人身安全提供了保障。

Description

集成摄像头模组和光传感器的视觉辅助方法及装置
技术领域
本发明属于视觉辅助装置，具体涉及一种集成摄像头模组和光传感器的视觉辅助方法及装置。
背景技术
众所周知，眼部疾病一直是卫生领域的一个主要问题之一，就国际国内方面的统计，残疾人中有五分之一是视力残疾，全世界有大约4500万盲人，低视力人群约是盲人数量的3倍，大概在1.4亿左右。我国曾在上世纪80年代进行过视力残疾状况调查，结果显示我国有视力残疾患者近1300万，其中盲人大约有550万。
人类的主要信息是通过视觉来获取的，所以视觉残疾是残疾人中最严重和最痛苦的残疾之一。国内外一般采用超声波或者红外线探头来找寻障碍的方法各设备来助盲，效果较差；一些高档类似产品向着机器人的方向发展，但是由于机器人复杂的机械结构以及高端的人工智能开发，使得成本居高不下，难以普及。
随着科技的发展，摄像头模组和传感器等电子元件越来越多的应用到各种场景，使用方案也越来越成熟，对人们的帮助也越来越大。同时，为了使视觉障碍的人更好的感受科技带来的创新，针对视觉障碍人的产品也逐渐增加，盲人阅读器，盲人定位装置等设备层出不穷，但是针对行走环境的实时侦测判断，前后车辆提醒等设备还是空白，盲人独自外出还是有很大的安全风险。
因此，需要一种视觉辅助装置，以避免上述缺陷。
发明内容
本发明的目的在于提供一种集成摄像头模组和光传感器的视觉辅助方法及装置，能够对使用者进行视觉辅助，并且进行语音提示，保障使用者人身安全。
本发明提供一种集成摄像头模组和光传感器的视觉辅助方法，包括如下步骤：
a：利用光传感器实时侦测环境光强度数据，当侦测到的环境光强度在设定的一段时间内持续高于第一预设值后，给予使用者第一种视觉辅助；
b：当侦测到的环境光强度在设定的一段时间内持续低于第二预设值时，给予使用者第二种视觉辅助；
c：在第二种视觉辅助过程中，进一步侦测到环境光强度在一定时间内持续变化时，启动摄像头模组采集使用者周边环境的图像数据，并当根据所述周边环境的图像数据和环境光强度判定出有来往车辆时，给予使用者第三种视觉辅助。
进一步的，在第一种视觉辅助过程中和第二种视觉辅助过程中，使用者随时通过一手动开关开启摄像头模组采集周边环境的图像数据以及关闭摄像头模组；以及根据所述周边环境的图像数据和环境光强度给予使用者第四种视觉辅助，所述第四种视觉辅助融合在第一种视觉辅助过程中和第二种视觉辅助过程中。
进一步的，在所述第一种视觉辅助过程中伴有第一种提示，在第二种视觉辅助过程中伴有第二种提示，第三种视觉辅助过程中伴有第三种提示，第四种视觉辅助过程中伴有第四种提示，其中，所述第一种提示、第二种提示、第三种提示以及第四种提示采用语音提示、震动提示以及LED灯闪烁提示中的一种或几种。
进一步的，当判定结果失败时，能够提示使用者判断失败。
本发明还提供一种集成摄像头模组和光传感器的视觉辅助装置，包括：
至少一光传感器，用以实时侦测环境光强度数据；
摄像头模组，用以拍摄周边环境的视频或图像；
处理芯片，用于接收光传感器和摄像头的数据，并在判定出环境光强度在设定的一段时间内持续高于第一预设值后，给予使用者第一种视觉辅助；在判断出环境光强度在设定的一段时间内持续低于第二预设值时，给予使用者第二种视觉辅助；以及在第二种视觉辅助过程中，进一步判断出环境光强度在一定时间内持续变化时，启动摄像头模组采集使用者周边环境的图像数据，并当根据侦测的周边环境和环境光强度判定出有来往车辆时，给予使用者第三种视觉辅助。
进一步的，所述装置还包括手动开启和关闭所述摄像头模组的第二开关，用于在第一种视觉辅助过程和第二种视觉辅助过程中随时采集周边环境的图像数据，并根据所述周边环境的图像数据和环境光强度给予使用者第四种视觉辅助，所述第四种视觉辅助融合在第一种视觉辅助过程中和第二种视觉辅助过程中。
进一步的，所述装置还包括提示模块，连接所述处理芯片，用以在处理芯片的控制下对使用者在所述第一种视觉辅助过程中进行第一种提示，在第二种视觉辅助过程中进行第二种提示，第四种视觉辅助过程中伴有第四种提示，其中，所述第一种提示、第二种提示、第三种提示以及第四种提示采用语音提示、震动提示以及LED灯闪烁提示中的一种或几种。
进一步的，所述光传感器包括前置光传感器和后置光传感器，能够感应使用者前方及后方的光线情况并将信号传递给处理芯片；或者所述光传感器包括前置光传感器、后置光传感器、左方光传感器和右方传感器，能够感应使用者前后左右方向的光线情况并将信号传递给处理芯片。
进一步的，所述装置还包括光源模块，所述光源包括前光源模块和/或后光源模块，用以在黑暗环境中照亮道路，辅助摄像头模组拍摄工作。
进一步的，所述装置还包括连接所述处理芯片的GPS模组，用于定位使用者的地理位置，并将所述地理位置反馈至处理芯片，所述处理芯片结合所述地理位置以及所述摄像头模组拍摄的数据确认使用者周边环境，对使用者进行导航辅助。
在对使用者进行视觉辅助时，常见的辅助提示方法有：LED灯闪烁示警周围路人，振荡器震动提示使用者及通过语音提示使用者。其中语音提示内容可以包括：处于较暗环境中，请注意示警；前方路口红绿灯，请注意；红灯，请不要通过；绿灯，请通过；前方下台阶，请注意；前方上台阶，请注意；来车，请靠右；来车，请靠左；前方左转，请注意；前方右转，请注意；前方扶梯，请注意；前方隧道，请注意；等等，包括但不局限于此。
本发明通过光传感器侦测到环境光线亮度低于预设值时，处理芯片判断为隧道、地下通道或者夜晚等黑暗状态，通过指示模块告诉使用者处于黑暗环境状态，并且控制指示模块进行闪烁提醒，以引起周围路人注意躲闪避让使用者，当实时侦测到光传感器数据升高到预设值以上并达到设定的时间后关闭指示模块，设备会主动打开摄像头模组对路况进行拍摄，处理芯片通过对比图像可以判断出光强突变为硬件设施变化则打开指示模块灯提示使用者位置，如为非硬件设施变化则认为车辆往来，分析数据来源和光强变化，判断来车位置并推算大致距离，并通过摄像头模组捕捉的图像，通过振荡器震动提醒以及语音提示模块进行语音提示使用者躲闪的方向及如何避让。本发明能够及时有效地判断前方路况为马路/人行道/草丛等并进行路况提醒，还可以判断路口或红绿灯情况，在夜间或者隧道内部还可通过内置前后光传感判断前后车辆进行预警并通过提示模块语音提示躲闪方向，并通过闪烁提醒周边注意有视觉障碍人员，既能够对使用者进行实时提醒，也能对周围进行指示预警，为使用者的人身安全提供了保障。
附图说明
图1为本发明集成摄像头模组和光传感器的视觉辅助方法流程图；
图2为本发明集成摄像头模组和光传感器的视觉辅助装置模组方框图；
图3为本发明实施例一光传感器工作模式的流程图；
图4为本发明实施例一摄像头模组工作模式的流程图；
图5为本发明辅助装置实施例二的模组方框图。
附图标记：11、处理芯片，21、前光传感器，22、前光源LED，31、指示模块，32、语音提示模块，33、指示LED，34、振荡器，41、摄像头模组，42、第二开关，43、GPRS模组，51、后光传感器，52、后光源LED。
具体实施方式
为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明，然而，本发明可以用不同的形式实现，不应认为只是局限在所述的实施例。
实施例一
如图1所示，本实施例提供一种集成摄像头模组和光传感器的视觉辅助方法，包括如下步骤：
a：利用光传感器实时侦测环境光强度数据，当侦测到的环境光强度在设定的一段时间内持续高于第一预设值后，给予使用者第一种视觉辅助；
b：当侦测到的环境光强度在设定的一段时间内持续低于第二预设值时，给予使用者第二种视觉辅助；
c：在第二种视觉辅助过程中，进一步侦测到环境光强度在一定时间内持续变化时，启动摄像头模组采集使用者周边环境的图像数据，并当根据所述周边环境的图像数据和环境光强度判定出有来往车辆时，给予使用者第三种视觉辅助。
具体原理为：当前后光传感器侦测到环境光低于设定值时处理器芯片判断使用者所处环境为隧道，地下道或者黑天等黑暗环境，处理芯片将前后指示模块打开，进行闪烁提醒并结合语音提示模块告知使用者目前处于黑暗环境中，当实时侦测前后光传感器数据升高到设定值以上预设的一段时间之后关闭指示模块。另外，当任意光传感器侦测在预设时间内光强度突变到设定状态时，设备会主动打开摄像头模组对路况进行拍摄，处理芯片通过比对图像可以判断出光强突变为硬件设施变化(如进入隧道，地下道，外物遮挡等)还是非硬件设施变化(车辆来往等)，如为硬件设施变化则打开指示模块灯提示位置，如为非硬件设施变化则认为为车辆往来，分析数据来源和光强变化量，判断来车位置推断大致距离，并通过摄像头模组捕捉的图像震动提醒加语音提示躲闪方向提醒避让。因前后均有光传感器，可以判断出来车方向，另外因为采用的是单位时间内光强度变化的算法，所以可以避免没有正面放置或者角度偏置造成判断不出的现象，又因为光强度传感器实时侦测，如果发现光强低于一个很低的值超过一定时间就被认为被外物遮挡，此时也会震动和语音提醒，防止因遮挡判断失败。
当视觉障碍的人员有判断路况的需求时(如没有盲道或遇到障碍物台阶等情况)可以打开摄像头模组开关，前置光传感器测试环境光强度，判断是否需要打开光源模块辅助拍摄，然后摄像头模组进行拍照，将照片回传到处理芯片，处理芯片通过将传回的照片比对图像库中的图片，判断出使用者前方为何种路况，如为路口判断出红灯还是绿灯，判断完成后控制振荡器震动提示，并对使用者进行语音提示，然后通过语音提示模块指导使用者做出相应动作。
如图2所示，本实施例提供一种集成摄像头模组和光传感器的视觉辅助装置，包括：
光传感器，用以实时侦测环境光强度数据；
摄像头模组41，用以拍摄周边环境的视频或图像；
处理芯片11，用于接收光传感器和摄像头的数据，并在判定出环境光强度在设定的一段时间内持续高于第一预设值后，给予使用者第一种视觉辅助，包括告知使用者目前是白天或者光亮地段；在判断出环境光强度在设定的一段时间内持续低于第二预设值时，给予使用者第二种视觉辅助，包括告知使用者目前是黑天或者黑暗环境、或者进入隧道等等；以及在第二种视觉辅助过程中，进一步判断出环境光强度在一定时间内持续变化时，启动摄像头模组41采集使用者周边环境的图像数据，并当根据侦测的周边环境和环境光强度判定出有来往车辆时，给予使用者第三种视觉辅助，包括在较黑的环境中，有车辆靠近注意闪躲以及往那边闪躲等。
所述光传感器包括前光传感器21和后光传感器51，能够感应使用者前方及后方的光线情况并将信号传递给处理芯片11；或者所述光传感器包括前光传感器21、后光传感器51、左方光传感器和右方传感器，能够感应使用者前后左右方向的光线情况并将信号传递给处理芯片11。
所述装置还包括光源模块，所述光源包括前光源模块22和后光源模块52，本实施例中，光源模块采用LED灯，用以在黑暗环境中照亮道路，辅助摄像头模组41拍摄工作。
本实施例中，所述装置还包括手动开启和关闭所述摄像头模组41的第二开关42，用于在第一种视觉辅助过程和第二种视觉辅助过程中随时采集周边环境的图像数据，并根据所述周边环境的图像数据和环境光强度给予使用者第四种视觉辅助，所述第四种视觉辅助融合在第一种视觉辅助过程中和第二种视觉辅助过程中。
本实施例中，所述装置还包括提示模块，所述提示模块包括语音提示模块31，指示LED33以及振荡器34，连接所述处理芯片11，用以在处理芯片11的控制下对使用者在所述第一种视觉辅助过程中进行第一种提示，通过振荡器34震动配合语音提示32模块告诉使用者目前处于白天或者光亮的环境中，并能够结合摄像头模组拍摄结果，通过语音提示模块告对使用者进行语音指引，辅助使用者行路；在第二种视觉辅助过程中进行第二种提示通过指示LED进行闪烁，以警示使用者周围人群，从而引起路人注意并对使用者进行避让；第三种视觉辅助过程中伴有第三种提示，通过前光传感器21和/或后光源传感器51检测到周边环境光强度的变化判定来车，启动前光源模块22和/或后光源模块52和摄像头模组拍摄周围路况，并通过振荡器34提醒使用者并结合语音指示模块给予使用者指引，引导其如何进行躲闪避让；第四种视觉辅助过程中伴有第四种提示，通过打开光源模块结合摄像头模组对使用者进行指引。
如图3所示为本发明实施例一光传感器工作模式的流程图，示出了光传感器的工作流程，当装置的前置光传感器或者后置光传感器实时侦测到环境光的数据后，将数据同步传送到装置的处理芯片11，处理芯片11对环境光的变化进行判断，当环境光持续低于预设值时，装置打开前后指示LED，进行闪烁警示周围，使周围行人能够对使用者进行躲闪避让；当处理芯片11在单位时间内检测到环境光突变时，处理芯片11控制摄像头模组41打开，拍摄道路状况，拍摄的路况数据回传到处理芯片11，处理芯片11通过将摄像头模组41回传的路况数据与图像库的图像进行对比，做出路况判断，如果是因为硬件设施变化，则打开前后指示LED进行闪烁警示周围，如果是因为非设施变化，则通过数据来源和单位时间内光强度变化判定为有来车，那么处理芯片11控制振荡器34震动并通过扬声器提醒来车并结合摄像头模组41的图像提醒使用者躲闪避让；如果处理芯片11对比图片失败则会控制振荡器34振荡提醒判断失败。
如图4所示为本发明实施例一摄像头模组41工作模式的流程图，在装置工作状态下，处理芯片11接收到信号并通过前置光传感器读取光强度信息，当光强度信号高于预设值时，打开摄像头模组41拍摄图片，当光强度信息低于预设值时，处理芯片11控制打开前光源模块22和/或后光源模块52之后再打开摄像头模组41拍摄图片，摄像头模组41将拍摄的图片数据回传到处理芯片11，处理芯片11通过将摄像头模组41回传的图片与图像库的图片对比后做出判断，如果判断失败，处理芯片11控制振荡器34震动提醒反作用者判断结果，如果判断成功，处理芯片11控制振荡器34震动并结合扬声器告知使用者路况。
本发明通过光传感器侦测到环境光线亮度低于预设值时，处理芯片11判断为隧道、地下通道或者夜晚等黑暗状态，将前指示LED和或/后指示LED打开进行闪烁提醒，当实时侦测到光传感器数据升高到预设值以上并达到设定的时间后关闭前/后指示LED33，设备会主动打开摄像头模组41对路况进行拍摄，处理芯片11通过对比图像可以判断出光强突变为硬件设施变化则打开前指示LED和/或后指示LED提示使用者位置，如为非硬件设施变化则认为车辆往来，分析数据来源和光强变化，判断来车位置并推算大致距离，并通过摄像头模组41捕捉的图像震动提醒加语音提示躲闪方向避让。能够及时有效地判断前方路况为马路/人行道/草丛等并进行路况提醒，还可以判断路口或红绿灯情况，在夜间或者隧道内部还可通过内置前后光传感判断前后车辆进行震动预警，并通过闪烁前指示LED和/或后指示LED提醒周边注意有视觉障碍人员，既能够对使用者进行实时提醒，也能对周围进行指示预警，为使用者的人身安全提供了保障。
需要说明的是，本实施例的装置可以进一步的分为两种模式：光传感模式和摄像模式；
光传感模式为常开状态，即光传感器在第一种视觉辅助、第二种视觉辅助、第三种视觉辅助以及第四种视觉辅助过程中均为工作状态，例如当前光传感器21和/或后光传感器51侦测到环境光低于设定值时，处理芯片11可以判断使用者周边环境为隧道、地下道或者黑天状态等光线较弱状态，将前后指示LED打开，进行闪烁提醒，当实时侦测前光传感器21和/或后光传感器51的数据维持在到设定值以下一分钟时间之后关闭指示LED。另外，在光线较弱的环境中，当任意光传感器侦测在预设时间内光强度持续变化时，处理芯片11主动打开摄像头模组41对周边环境(例如路况)进行拍摄，通过比对图像可以判断出光强变化的原因为硬件设施变化(进入隧道，地下道，外物遮挡等)还是非硬件设施变化(车辆来往等)，如为硬件设施变化则打开指示LED提示位置，如为非硬件设施变化则判定为车辆往来，分析数据来源和光强变化量，判断来车位置推断大致距离，震动提醒或者语音提示使用者进行躲闪，并结合摄像头模组41的图像提醒使用者避让方向。因前后均有光传感器，可以判断出前后来车方向，另外可以采用的是单位时间内光强度变化的算法，以避免没有正面放置或者角度偏置造成判断不出的现象，进一步的光传感器实时侦测，如果发现光强低于一个很低的值超过一定时间就被认为被外物遮挡，此时也会震动振荡器34和语音提醒，防止因遮挡判断失败。
摄像头模组41模式为触发模式，可以根据需要被处理芯片11自动触发，也可以根据使用者的主观需求进行手动触发，由此可以降低所述装置的功耗。例如，当使用者有判断路况的主观需求时(如需要确定交通信号灯的情况、是否有盲道或是否遇到障碍物台阶等)，就可以按下手动开关，此时，前置光传感器测试环境光强度，判断是否需要打开LED光源辅助拍摄，然后摄像头模组41进行拍照，照片回传到处理芯片11，处理芯片11通过比对图像库，判断出前方图像为何种情形，例如在路口时判断出红灯还是绿灯，判断完成后控制振荡器34震动提示使用者将要进行语音提示，然后通过扬声器报出所述红绿灯情况。
实施例二
如图5所示，本实施例与实施例一的区别在于：所述处理芯片11还连接有GPS模组。
本实施可以结合摄像头模组41更加精确的确认实时路况和环境设施变换，并能够结合扬声器对使用者进行导航，既保障了使用者的在路上的人身安全，又可以指引使用者找到回家的路，避免其因为迷路回不了家等情况的发生。
在本发明的其他实施例中，所述装置还包括时钟芯片，处理芯片11能够收集时钟信息并根据时钟信息给使用者进行语音报时，以及结合时钟信息确定目前是白天还是黑夜。
在本发明的其他实施例中，所述装置还包括天气预报模块，所述天气预报模块通过WIFI、移动通信网络等更新天气预报，处理芯片11能够收集天气预报信息并根据天气预报信息给使用者进行天气的语音播报，以及结合天气预报信息确定目前是晴天还是阴天。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种集成摄像头模组和光传感器的视觉辅助方法，其特征在于：包括如下步骤：
a：利用光传感器实时侦测环境光强度数据，当侦测到的环境光强度在设定的一段时间内持续高于第一预设值后，给予使用者第一种视觉辅助；
b：当侦测到的环境光强度在设定的一段时间内持续低于第二预设值时，给予使用者第二种视觉辅助；
c：在第二种视觉辅助过程中，当侦测在预设时间内光强度突变到设定状态时，打开摄像头模组对路况进行拍摄，通过比对图像可以判断出光强突变为硬件设施变化还是非硬件设施变化，如为非硬件设施变化则认为为车辆往来，分析数据来源和光强变化量，判断来车位置推断大致距离，给予使用者第三种视觉辅助。
2.根据权利要求1所述的集成摄像头模组和光传感器的视觉辅助方法，其特征在于：还包括：在第一种视觉辅助过程中和第二种视觉辅助过程中，使用者随时通过一手动开关开启摄像头模组采集周边环境的图像数据以及关闭摄像头模组；以及根据所述周边环境的图像数据和环境光强度给予使用者第四种视觉辅助，所述第四种视觉辅助融合在第一种视觉辅助过程中和第二种视觉辅助过程中。
3.根据权利要求1所述的集成摄像头模组和光传感器的视觉辅助方法，其特征在于：在所述第一种视觉辅助过程中伴有第一种提示，在第二种视觉辅助过程中伴有第二种提示，第三种视觉辅助过程中伴有第三种提示，第四种视觉辅助过程中伴有第四种提示，其中，所述第一种提示、第二种提示、第三种提示以及第四种提示采用语音提示、震动提示以及LED灯闪烁提示中的一种或几种。
4.一种集成摄像头模组和光传感器的视觉辅助装置，其特征在于：包括：
至少一光传感器，用以实时侦测环境光强度数据；
摄像头模组，用以拍摄周边环境的视频或图像；
处理芯片，用于接收光传感器和摄像头的数据，并在判定出环境光强度在设定的一段时间内持续高于第一预设值后，给予使用者第一种视觉辅助；在判断出环境光强度在设定的一段时间内持续低于第二预设值时，给予使用者第二种视觉辅助；以及在第二种视觉辅助过程中，当任意光传感器侦测在预设时间内光强度突变到设定状态时，设备会主动打开摄像头模组对路况进行拍摄，处理芯片通过比对图像可以判断出光强突变为硬件设施变化还是非硬件设施变化，如为非硬件设施变化则认为为车辆往来，分析数据来源和光强变化量，判断来车位置推断大致距离，给予使用者第三种视觉辅助。
5.根据权利要求4所述的集成摄像头模组和光传感器的视觉辅助装置，其特征在于：所述装置还包括至少一指示模块，连接所述处理芯片，用以在处理芯片的控制下向周边环境中的人群指示使用者位置。
6.根据权利要求4所述的集成摄像头模组和光传感器的视觉辅助装置，其特征在于：所述装置还包括手动开启和关闭所述摄像头模组的第二开关，用于在第一种视觉辅助过程和第二种视觉辅助过程中随时采集周边环境的图像数据，并根据所述周边环境的图像数据和环境光强度给予使用者第四种视觉辅助，所述第四种视觉辅助融合在第一种视觉辅助过程中和第二种视觉辅助过程中。
7.根据权利要求4所述的集成摄像头模组和光传感器的视觉辅助装置，其特征在于：所述装置还包括提示模块，连接所述处理芯片，用以在处理芯片的控制下对使用者在所述第一种视觉辅助过程中进行第一种提示，在第二种视觉辅助过程中进行第二种提示，第四种视觉辅助过程中伴有第四种提示，其中，所述第一种提示、第二种提示、第三种提示以及第四种提示采用语音提示、震动提示以及LED灯闪烁提示中的一种或几种。
8.根据权利要求4所述的集成摄像头模组和光传感器的视觉辅助装置，其特征在于：所述光传感器包括前置光传感器和后置光传感器，能够感应使用者前方及后方的光线情况并将信号传递给处理芯片；或者所述光传感器包括前置光传感器、后置光传感器、左方光传感器和右方传感器，能够感应使用者前后左右方向的光线情况并将信号传递给处理芯片。
9.根据权利要求4所述的集成摄像头模组和光传感器的视觉辅助装置，其特征在于：所述装置还包括光源模块，所述光源包括前光源模块和/或后光源模块，用以在黑暗环境中照亮道路，辅助摄像头模组拍摄工作。
10.根据权利要求4所述的集成摄像头模组和光传感器的视觉辅助装置，其特征在于：所述装置还包括连接所述处理芯片的GPS模组，用于定位使用者的地理位置，并将所述地理位置反馈至处理芯片，所述处理芯片结合所述地理位置以及所述摄像头模组拍摄的数据确认使用者周边环境，对使用者进行导航辅助。
CN201410304779.6A 2014-06-30 2014-06-30 集成摄像头模组和光传感器的视觉辅助方法及装置 Active CN104065930B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410304779.6A CN104065930B (zh) 2014-06-30 2014-06-30 集成摄像头模组和光传感器的视觉辅助方法及装置
PCT/CN2015/082633 WO2015131857A2 (zh) 2014-06-30 2015-06-29 集成摄像头模组和光传感器的视觉辅助方法及装置
KR1020167017715A KR101708832B1 (ko) 2014-06-30 2015-06-29 카메라 모듈 및 광센서를 통합하는 시각 보조방법 및 장치
US15/115,111 US20170007459A1 (en) 2014-06-30 2015-06-29 Vision aiding method and apparatus integrated with a camera module and a light sensor
JP2016558300A JP6117451B1 (ja) 2014-06-30 2015-06-29 カメラモジュールと光センサとを一体化した視覚補助方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410304779.6A CN104065930B (zh) 2014-06-30 2014-06-30 集成摄像头模组和光传感器的视觉辅助方法及装置

Publications (2)

Publication Number Publication Date
CN104065930A CN104065930A (zh) 2014-09-24
CN104065930B true CN104065930B (zh) 2017-07-07

Family

ID=51553435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410304779.6A Active CN104065930B (zh) 2014-06-30 2014-06-30 集成摄像头模组和光传感器的视觉辅助方法及装置

Country Status (5)

Country Link
US (1) US20170007459A1 (zh)
JP (1) JP6117451B1 (zh)
KR (1) KR101708832B1 (zh)
CN (1) CN104065930B (zh)
WO (1) WO2015131857A2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065930B (zh) * 2014-06-30 2017-07-07 青岛歌尔声学科技有限公司 集成摄像头模组和光传感器的视觉辅助方法及装置
TWI534013B (zh) * 2015-01-28 2016-05-21 All Ring Tech Co Ltd Method and apparatus for viewing droplets
CN104660912A (zh) * 2015-03-18 2015-05-27 努比亚技术有限公司 拍摄方法及拍摄装置
CN105120191A (zh) * 2015-07-31 2015-12-02 小米科技有限责任公司 视频录制方法和装置
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
CN105389880B (zh) * 2015-12-25 2018-08-14 成都比善科技开发有限公司 多功能智能门禁系统的控制方法
CN105611172B (zh) * 2016-02-25 2018-08-07 北京小米移动软件有限公司 倒计时拍照的提示方法及装置
JP6583121B2 (ja) * 2016-04-21 2019-10-02 株式会社デンソー 運転支援装置
CN106074095B (zh) * 2016-05-26 2018-07-20 英华达（上海）科技有限公司 一种低视力者辅助设备及方法
CN107049719B (zh) * 2017-06-12 2019-10-18 尚良仲毅(沈阳)高新科技有限公司 一种基于无人机的智能导盲警示方法及其系统
CN107948520A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN108277718B (zh) * 2018-01-24 2019-10-29 北京铂阳顶荣光伏科技有限公司 一种太阳能盲道提醒系统及盲道
CN110901541A (zh) * 2018-09-14 2020-03-24 上海擎感智能科技有限公司 设有摄像头辅视系统的车机
CN109819168B (zh) * 2019-01-31 2020-09-01 维沃移动通信有限公司 一种摄像头的启动方法以及移动终端
CN109938440A (zh) * 2019-04-26 2019-06-28 贵州大学 一种交通安全警示安全帽
CN113628447B (zh) * 2020-05-06 2022-12-23 杭州海康威视数字技术股份有限公司 远光灯开启检测方法、装置、设备及系统
CN112061027B (zh) * 2020-07-30 2022-03-11 南京英锐创电子科技有限公司 车载报警系统、车载报警方法及计算机设备
CN113697004A (zh) * 2021-08-30 2021-11-26 郑思志 一种基于ai的视听障碍患者出行辅助小车
US20230209206A1 (en) * 2021-12-28 2023-06-29 Rivian Ip Holdings, Llc Vehicle camera dynamics
CN115100750B (zh) * 2022-06-10 2024-02-02 广西云高智能停车设备有限公司 一种基于互联网线上合作的路内停车数据采集方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024985A (ja) * 2000-07-03 2002-01-25 Teiichiro Watanabe 盲人誘導装置
JP2005000501A (ja) * 2003-06-13 2005-01-06 Yaskawa Electric Corp 視覚障害者用誘導装置
US6867697B2 (en) * 2002-04-01 2005-03-15 Pravin L. Nanayakkara System for guiding the visually handicapped
CN102231797A (zh) * 2011-06-22 2011-11-02 深圳中兴力维技术有限公司 日夜摄像装置、用于日夜摄像装置的日夜切换方法
CN102293709A (zh) * 2011-06-10 2011-12-28 深圳典邦科技有限公司 一种可视化导盲方法及其智能导盲装置
CN203400301U (zh) * 2013-07-12 2014-01-22 宁波大红鹰学院 一种导盲棒

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61345A (ja) * 1984-06-13 1986-01-06 益金　俊夫 視障者用方位兼照度センサ
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP2001319288A (ja) 2000-05-10 2001-11-16 Isamu Miya 視覚障害者援助システム
US6774788B1 (en) * 2002-10-07 2004-08-10 Thomas J. Balfe Navigation device for use by the visually impaired
US20070085993A1 (en) * 2005-10-17 2007-04-19 Brown Robert Jr Audible distance measurer-object discriminator cognition stimulant system device
CN101227539B (zh) * 2007-01-18 2010-09-29 联想移动通信科技有限公司 导盲手机及导盲方法
JP2009025071A (ja) 2007-07-18 2009-02-05 Funai Electric Co Ltd ナビゲーション装置
KR20090047944A (ko) * 2007-11-09 2009-05-13 (주)엠에스 엔지니어링 음성 안내장치
WO2010067203A2 (en) * 2008-12-08 2010-06-17 Georgios Stylianou Vision assistance using mobile telephone
KR101115415B1 (ko) * 2010-01-11 2012-02-15 한국표준과학연구원 시각장애인용 안내 시스템 및 그를 이용한 안내방법
CN101986673A (zh) * 2010-09-03 2011-03-16 浙江大学 一种智能手机导盲器及导盲方法
CN102389362A (zh) * 2011-07-28 2012-03-28 张华昱 一种图像超声波导盲系统装置
CN102413241A (zh) * 2011-11-18 2012-04-11 上海华勤通讯技术有限公司 移动终端和环境明暗程度提醒方法
WO2013090273A1 (en) * 2011-12-11 2013-06-20 Technical Vision, Inc. Illuminated mobility enhancing device
US9062986B1 (en) * 2013-05-07 2015-06-23 Christ G. Ellis Guided movement platforms
US9140554B2 (en) * 2014-01-24 2015-09-22 Microsoft Technology Licensing, Llc Audio navigation assistance
CN104065930B (zh) * 2014-06-30 2017-07-07 青岛歌尔声学科技有限公司 集成摄像头模组和光传感器的视觉辅助方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024985A (ja) * 2000-07-03 2002-01-25 Teiichiro Watanabe 盲人誘導装置
US6867697B2 (en) * 2002-04-01 2005-03-15 Pravin L. Nanayakkara System for guiding the visually handicapped
JP2005000501A (ja) * 2003-06-13 2005-01-06 Yaskawa Electric Corp 視覚障害者用誘導装置
CN102293709A (zh) * 2011-06-10 2011-12-28 深圳典邦科技有限公司 一种可视化导盲方法及其智能导盲装置
CN102231797A (zh) * 2011-06-22 2011-11-02 深圳中兴力维技术有限公司 日夜摄像装置、用于日夜摄像装置的日夜切换方法
CN203400301U (zh) * 2013-07-12 2014-01-22 宁波大红鹰学院 一种导盲棒

Also Published As

Publication number Publication date
KR20160085370A (ko) 2016-07-15
WO2015131857A3 (zh) 2015-11-05
KR101708832B1 (ko) 2017-02-21
US20170007459A1 (en) 2017-01-12
WO2015131857A2 (zh) 2015-09-11
JP6117451B1 (ja) 2017-04-19
JP2017513118A (ja) 2017-05-25
CN104065930A (zh) 2014-09-24

Similar Documents

Publication Publication Date Title
CN104065930B (zh) 集成摄像头模组和光传感器的视觉辅助方法及装置
US10769463B2 (en) Training of vehicles to improve autonomous capabilities
JP5171629B2 (ja) 走行情報提供装置
JP6437045B2 (ja) 自動運転車
CN108859961A (zh) 用于自动驾驶的环绕摄像系统
WO2012018109A1 (ja) 情報管理装置、データ解析装置、信号機、サーバ、情報管理システム、信号機制御装置、およびプログラム
KR101276385B1 (ko) 보행자 무단 횡단에 대한 열화상 카메라를 이용한 안전 알림 시스템 및 이의 사용방법
AU2018367923A1 (en) Training of vehicles to improve autonomous capabilities
JP2015133050A (ja) 自動運転車
JP2018055691A (ja) 自動運転車
KR20160003715U (ko) 우회전 교통사고 예방 시스템
CN110371140A (zh) 一种基于全景环视图像处理的车门开启预警系统及方法
JP2010234851A (ja) 車両用表示装置
CN112201049A (zh) 路与人的交互方法、斑马线系统、与斑马线系统的交互方法
CN113838265B (zh) 疲劳驾驶预警方法、装置以及电子设备
JP2019040630A (ja) 自動運転車及び自動運転車用プログラム
CN114023088B (zh) 一种智能过街信号灯系统及对违法行为取证、警示方法
Sharma et al. Application of IoT and Machine Learning for Real-time Driver Monitoring and Assisting Device
CN109377765B (zh) 光杆人行横道信号灯辅助系统及方法
JP2014203186A (ja) 監視システム
CN106875743A (zh) 一种智能交通预警系统
KR101444537B1 (ko) 운전자 얼굴 상태 알림 장치
JP2012073823A (ja) 歩行者検出装置
CN109938440A (zh) 一种交通安全警示安全帽
ES2561912B1 (es) Procedimiento para la monitorización y gestión de seguridad en cruces peatonales y dispositivo para su realización

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201012

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: International Exhibition Center of wealth 18 No. 266061 Shandong province Qingdao city Laoshan District Qinling Mountains Road No. 3 Building 5 layer

Patentee before: Qingdao GoerTek Technology Co.,Ltd.

TR01 Transfer of patent right
CP02 Change in the address of a patent holder

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 East of Dongming Road, High-tech Zone, Weifang City, Shandong Province, North of Yuqing Street (Room 502, Goertek Office Building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20221118

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right