CN109934076A - 视觉盲区的场景图像的生成方法、装置、系统及终端设备 - Google Patents
视觉盲区的场景图像的生成方法、装置、系统及终端设备 Download PDFInfo
- Publication number
- CN109934076A CN109934076A CN201711377917.3A CN201711377917A CN109934076A CN 109934076 A CN109934076 A CN 109934076A CN 201711377917 A CN201711377917 A CN 201711377917A CN 109934076 A CN109934076 A CN 109934076A
- Authority
- CN
- China
- Prior art keywords
- image
- blind area
- observer
- current
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本申请涉及一种视觉盲区的场景图像的生成方法、装置、系统、计算机可读存储介质及终端设备，所述方法包括获取目标视觉盲区对应的盲区场景图像，所述盲区场景图像是基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换获得；获取所述观察者的当前视野图像，所述当前视野图像包含形成所述目标视觉盲区的遮挡物对应的图像；基于所述遮挡物对应的图像在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置；基于所述匹配的目标位置对所述当前视野图像与所述盲区场景图像进行合成处理，显示合成处理后的图像。本申请提供的方案能够帮助观察者准确地对环境情况进行判断。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种视觉盲区的场景图像的生成方法、装置、系统、计算机可读存储介质及终端设备。
背景技术
视觉盲区一般是指，观察者视线被障碍物遮挡，而不能直接观察到的区域。例如，驾驶员的视线易被位于车体上的部件(如A柱)遮挡，从而形成相应的视觉盲区。视觉盲区的存在，会给观察者带来诸多不利影响，例如，在车辆行驶过程中，驾驶员无法观察到视觉盲区内的环境情况，容易引发安全事故。因此，有必要生成视觉盲区的场景图像，以帮助观察者观察视觉盲区内的环境情况。
传统方法是，在视觉盲区附近布置摄像头，通过摄像头拍摄视觉盲区内的场景图像。例如，在车体的相应位置布置摄像头，以拍摄相应视觉盲区内的场景图像，后续，则可以通过车载显示屏显示拍摄获得的场景图像，在此情况下，观察者可以通过观察车载显示屏的显示界面，来观察相应视觉盲区中的环境情况，倒车影像系统则是一个典型的示例。然而，基于传统方法获得的场景图像，观察者难以对环境情况进行准确判断。
发明内容
基于此，有必要针对传统方法中观察者难以对环境情况进行准确判断的技术问题，提供一种视觉盲区的场景图像的生成方法、装置、系统、计算机可读存储介质及终端设备。
一种视觉盲区的场景图像的生成方法，包括：
获取目标视觉盲区对应的盲区场景图像，所述盲区场景图像是基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换获得；
获取所述观察者的当前视野图像，所述当前视野图像包含形成所述目标视觉盲区的遮挡物对应的图像；
基于所述遮挡物对应的图像在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置；
基于所述匹配的目标位置对所述当前视野图像与所述盲区场景图像进行合成处理，显示合成处理后的图像。
在一个实施例中，确定所述观察者的当前视线方向的方式，包括：
获取观察者的当前状态图像，所述当前状态图像用于表征所述观察者当前的眼部情况及头部姿态；
基于所述当前状态图像确定所述观察者的内眼角当前所处的第一位置、外眼角当前所处的第二位置、以及当前头部姿态；
基于所述第一位置、所述第二位置以及所述当前头部姿态，计算所述观察者的眼球中心当前所处的第三位置；
对所述当前状态图像进行识别，获得所述观察者的虹膜中心当前所处的第四位置；
基于所述第三位置和所述第四位置确定所述观察者的当前视线方向。
在一个实施例中，基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换的方式，包括：
基于所述观察者的当前视线方向确定当前投影线的方向；
确定当前投影平面，所述投影平面为形成所述目标视觉盲区的遮挡物所在的平面；
基于所述当前投影线的方向与所述当前投影平面，对所述三维场景图像进行投影变换。
在一个实施例中，所述基于所述遮挡物在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置的步骤，包括：
在所述当前视野图像中确定遮挡区域，所述遮挡区域为所述遮挡物对应的图像所在的区域；
提取位于所述遮挡区域的边缘的特征点；
基于所述特征点在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置。
在一个实施例中，所述目标视觉盲区对应的三维场景图像在满足盲区检测启动条件后获得，所述盲区检测启动条件包括车辆方向盘的当前转角角度大于第一角度阈值和/或观察者的当前视角调整量大于第二角度阈值；
其中，所述目标视觉盲区基于车辆方向盘的当前转角方向和/或观察者的当前视角调整方向进行选定。
在一个实施例中，所述第一角度阈值基于当前车辆行驶信息确定，所述车辆行驶信息包括车辆行驶速度和/或车辆与障碍物之间的距离。
一种视觉盲区的场景图像的生成装置，包括：
盲区图像获取模块，用于获取目标视觉盲区对应的盲区场景图像，所述盲区场景图像是基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换获得；
视野图像获取模块，用于获取所述观察者的当前视野图像，所述当前视野图像包含形成所述目标视觉盲区的遮挡物对应的图像；
目标位置确定模块，用于基于所述遮挡物对应的图像在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置；以及，
合成图像显示模块，用于基于所述匹配的目标位置对所述当前视野图像与所述盲区场景图像进行合成处理，显示合成处理后的图像。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述的视觉盲区的场景图像的生成方法的步骤。
一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的视觉盲区的场景图像的生成方法的步骤。
一种视觉盲区的场景图像的生成系统，包括车外摄像装置、分别位于车辆的前挡风玻璃两侧的第一车内摄像头和第二车内摄像头、信号处理器、以及如上所述的终端设备；
所述车外摄像装置用于采集目标视觉盲区对应的携带原始场景图像及所述原始场景图像的深度信息的场景信息；
所述第一车内摄像头和第二车内摄像头用于采集观察者的当前状态图像；
所述信号处理器用于基于所述场景信息生成所述目标视觉盲区对应的三维场景图像，并基于所述观察者的当前状态图像确定所述观察者的当前视线方向；
所述信号处理器还用于基于所述当前视线方向对所述三维场景图像进行投影变换，生成目标视觉盲区对应的盲区场景图像，并将所述盲区场景图像发送至所述终端设备。
上述视觉盲区的场景图像的生成方法、装置、系统、计算机可读存储介质及终端设备，盲区场景图像是基于观察者的当前视线方向对目标视觉盲区对应的三维场景图像进行投影变换获得，可见，盲区场景图像是基于观察者视角的，因此有助于观察者对目标视觉盲区内的环境情况进行准确判断。并且，基于观察者的当前视野图像中所包含的遮挡物对应的图像，在当前视野图像中确定与盲区场景图像匹配的目标位置，并基于目标位置对当前视野图像与盲区场景图像进行合成处理，一方面，盲区场景图像是基于观察者视角的，进行合成处理时，能够有效地避免视觉重叠，另一方面，基于合成处理后的图像，观察者能够一并观察目标视觉盲区内的环境情况与观察者当前视野内的环境情况，因而观察者能够对环境情况进行准确判断。
附图说明
图1为一个实施例中视觉盲区的场景图像的生成系统的结构示意图；
图2为一个实施例中车外摄像装置的位置示意图；
图3为一个实施例中车内摄像装置的位置示意图；
图4为一个实施例中视觉盲区的场景图像的生成方法的流程示意图；
图5为一个实施例中视觉盲区的场景图像的生成装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本申请，并不限定本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1为一个实施例中视觉盲区的场景图像的生成系统的结构示意图。本实施例涉及车辆领域，该视觉盲区的场景图像的生成系统可以包括车外摄像装置101、车内摄像装置102、信号处理器103、以及用于执行本申请任一实施例提供的视觉盲区的场景图像的生成方法的步骤的终端设备104。
其中，所述车外摄像装置101用于采集目标视觉盲区对应的携带原始场景图像及所述原始场景图像的深度信息的场景信息，并将其发送至信号处理器103；所述车内摄像装置102用于采集观察者的当前状态图像，并将其发送至信号处理器103；所述信号处理器103用于基于所述场景信息生成所述目标视觉盲区对应的三维场景图像，并基于所述观察者的当前状态图像确定所述观察者的当前视线方向，再基于所述当前视线方向对所述三维场景图像进行投影变换，以生成目标视觉盲区对应的盲区场景图像，并将所述盲区场景图像发送至所述终端设备104。
在一个具体示例(下文简称示例E-1)中，请一并参照图2和图3，车辆车体上包含用于连接车顶和前驾驶舱的A柱，并设定驾驶员座位位于车体左方。进一步细分，该A柱包含位于车体左前方的第一连接柱、以及位于车体右前方的第二连接柱。该车外摄像装置101可包括第一普通摄像头1011、第二普通摄像头1012、第一深度摄像头1013和第二深度摄像头1014。具体地，可在该第一连接柱与前挡风玻璃的结合处放置第一普通摄像头1011和第一深度摄像头1013，在该第二连接柱与前挡风玻璃的结合处放置第二普通摄像头1012和第二深度摄像头1014。可选地，第一深度摄像头1013可放置于第一普通摄像头1011的下方或上方，第二深度摄像头1014可放置于第二普通摄像头1012的下方或上方。在此情况下，可通过第一普通摄像头1011和第一深度摄像头1013采集第一连接柱形成的视觉盲区对应的场景信息，以及通过第二普通摄像头1012和第二深度摄像头1014采集第二连接柱形成的视觉盲区对应的场景信息。
其次，该车内摄像装置102可包括分别设置于车辆的前挡风玻璃两侧的第一车内摄像头1021和第二车内摄像头1022。
再则，该信号处理器103可包括第一图像处理模块1031、报警控制模块1032以及系统控制模块1033。并且，该信号处理器103可以通过无线或有线的方式与所述终端设备104进行通信。具体地，该信号处理器103可以为移动终端或车载终端，移动终端可以包括手机、平板电脑、笔记本电脑和穿戴式设备等中的至少一种。
另外，该终端设备104可以为增强现实眼镜，具体可包括通信模块1041、第一眼周摄像头1042、第二眼周摄像头1043、第二图像处理模块1044、第一投影模块1045、第二投影模块1046、第一显示屏1047以及第二显示屏1048。具体地，通信模块1041可以为任一可能的具有通信功能的模块，例如蓝牙模块；第一投影模块1045和第二投影模块1046均可以为MEMS(Micro-Electro-Mechanical System，微机电系统)投影模块；第一显示屏1047和第二显示屏1048均可以为透明显示屏。
除此之外，所述视觉盲区的场景图像的生成系统还可以包括用于输出报警提示信号的报警装置105和用于检测车辆方向盘的转动信息的方向盘转动检测装置106。在此情况下，信号处理器104还用于基于深度信息向报警装置105发送相应的控制信号，以控制报警装置105输出相应的报警提示信号。另外，方向盘转动检测装置106将检测到的方向盘的转动信息发送至信号处理器104，信号处理器104还用于基于方向盘的转动信息控制相应摄像装置(如车外摄像装置和车内摄像装置等)的启停。其中，报警装置105可以为蜂鸣器，所述方向盘转动检测装置106可以为角度传感器，方向盘的转动信息可以包括方向盘的转角角度和转角方向。
需要说明的是，相较于图1所示的实施例，在其他可选的实施例中，视觉盲区的场景图像的生成系统可以省去信号处理器103。在此情况下，可将原本由信号处理器103执行的方法步骤，交由终端设备104执行。下文均以包括信号处理器103的情况为例进行说明。
图4为一个实施例中视觉盲区的场景图像的生成方法的流程示意图。本实施例主要以该方法应用于上述图4中的终端设备104来举例说明。参照图4，该方法具体可以包括如下步骤S402至S408。
S402，获取目标视觉盲区对应的盲区场景图像，所述盲区场景图像是基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换获得。
其中，视觉盲区可以指，观察者视线被障碍物遮挡，而不能直接观察到的区域。以车辆应用为例，视觉盲区通常包括前盲区(引擎盖形成的视觉盲区)、A柱形成的视觉盲区、B柱形成的视觉盲区、C柱形成的视觉盲区以及后盲区(后车门开始向外侧展开有大约30°的区域)等。在实际应用中，观察者的当前视野范围内可能包含多个视觉盲区，目标视觉盲区可以指，基于观察者的实际需求所选定的，观察者当前需要观察的视觉盲区。
三维场景图像可以指，用于表征相应场景内的真实环境情况的三维图像。在一个实施例中，可以由信号处理器103获取目标视觉盲区对应的场景信息，该场景信息包括原始场景图像及该原始场景图像的深度信息，再基于该原始场景图像及该深度信息，生成该目标视觉盲区对应的三维场景图像。
具体地，原始场景图像和原始场景图像的深度信息可由车外摄像装置101拍摄获得。其中，车外摄像装置101可包括普通摄像头和深度摄像头，可由普通摄像头拍摄获得原始场景图像，由深度摄像头获取该原始场景图像的深度信息。其中，深度摄像头可以包括TOF(Time Of Flight，飞行时间)摄像头，即基于飞行时间的距离传感器，其利用飞行时间法实现3D成像，从而获取原始场景图像的深度信息。在一个具体的示例中，TOF摄像头的型号可以为CAMCUBE3.0。
信号处理器103获得原始场景图像及其深度信息后，进行统一标定，并将原始场景图像及深度信息进行融合，从而获得三维场景图像。由此可见，基于三维场景图像，可以获得位于相应场景内的真是环境的画面信息、以及该真实环境内的各物体对应的距离信息等。
需要说明的是，上述原始场景图像及原始场景图像的深度信息均是基于上述车外摄像装置101的视角，该车外摄像装置101的视角与观察者视角通常有所出入，因而观察者基于原始场景图像难以对视觉盲区内的环境情况进行准确判断。
本实施例中的盲区场景图像，基于观察者的当前视线方向对目标视觉盲区对应的三维场景图像进行投影变换获得。可以理解，该盲区场景图像是基于观察者视角的，并且该盲区场景图像可用于表征目标视觉盲区内的真实环境情况。
S404，获取所述观察者的当前视野图像，所述当前视野图像包含形成所述目标视觉盲区的遮挡物对应的图像。
其中，当前视野图像可用于表征观察者的当前视野范围内的真实环境情况。可以理解的是，当观察者的当前视野范围内存在不透明的遮挡物时，观察者朝遮挡物方向看过去，只能看到遮挡物本身，而无法看到被遮挡物遮挡的物体。相应地，对于遮挡物部分，在观察者的当前视野图像中只能呈现遮挡物本身，而无法呈现被遮挡物遮挡的物体。
以下结合上述示例E-1进行说明，可以通过位于观察者的眼睛附近的摄像装置进行拍摄，进而将拍摄获得的图像作为观察者的当前视野图像。例如，该摄像装置包括第一眼周摄像头1042和第二眼周摄像头1043，这两个眼周摄像头分别用于仿真观察者的左眼和右眼。具体地，这两个眼周摄像头可分别设置于观察者佩戴的增强现实眼镜的两侧，另外，这两个眼周摄像头的拍摄范围可以基于观察者的左眼眼球和右眼眼球的当前转动情况动态调整。优选地，为了达到更好的仿真效果，可以将这两个眼周摄像头的放置间距设置为观察者的目距，如65mm。
S406，基于所述遮挡物对应的图像在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置。
可以理解，在观察者的当前视野图像中，包含遮挡物本身的图像，但无法包含被该遮挡物遮挡的物体的图像。然而，盲区场景图像中包含位于视觉盲区内的各物体的图像。基于此，可以在当前视野图像中查找到与该盲区场景图像匹配的位置，即目标位置。通俗地说，确定目标位置指的是在全局图像中为一个局部图像找到合适的嵌入位置，将该局部图像放至该嵌入位置后，该局部图像能够适应周围的内容，类似于拼图过程为拼块寻找合适的嵌入位置。需要说明的是，确定目标位置可以通过任一可能的图像匹配算法实现，本申请不作具体限定。
S408，基于所述匹配的目标位置对所述当前视野图像与所述盲区场景图像进行合成处理，显示合成处理后的图像。
在本实施例中，获得目标位置后，即可基于该目标位置将盲区场景图像和观察者的当前视野图像进行合成处理，以实现叠加及融合，基于合成处理后的图像，则可以观察到不存在相应遮挡物的情况下，观察者的视野范围内的环境情况。
具体地，在确定目标位置之后，进行合成处理的过程中，可以先对盲区场景图像进行旋转归一化处理和尺寸归一化处理等。此外，合成处理方式具体可以采用任一可能的实现图像叠加及融合的算法，此处不加赘述。
以下结合上述示例E-1进行说明。终端设备104可为增强现实眼镜，因而该终端设备104可对合成处理后的图像进行显示。具体地，该终端设备的主要工作原理如下：第一眼周摄像头1042和第二眼周摄像头1043可用于采集观察者的当前视野图像。通信模块1041用可于与信号处理器103进行通信，获取信号处理器103发送的盲区场景图像。第二图像处理模块1044可用于确定目标位置，并基于该目标位置对盲区场景图像和观察者的当前视野图像进行合成处理。第一投影模块1045可用于将相应的合成处理后的图像投射至第一显示屏1047上成像，第二投影模块1046可用于将相应的合成处理后的图像投射至第二显示屏1048上成像，以实现叠加于现实场景中的效果。第一显示屏1047和第二显示屏1048可以为透明显示屏，在此情况下，观察者则可以透过第一显示屏1047和第二显示屏1048观察到不存在相应遮挡物时的环境情况，即实现遮挡物的透视化。
需要说明的是，在车辆应用中，还可以检测车身到目标视觉盲区内的障碍物的空间距离信息。结合上述示例E-1，信号处理器103中的报警控制模块1032再基于检测到的空间距离信息生成相应的报警指令，从而控制报警装置105输出相应的报警提示信号，以提醒驾驶员及时采取相应的安全措施，提高驾驶的安全性。例如，报警控制模块1032判定检测到的空间距离小于预定距离阈值时，控制报警装置105发出报警提示音。此外，空间距离信息可基于深度摄像头获取的深度信息进行确定。
上述视觉盲区的场景图像的生成方法，盲区场景图像是基于观察者的当前视线方向对目标视觉盲区对应的三维场景图像进行投影变换获得，可见，盲区场景图像是基于观察者视角的，因此有助于观察者对目标视觉盲区内的环境情况进行准确判断。并且，基于观察者的当前视野图像中所包含的遮挡物对应的图像，在当前视野图像中确定与盲区场景图像匹配的目标位置，并基于目标位置对当前视野图像与盲区场景图像进行合成处理，一方面，盲区场景图像是基于观察者视角的，进行合成处理时，能够有效地避免视觉重叠，另一方面，基于合成处理后的图像，观察者能够一并观察目标视觉盲区内的环境情况与观察者当前视野内的环境情况，因而观察者能够对环境情况进行准确判断。
图4为一个实施例中视觉盲区的场景图像的生成方法的流程示意图。应该理解的是，虽然图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为进一步对本申请的方案进行更详细的说明，下文对本申请的一些优选实施例进行具体描述或举例说明。
在一个实施例中，确定所述观察者的当前视线方向的方式，具体可以包括如下步骤：
获取观察者的当前状态图像，所述当前状态图像用于表征所述观察者当前的眼部情况及头部姿态；
基于所述当前状态图像确定所述观察者的内眼角当前所处的第一位置、外眼角当前所处的第二位置、以及当前头部姿态；
基于所述第一位置、所述第二位置以及所述当前头部姿态，计算所述观察者的眼球中心当前所处的第三位置；
对所述当前状态图像进行识别，获得所述观察者的虹膜中心当前所处的第四位置；
基于所述第三位置和所述第四位置确定所述观察者的当前视线方向。
首先需要说明的是，观察者通常会使用左眼和右眼共同观察外界环境，因此可分别确定观察者左眼当前视线方向、以及观察者右眼当前视线方向。
其中，观察者的当前状态图像可由朝向观察者的面部的摄像装置拍摄获得，该摄像装置可用于进行观察者的眼部和头部的跟踪拍摄。例如，对于示例E-1，可通过设置在车辆的前挡风玻璃两侧的第一车内摄像头1021和第二车内摄像头1022对驾驶员进行拍摄，从而可以获得驾驶员的当前状态图像。
在本实施例中，可以基于观察者的当前状态图像对观察者的头部姿态、面部特征以及眼部状态进行识别，从而获得观察者的内眼角当前所处的第一位置、观察者的外眼角当前所处的第二位置以及观察者的当前头部姿态信息。然后，可结合人眼模型计算观察者的眼球中心当前所处的第三位置。此外，可基于观察者的当前状态图像，并利用霍夫变换(即Hough Transform)检测观察者的虹膜边缘，再获得观察者的虹膜中心当前所处的第四位置。进而，基于第三位置与第四位置即可确定观察者的当前视线方向。其中，第一位置、第二位置、第三位置以及第四位置均可为三维空间中的位置。
此外，上述确定观察者的当前视线方向的方法的步骤可由信号处理器103执行，也可以由终端设备104执行。
在一个实施例中，基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换的方式，具体可以包括如下步骤：
基于所述观察者的当前视线方向确定当前投影线的方向；
确定当前投影平面，所述投影平面为形成所述目标视觉盲区的遮挡物所在的平面；
基于所述当前投影线的方向与所述当前投影平面，对所述三维场景图像进行投影变换。
投影变换可以指，将三维空间中的点投影变换到二维图像平面中，由此可知，投影变换后获得的盲区场景图像为二维图像。
在一个具体的示例(下文简称示例E-2)中，可以以采集场景信息的摄像装置(如第一深度摄像头1013和第二深度摄像头1014)所处的位置为坐标原点，建立世界坐标系O-XYZ，设定物体参考点为(a,b,c)，观察者左眼所处的空间位置(即左视点)为(XL,YL,ZL)，观察者右眼所处的空间位置(即右视点)为(XR,YR,ZR)。
然后，确定投影变换矩阵，并分别将世界坐标系O-XYZ中图像的点变换到以左视点为坐标原点的坐标系O-XLYLZL中，以及以右视点为坐标原点的坐标系O-XRYRZR中，在此情况下，上述物体参考点分别对应变为(aL,bL,cL)和(aR,bR,cR)。
然后，基于观察者左眼的当前视线方向确定投影线的方向，并获取相应遮挡物在坐标系O-XLYLZL中的位置情况，从而将该相应遮挡物所在的平面确定为当前投影平面，并将三维场景图像进行投影变换，获得基于观察者左眼视角的二维图像L(x,y)。类似地，基于观察者右眼的当前视线方向确定投影线的方向，并获取相应遮挡物在坐标系O-XRYRZR中的位置情况，从而将该相应遮挡物所在的平面确定为当前投影平面，并将三维场景图像进行投影变换，获得基于观察者右眼视角的二维图像R(x,y)。可以理解，该二维图像L(x,y)和该二维图像R(x,y)即为基于观察者视角的盲区场景图像。
在一个实施例中，所述步骤S406，具体可以包括如下步骤：
在所述当前视野图像中确定遮挡区域，所述遮挡区域为所述遮挡物对应的图像所在的区域；
提取位于所述遮挡区域的边缘的特征点；
基于各所述特征点在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置。
结合上述示例E-2对本实施例中确定目标位置的过程进行说明。
假设获取的观察者左眼的当前视野图像为fL(x,y)，设定fL(x,y)的原点(可以假设fL(x,y)的原点为其左上角的顶点)，设定L(x,y)的原点(可以假设L(x,y)的原点为其质心)，基于fL(x,y)的原点和L(x,y)的原点，可以建立L(x,y)与fL(x,y)之间的映射函数CL(s,t)：
在fL(x,y)中查找遮挡物所在的区域，即遮挡物区域，并提取位于该遮挡区域的边缘的特征点。将L(x,y)在该遮挡物区域内进行移动，在移动过程中，对特征点进行灰度梯度识别，并基于映射函数CL(s,t)获得相似度，当相似度达到最大值时，即可基于该映射函数CL(s,t)确定观察者左眼视角的盲区场景图像L(x,y)在观察者左眼的当前视野图像fL(x,y)中的目标位置。
类似地，观察者右眼的当前视野图像为fR(x,y)，设定fR(x,y)的原点(可以假设fR(x,y)的原点为其左上角的顶点)，设定R(x,y)的原点(可以假设R(x,y)的原点为其质心)，基于fR(x,y)的原点和R(x,y)的原点，可以建立R(x,y)与fR(x,y)之间的映射函数CR(s,t)：
在fR(x,y)中查找遮挡物所在的区域，即遮挡物区域，并提取位于该遮挡区域的边缘的特征点。将R(x,y)在该遮挡物区域内进行移动，在移动过程中，对特征点进行灰度梯度识别，并基于映射函数CR(s,t)获得相似度，当相似度达到最大值时，即可基于该映射函数CR(s,t)确定观察者左眼视角的盲区场景图像R(x,y)在观察者左眼的当前视野图像fR(x,y)中的目标位置。
在一个实施例中，所述目标视觉盲区对应的三维场景图像在满足盲区检测启动条件后获得，所述盲区检测启动条件包括车辆方向盘的当前转角角度大于第一阈值和/或观察者的视角变化量大于第二阈值；
所述目标视觉盲区基于车辆方向盘的当前转角方向和/或观察者的视角调整方向进行选定。
需要说明的是，在车辆应用中，观察者一般是驾驶员。并且，多数情况下，在车辆直线行驶的过程中，位于车体上的特定遮挡物所形成的视觉盲区(如A柱形成的视觉盲区)，不会对驾驶员的操控带来负面影响。然而，在车辆进入弯道前或进行转弯时，若驾驶员无法观察到特定遮挡物所形成的视觉盲区内的环境情况，则容易引发安全事故在此情况下，驾驶员需要准确地观察到该特定遮挡物形成的视觉盲区内的真实环境情况。
基于此，在一个具体示例中，盲区检测启动条件可以仅包括车辆方向盘的当前转角角度大于第一阈值，目标视觉盲区基于车辆方向盘的当前转角方向选定。在此情况下，可以根据车辆方向盘的当前转角角度判断是否满足盲区检测启动条件，即判断是否需要采集生成视觉盲区对应的三维场景图像所用的场景信息。另外，判定满足盲区检测启动条件后，可基于车辆方向盘的当前转角方向选定目标视觉盲区，从而触发采集该场景信息，以及触发基于采集的场景信息生成三维场景图像。在一个具体的示例中，车辆方向盘的当前转角角度和当前转角方向可以由内嵌在车辆方向盘内部的角度传感器装置检测获得。
需要说明的是，获取车辆方向盘的当前转角角度和当前转角方向，再判断当前转角角度是否大于第一角度阈值，以及基于当前转角方向选定目标视觉盲区，触发采集该目标视觉盲区对应的场景信息，以及触发基于采集的场景信息生成三维场景图像，这些步骤可均由信号处理器103执行，也可均由终端设备104执行。以下仍以信号处理器103执行为例进行说明。
结合上述示例E-1进行说明，信号处理器103可先获取车辆方向盘的当前转角角度和当前转角方向，再判断方向盘的当前转动角度是否大于第一角度阈值，若大于，则意味着需要获得视觉盲区对应的三维场景图像，因而根据方向盘的当前转角方向选定目标视觉盲区，触发采集该目标视觉盲区对应的场景信息，进而基于采集的场景信息生成三维场景图像。例如，方向盘的转角方向为左方向，则将位于车体左前方的第一连接柱形成的视觉盲区选定为目标视觉盲区，具体实施时，则由信号处理器103控制第一普通摄像头1011和第一深度摄像头1013启动，从而采集第一连接柱形成的视觉盲区对应的场景信息，进而由信号处理器103基于该场景信息生成三维场景图像。又例如，方向盘的转角方向为右方向，则将位于车体左前方的第二连接柱形成的视觉盲区选定为目标视觉盲区，具体实施上，则由信号处理器103控制第二普通摄像头1012和第二深度摄像头1014启动，从而采集第二连接柱形成的视觉盲区对应的场景信息，进而由信号处理器103基于该场景信息生成三维场景图像。其中，第一角度阈值可以基于实际需求或驾驶经验进行设定。
此外，可以理解，若当前转动角度不大于第一角度阈值时，则终止流程，即不触发相应摄像头采集相应视觉盲区对应的场景信息。
还需要说明的是，在行驶过程中，驾驶员可以基于实际观察需求调整自己的视角。例如，在初始状态下，驾驶员直视前方，当需要观察A柱区域的场景情况时，驾驶员通常会采用将头部向A柱所在方向偏转，或者保持头部不动，但向A柱方向转动眼球等的方式来调整自己的视角。
基于此，在另一个具体示例中，盲区检测启动条件可以仅包括驾驶员的当前视角调整量大于第二角度阈值，目标视觉盲区基于驾驶员的当前视角调整方向选。在此情况下，可以基于驾驶员的当前视角调整量判断是否满足盲区检测启动条件。另外，判定满足盲区检测启动条件后，可基于驾驶员的当前视角调整方向选定目标视觉盲区，从而触发采集该目标视觉盲区对应的场景信息，以及触发基于采集的场景信息生成三维场景图像。
类似地，获取驾驶员的当前视角调整量和当前视角调整方向，判断当前视角调整量是否大于第二角度阈值，以及基于当前视角调整方向选定目标视觉盲区，触发采集该目标视觉盲区对应的场景信息，以及触发基于采集的场景信息生成三维场景图像，这些步骤可均由信号处理器103执行，也可均由终端设备104执行。以下仍以信号处理器103执行为例进行说明。
仍结合上述示例E-1进行说明，信号处理器103可获取驾驶员的当前视角调整量和当前视角调整方向，判断当前视角调整量是否大于第二角度阈值，若大于，则意味着需要采集视觉盲区对应的场景信息以及基于采集的场景信息生成三维场景图像，因而根据当前视角调整方向选定目标视觉盲区，触发采集该目标视觉盲区对应的场景信息，以及触发基于采集的场景信息生成三维场景图像。例如，当前视角调整方向为左方向，则将位于车体左前方的第一连接柱形成的视觉盲区选定为目标视觉盲区，具体实施时，则由信号处理器103控制第一普通摄像头1011和第一深度摄像头1013启动，从而采集第一连接柱形成的视觉盲区对应的场景信息，进而信号处理器103基于采集的场景信息生成三维场景图像。其中，第二角度阈值可以基于实际需求或驾驶经验进行设定。
可以理解，若当前视角调整量不大于第二角度阈值时，则终止流程，即不触发相应摄像头采集相应视觉盲区对应的场景信息。
此外，在又一个具体示例中，盲区检测启动条件可以包括车辆方向盘的当前转角角度大于第一阈值、以及驾驶员的视角变化量大于第二阈值，并且目标视觉盲区基于车辆方向盘的当前转角方向和驾驶员的当前视角调整方向共同选定。
在一个实施例中，所述第一角度阈值基于当前车辆行驶信息确定，所述车辆行驶信息包括车辆行驶速度和/或车辆与目标障碍物之间的距离。
在一个具体的示例中，角度阈值可以基于车辆行驶速度确定。例如，当车速较大时，可以将角度阈值设定为一个较小的值。在此情况下，车辆方向盘转动一个较小的角度时，即判定需要采集视觉盲区对应的盲区场景图像，因而根据方向盘的当前转角方向选定目标视觉盲区。具体实施时，则由信号处理器103控制相应的摄像头启动，从而采集目标视觉盲区对应的场景信息。当车速较小时，可以将角度阈值设定为一个较大的值。在此情况下，车辆方向盘需要转动一个较大的角度，才判定需要采集视觉盲区对应的场景信息。
在另一个具体的示例中，角度阈值可以基于车辆与障碍物之间的距离确定。例如，当车辆与目标障碍物之间的距离较小时，可以将角度阈值设定为一个较小的值。在此情况下，车辆方向盘转动一个较小的角度时，即判定需要采集视觉盲区对应的场景信息，因而根据方向盘的当前转角方向选定目标视觉盲区。具体实施时，则由信号处理器103控制相应的摄像头启动，从而采集目标视觉盲区对应的场景信息。当车辆与目标障碍物之间的距离较大时，可以将角度阈值设定为一个较大的值。在此情况下，车辆方向盘需要转动一个较大的角度，才判定需要采集视觉盲区对应的场景信息。
在又一个具体的示例中，角度阈值也可以基于车辆行驶速度和车辆与障碍物之间的距离共同确定。
基于与上述方法相同的思想，一个实施例中还提供一种视觉盲区的场景图像的生成装置，参照图5，所述生成装置500包括：
盲区图像获取模块502，用于获取目标视觉盲区对应的盲区场景图像，所述盲区场景图像是基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换获得；
视野图像获取模块504，用于获取所述观察者的当前视野图像，所述当前视野图像包含形成所述目标视觉盲区的遮挡物对应的图像；
目标位置确定模块506，用于基于所述遮挡物对应的图像在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置；以及，
合成图像显示模块508，用于基于所述匹配的目标位置对所述当前视野图像与所述盲区场景图像进行合成处理，显示合成处理后的图像。
上述视觉盲区的场景图像的生成装置500，盲区场景图像是基于观察者的当前视线方向对目标视觉盲区对应的三维场景图像进行投影变换获得，可见，盲区场景图像是基于观察者视角的，因此有助于观察者对目标视觉盲区内的环境情况进行准确判断。并且，基于观察者的当前视野图像中所包含的遮挡物对应的图像，在当前视野图像中确定与盲区场景图像匹配的目标位置，并基于目标位置对当前视野图像与盲区场景图像进行合成处理，一方面，盲区场景图像是基于观察者视角的，进行合成处理时，能够有效地避免视觉重叠，另一方面，基于合成处理后的图像，观察者能够一并观察目标视觉盲区内的环境情况与观察者当前视野内的环境情况，因而观察者能够对环境情况进行准确判断。
在一个实施例中，所述生成装置500还可以包括：
状态图像获取模块，用于获取观察者的当前状态图像，所述当前状态图像用于表征所述观察者当前的眼部情况及头部姿态；
位置信息获取模块，用于基于所述当前状态图像确定所述观察者的内眼角当前所处的第一位置、外眼角当前所处的第二位置、以及当前头部姿态；
眼球位置计算模块，用于基于所述第一位置、所述第二位置以及所述当前头部姿态，计算所述观察者的眼球中心当前所处的第三位置；
虹膜位置获取模块，用于对所述当前状态图像进行识别，获得所述观察者的虹膜中心当前所处的第四位置；以及，
视线方向确定模块，用于基于所述第三位置和所述第四位置确定所述观察者的当前视线方向。
在一个实施例中，所述生成装置500还可以包括：
投影线方向确定模块，用于基于所述观察者的当前视线方向确定当前投影线的方向；
投影平面确定模块，用于确定当前投影平面，所述投影平面为形成所述目标视觉盲区的遮挡物所在的平面；
投影变换模块，用于基于所述当前投影线的方向与所述当前投影平面，对所述三维场景图像进行投影变换。
在一个实施例中，所述目标位置确定模块506，可以包括：
遮挡区域确定单元，用于在所述当前视野图像中确定遮挡区域，所述遮挡区域为所述遮挡物对应的图像所在的区域；
特征点提取单元，用于提取位于所述遮挡区域的边缘的特征点；以及，
目标位置确定单元，用于基于所述特征点在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置。
在一个实施例中，所述目标视觉盲区对应的三维场景图像在满足盲区检测启动条件后获得，所述盲区检测启动条件包括车辆方向盘的当前转角角度大于第一角度阈值和/或观察者的当前视角调整量大于第二角度阈值；
所述目标视觉盲区基于车辆方向盘的当前转角方向和/或观察者的当前视角调整方向进行选定。
在一个实施例中，所述第一角度阈值基于当前车辆行驶信息确定，所述车辆行驶信息包括车辆行驶速度和/或车辆与障碍物之间的距离。
基于与上述方法相同的思想，一个实施例中还提供一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本申请提供的任一实施例中的视觉盲区的场景图像的生成方法的步骤。
在一个实施例中，本申请各实施例提供的视觉盲区的场景图像的生成装置可以实现为一种计算机程序的形式，计算机程序可在上述终端设备上运行。终端设备的存储器中可存储组成该视觉盲区的场景图像的生成装置的各个程序模块，比如，图5所示的盲区图像获取模块502、视野图像获取模块504、目标位置确定模块506和合成图像显示模块508。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视觉盲区的场景图像的生成方法中的步骤。例如，终端设备可以通过如图5所示的视觉盲区的场景图像的生成装置中的盲区图像获取模块502执行步骤S402、视野图像获取模块504执行步骤S404、目标位置确定模块506执行步骤S406和合成图像显示模块508执行步骤S408。
在一个具体示例中，终端设备可以为增强现实眼镜，该终端设备的具体结构及其内部各组成器件的功能与前文所述相同，此处不加赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此，一个实施例中还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请提供的任一实施例中的视觉盲区的场景图像的生成方法的步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视觉盲区的场景图像的生成方法，其特征在于，包括：
获取目标视觉盲区对应的盲区场景图像，所述盲区场景图像是基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换获得；
获取所述观察者的当前视野图像，所述当前视野图像包含形成所述目标视觉盲区的遮挡物对应的图像；
基于所述遮挡物对应的图像在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置；
基于所述匹配的目标位置对所述当前视野图像与所述盲区场景图像进行合成处理，显示合成处理后的图像。
2.根据权利要求1所述的方法，其特征在于，确定所述观察者的当前视线方向的方式，包括：
获取观察者的当前状态图像，所述当前状态图像用于表征所述观察者当前的眼部情况及头部姿态；
基于所述当前状态图像确定所述观察者的内眼角当前所处的第一位置、外眼角当前所处的第二位置、以及当前头部姿态；
基于所述第一位置、所述第二位置以及所述当前头部姿态，计算所述观察者的眼球中心当前所处的第三位置；
对所述当前状态图像进行识别，获得所述观察者的虹膜中心当前所处的第四位置；
基于所述第三位置和所述第四位置确定所述观察者的当前视线方向。
3.根据权利要求1所述的方法，其特征在于，基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换的方式，包括：
基于所述观察者的当前视线方向确定当前投影线的方向；
确定当前投影平面，所述投影平面为形成所述目标视觉盲区的遮挡物所在的平面；
基于所述当前投影线的方向与所述当前投影平面，对所述三维场景图像进行投影变换。
4.根据权利要求1所述的方法，其特征在于，所述基于所述遮挡物在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置的步骤，包括：
在所述当前视野图像中确定遮挡区域，所述遮挡区域为所述遮挡物对应的图像所在的区域；
提取位于所述遮挡区域的边缘的特征点；
基于各所述特征点在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置。
5.根据权利要求1至4任一项所述的方法，其特征在于：
所述目标视觉盲区对应的三维场景图像在满足盲区检测启动条件后获得，所述盲区检测启动条件包括车辆方向盘的当前转角角度大于第一角度阈值和/或观察者的当前视角调整量大于第二角度阈值；
其中，所述目标视觉盲区基于车辆方向盘的当前转角方向和/或观察者的当前视角调整方向进行选定。
6.根据权利要求5所述的方法，其特征在于，所述第一角度阈值基于当前车辆行驶信息确定，所述车辆行驶信息包括车辆行驶速度和/或车辆与障碍物之间的距离。
7.一种视觉盲区的场景图像的生成装置，其特征在于，包括：
盲区图像获取模块，用于获取目标视觉盲区对应的盲区场景图像，所述盲区场景图像是基于观察者的当前视线方向对所述目标视觉盲区对应的三维场景图像进行投影变换获得；
视野图像获取模块，用于获取所述观察者的当前视野图像，所述当前视野图像包含形成所述目标视觉盲区的遮挡物对应的图像；
目标位置确定模块，用于基于所述遮挡物对应的图像在所述当前视野图像中确定与所述盲区场景图像匹配的目标位置；以及，
合成图像显示模块，用于基于所述匹配的目标位置对所述当前视野图像与所述盲区场景图像进行合成处理，显示合成处理后的图像。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
9.一种终端设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
10.一种视觉盲区的场景图像的生成系统，其特征在于，包括车外摄像装置、车内摄像头、信号处理器、以及如权利要求9所述的终端设备；
所述车外摄像装置用于采集目标视觉盲区对应的携带原始场景图像及所述原始场景图像的深度信息的场景信息；
所述车内摄像头用于采集观察者的当前状态图像；
所述信号处理器用于基于所述场景信息生成所述目标视觉盲区对应的三维场景图像，并基于所述观察者的当前状态图像确定所述观察者的当前视线方向，再基于所述当前视线方向对所述三维场景图像进行投影变换，以生成目标视觉盲区对应的盲区场景图像，并将所述盲区场景图像发送至所述终端设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711377917.3A CN109934076A (zh) | 2017-12-19 | 2017-12-19 | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711377917.3A CN109934076A (zh) | 2017-12-19 | 2017-12-19 | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109934076A true CN109934076A (zh) | 2019-06-25 |
Family
ID=66984039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711377917.3A Pending CN109934076A (zh) | 2017-12-19 | 2017-12-19 | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934076A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390299A (zh) * | 2019-07-24 | 2019-10-29 | 江西师范大学 | 一种基于视觉增强的柱体背面可视系统及方法 |
| CN110661978A (zh) * | 2019-10-29 | 2020-01-07 | 维沃移动通信有限公司 | 一种拍照方法、电子设备 |
| CN110775057A (zh) * | 2019-08-29 | 2020-02-11 | 浙江零跑科技有限公司 | 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法 |
| CN110996051A (zh) * | 2019-11-26 | 2020-04-10 | 斑马网络技术有限公司 | 车辆视觉补偿的方法、装置及系统 |
| CN111114434A (zh) * | 2019-11-07 | 2020-05-08 | 深圳市德赛微电子技术有限公司 | 视觉辅助成像方法、车载视觉辅助系统及存储设备 |
| CN111277796A (zh) * | 2020-01-21 | 2020-06-12 | 深圳市德赛微电子技术有限公司 | 图像处理方法、车载视觉辅助系统及存储设备 |
| CN112184605A (zh) * | 2020-09-24 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 一种车辆驾驶视野增强方法、设备及系统 |
| CN112184920A (zh) * | 2020-10-12 | 2021-01-05 | 中国联合网络通信集团有限公司 | 基于ar的滑雪盲区显示方法、装置及存储介质 |
| CN112738469A (zh) * | 2020-12-25 | 2021-04-30 | 浙江合众新能源汽车有限公司 | 图像处理方法、设备、系统和计算机可读介质 |
| CN113343935A (zh) * | 2021-07-14 | 2021-09-03 | 合众新能源汽车有限公司 | 一种生成汽车a柱盲区图像的方法和装置 |
| CN113442831A (zh) * | 2020-03-25 | 2021-09-28 | 斑马智行网络(香港)有限公司 | 视野盲区显示方法、装置以及采用该方法的导航系统 |
| CN113954751A (zh) * | 2020-07-20 | 2022-01-21 | 宝能汽车集团有限公司 | 消除a柱盲区装置和消除a柱盲区装置的控制方法 |
| CN114228617A (zh) * | 2021-12-28 | 2022-03-25 | 阿波罗智能技术(北京)有限公司 | 图像生成方法、装置、设备、存储介质和车辆 |
| CN115222610A (zh) * | 2022-03-11 | 2022-10-21 | 广州汽车集团股份有限公司 | 图像方法、装置、电子设备及存储介质 |
| WO2023226570A1 (zh) * | 2022-05-23 | 2023-11-30 | 中兴通讯股份有限公司 | 视野扩增方法、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1150252A2 (en) * | 2000-04-28 | 2001-10-31 | Matsushita Electric Industrial Co., Ltd. | Synthesis of image from a plurality of camera views |
| CN103673977A (zh) * | 2013-11-07 | 2014-03-26 | 沈阳师范大学 | 车辆后方盲区检测的方法和装置 |
| CN204641550U (zh) * | 2015-03-31 | 2015-09-16 | 上海通用汽车有限公司 | 车辆视野盲区显示系统和车辆 |
| US20160009225A1 (en) * | 2014-07-14 | 2016-01-14 | Aisin Seiki Kabushiki Kaisha | Periphery surveillance apparatus and program |
| KR20160049805A (ko) * | 2014-10-28 | 2016-05-10 | 현대모비스 주식회사 | 모바일 단말을 이용한 차량의 사각지대 정보 출력 제어 장치 및 방법 |
| CN105701768A (zh) * | 2016-01-13 | 2016-06-22 | 四川长虹电器股份有限公司 | 基于图像拼接的全景倒车系统及实现方法 |
| CN106056534A (zh) * | 2016-05-31 | 2016-10-26 | 中国科学院深圳先进技术研究院 | 基于智能眼镜的遮挡物透视方法及装置 |
| CN106598221A (zh) * | 2016-11-17 | 2017-04-26 | 电子科技大学 | 基于眼部关键点检测的3d视线方向估计方法 |
| CN107031661A (zh) * | 2017-03-16 | 2017-08-11 | 浙江零跑科技有限公司 | 一种基于盲区相机输入的变道预警方法及系统 |
-
2017
- 2017-12-19 CN CN201711377917.3A patent/CN109934076A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1150252A2 (en) * | 2000-04-28 | 2001-10-31 | Matsushita Electric Industrial Co., Ltd. | Synthesis of image from a plurality of camera views |
| CN103673977A (zh) * | 2013-11-07 | 2014-03-26 | 沈阳师范大学 | 车辆后方盲区检测的方法和装置 |
| US20160009225A1 (en) * | 2014-07-14 | 2016-01-14 | Aisin Seiki Kabushiki Kaisha | Periphery surveillance apparatus and program |
| KR20160049805A (ko) * | 2014-10-28 | 2016-05-10 | 현대모비스 주식회사 | 모바일 단말을 이용한 차량의 사각지대 정보 출력 제어 장치 및 방법 |
| CN204641550U (zh) * | 2015-03-31 | 2015-09-16 | 上海通用汽车有限公司 | 车辆视野盲区显示系统和车辆 |
| CN105701768A (zh) * | 2016-01-13 | 2016-06-22 | 四川长虹电器股份有限公司 | 基于图像拼接的全景倒车系统及实现方法 |
| CN106056534A (zh) * | 2016-05-31 | 2016-10-26 | 中国科学院深圳先进技术研究院 | 基于智能眼镜的遮挡物透视方法及装置 |
| CN106598221A (zh) * | 2016-11-17 | 2017-04-26 | 电子科技大学 | 基于眼部关键点检测的3d视线方向估计方法 |
| CN107031661A (zh) * | 2017-03-16 | 2017-08-11 | 浙江零跑科技有限公司 | 一种基于盲区相机输入的变道预警方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| JURBO: "计算机图形学 学习笔记（八）：三维图形变换：三维几何变换，投影变换（平行/透视 投影）", 《HTTPS://BLOG.CSDN.NET/JURBO/ARTICLE/DETAILS/75041230?UTM_SOURCE=BLOGXGWZ7》 * |
| 布莱德: "《增值印刷》", 29 February 2012 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390299A (zh) * | 2019-07-24 | 2019-10-29 | 江西师范大学 | 一种基于视觉增强的柱体背面可视系统及方法 |
| CN110775057A (zh) * | 2019-08-29 | 2020-02-11 | 浙江零跑科技有限公司 | 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法 |
| CN110661978A (zh) * | 2019-10-29 | 2020-01-07 | 维沃移动通信有限公司 | 一种拍照方法、电子设备 |
| CN111114434A (zh) * | 2019-11-07 | 2020-05-08 | 深圳市德赛微电子技术有限公司 | 视觉辅助成像方法、车载视觉辅助系统及存储设备 |
| CN110996051A (zh) * | 2019-11-26 | 2020-04-10 | 斑马网络技术有限公司 | 车辆视觉补偿的方法、装置及系统 |
| CN111277796A (zh) * | 2020-01-21 | 2020-06-12 | 深圳市德赛微电子技术有限公司 | 图像处理方法、车载视觉辅助系统及存储设备 |
| CN113442831A (zh) * | 2020-03-25 | 2021-09-28 | 斑马智行网络(香港)有限公司 | 视野盲区显示方法、装置以及采用该方法的导航系统 |
| CN113954751A (zh) * | 2020-07-20 | 2022-01-21 | 宝能汽车集团有限公司 | 消除a柱盲区装置和消除a柱盲区装置的控制方法 |
| CN112184605A (zh) * | 2020-09-24 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 一种车辆驾驶视野增强方法、设备及系统 |
| CN112184920A (zh) * | 2020-10-12 | 2021-01-05 | 中国联合网络通信集团有限公司 | 基于ar的滑雪盲区显示方法、装置及存储介质 |
| CN112184920B (zh) * | 2020-10-12 | 2023-06-06 | 中国联合网络通信集团有限公司 | 基于ar的滑雪盲区显示方法、装置及存储介质 |
| CN112738469A (zh) * | 2020-12-25 | 2021-04-30 | 浙江合众新能源汽车有限公司 | 图像处理方法、设备、系统和计算机可读介质 |
| CN113343935A (zh) * | 2021-07-14 | 2021-09-03 | 合众新能源汽车有限公司 | 一种生成汽车a柱盲区图像的方法和装置 |
| CN114228617A (zh) * | 2021-12-28 | 2022-03-25 | 阿波罗智能技术(北京)有限公司 | 图像生成方法、装置、设备、存储介质和车辆 |
| CN115222610A (zh) * | 2022-03-11 | 2022-10-21 | 广州汽车集团股份有限公司 | 图像方法、装置、电子设备及存储介质 |
| WO2023226570A1 (zh) * | 2022-05-23 | 2023-11-30 | 中兴通讯股份有限公司 | 视野扩增方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934076A (zh) | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 | |
| CN109690623B (zh) | 用于识别场景中的相机的姿势的系统和方法 | |
| CN104883554B (zh) | 通过虚拟透视仪器群集显示直播视频的方法和系统 | |
| CN103237685B (zh) | 盲区显示装置及方法 | |
| EP1462762B1 (en) | Circumstance monitoring device of a vehicle | |
| JP6007848B2 (ja) | 目視確認評価装置、方法及びプログラム | |
| CN103871045B (zh) | 显示系统和方法 | |
| US20070009137A1 (en) | Image generation apparatus, image generation method and image generation program | |
| US10645365B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
| WO2018036250A1 (zh) | 车用辅助显示装置、显示方法以及车辆 | |
| CN116485870A (zh) | 用于跟踪移动设备的方法和系统 | |
| EP3695381B1 (en) | Floor detection in virtual and augmented reality devices using stereo images | |
| WO2005088970A1 (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
| JPWO2006093250A1 (ja) | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 | |
| CN109782901A (zh) | 增强现实交互方法、装置、计算机设备及存储介质 | |
| JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
| WO2017206042A1 (zh) | 基于智能眼镜的遮挡物透视方法及装置 | |
| CN114332429A (zh) | 增强现实ar场景的展示方法及装置 | |
| JP6776440B2 (ja) | 動力車両を運転する際に動力車両のドライバーを支援する方法、ドライバー支援システム及び動力車両 | |
| JP2001114047A (ja) | 車両周囲状況提示装置 | |
| CN109345591A (zh) | 一种车辆自身姿态检测方法和装置 | |
| CN113537047A (zh) | 障碍物检测方法、装置、交通工具及存储介质 | |
| CN114356072A (zh) | 用于检测可穿戴设备的空间取向的系统和方法 | |
| JPWO2019049709A1 (ja) | 画像処理装置、画像処理方法、および画像表示システム | |
| Ribas et al. | In-Cabin vehicle synthetic data to test Deep Learning based human pose estimation models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |