CN115134491B - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN115134491B CN115134491B CN202210588275.6A CN202210588275A CN115134491B CN 115134491 B CN115134491 B CN 115134491B CN 202210588275 A CN202210588275 A CN 202210588275A CN 115134491 B CN115134491 B CN 115134491B
- Authority
- CN
- China
- Prior art keywords
- image
- road
- vehicle
- target vehicle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 72
- 238000001514 detection method Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例涉及计算机技术领域和智能设备技术领域,公开了图像处理方法和装置,其中方法包括:获取目标车辆的车辆信息,以及目标车辆的当前行驶道路的道路信息,其中车辆信息包括目标车辆当前的行驶方向,道路信息包括当前行驶道路的道路类型;然后基于目标车辆当前的行驶方向和当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区;同时,可以获取目标车辆的全景图像,并从全景图像中确定与视觉盲区匹配的第一区域图像;最后,显示第一区域图像。采用本申请实施例,可实现及时显示驾驶员当前所需的视觉图像,以提高行驶安全。
Description
技术领域
本申请涉及计算机技术领域和智能设备技术领域,尤其涉及图像处理方法和装置。
背景技术
驾驶员能够观察到的车辆周围环境是有限的,存在视觉盲区(即驾驶员因为视线受阻而无法观察到的区域)。现有的解决视觉盲区的方式是显示车辆外部的全景图像,以使得驾驶员能够完整地观察到车辆的外部环境。虽然驾驶员能够完整地观察到车辆的外部环境,但由于全景图像的显示视角是比较固定的,而车辆行驶过程中的道路情况是复杂多变的,故而驾驶员往往不能及时地从全景图像中确定出当前所需的视觉图像。因此,如何及时显示驾驶员当前所需的视觉图像,以提高行驶安全,是目前亟需解决的问题。
发明内容
本申请实施例提供了一种图像处理方法和装置,可实现及时显示驾驶员当前所需的视觉图像,以提高行驶安全。
一方面,本申请实施例提供一种图像处理方法,该方法包括:
获取目标车辆的车辆信息,以及所述目标车辆的当前行驶道路的道路信息,所述车辆信息包括所述目标车辆当前的行驶方向,所述道路信息包括所述当前行驶道路的道路类型;
基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区;
获取所述目标车辆的全景图像,所述全景图像是由多个摄像装置中各个摄像装置分别采集到的图像拼接得到的,所述各个摄像装置相对所述目标车辆的方位各不相同;
从所述全景图像中确定与所述视觉盲区匹配的第一区域图像;
显示所述第一区域图像。
一方面,本申请实施例提供了一种图像处理装置,所述图像处理装置包括获取单元、处理单元和显示单元,其中:
所述获取单元,用于获取目标车辆的车辆信息,以及所述目标车辆的当前行驶道路的道路信息,所述车辆信息包括所述目标车辆当前的行驶方向,所述道路信息包括所述当前行驶道路的道路类型;
所述获取单元,用于基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区;
所述处理单元,用于获取所述目标车辆的全景图像,所述全景图像是由多个摄像装置中各个摄像装置分别采集到的图像拼接得到的,所述各个摄像装置相对所述目标车辆的方位各不相同;
所述处理单元,还用于从所述全景图像中确定与所述视觉盲区匹配的第一区域图像;
所述显示单元,用于显示所述第一区域图像。
一方面,本申请实施例提供了一种电子设备,所述电子设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行上述图像处理方法。
一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行上述图像处理方法。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,所述计算机程序产品或所述计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中;电子设备的处理器从所述计算机可读存储介质中读取所述计算机指令,所述处理器执行所述计算机指令,所述计算机指令被处理器执行时,用于执行上述图像处理方法。
本申请实施例中,会综合目标车辆当前的行驶方向,以及目标车辆的当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区,然后从获取到的目标车辆的全景图像中确定出与视觉盲区匹配的第一区域图像,从而实现根据目标车辆的当前行驶状态(即行驶方向)和周围环境(即道路类型),灵活地从全景图像中确定出驾驶员当前所需的视觉图像,最后通过显示第一区域图像的方式,使得目标车辆的驾驶员能够及时地通过显示的图像去观察目标车辆的外部环境,有利于提高行驶安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理系统的结构示意图;
图2是本申请实施例提供的一种装有车载智能终端的车辆的结构示意图;
图3是本申请实施例提供的一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种视觉盲区的示意图;
图5是本申请实施例提供的一种确定第一区域图像的示意图;
图6是本申请实施例提供的一种第一区域图像的显示界面示意图;
图7是本申请实施例提供的另一种图像处理方法的流程示意图;
图8是本申请实施例提供的一种图像处理装置的结构示意图;
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
由于驾驶员难以及时地从全景图像中确定出当前所需的视觉图像,本申请提出了一种图像处理方法,该方法会先获取目标车辆的车辆信息(包括目标车辆当前的行驶方向)和目标车辆的道路信息(包括目标车辆的当前行驶道路的道路类型),并通过行驶方向和道路类型确定出目标车辆当前的视觉盲区;然后再获取目标车辆的全景图像,并从全景图像中确定出与视觉盲区匹配的第一区域图像,最后显示第一区域图像。不难看出,采用上述图像处理方法,可以先根据目标车辆当前的行驶状态(即行驶方向)和当前行驶道路的道路类型,综合确定出目标车辆存在的视觉盲区,然后通过确定并显示目标车辆的全景图像中与视觉盲区匹配的第一区域图像的方式,使得驾驶员的视觉盲区都能够及时得到显示,从而使得驾驶员能够及时查看到在不同的行驶状态下所需的视觉图像,以便驾驶员能够及时掌握车辆外部的情况,进而达到提高行驶安全的目的。
基于此,本申请实施例提供了一种图像处理系统,参见图1,为本申请实施例提供的一种图像处理系统的结构示意图。图1所示的图像处理系统可以包括车载智能终端101以及服务器102,所述服务器102中可以运行有图像处理的管理平台。其中,车载智能终端101可以包括智能手机、平板电脑、台式计算机等智能设备中的任意一种或多种,也可以是具有显示功能的智能设备,在此不限定;服务器102可以是服务器,例如可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。车载智能终端101以及服务器102之间可以通过无线通信方式进行通信连接,本申请在此不做限制。可选地,所述车载智能终端101以及服务器102之间可以通过2G、3G、4G、5G、C-V2X(Cellular-Vehicle to Everything)中的一种或多种技术实现无线通信,从而可以做到车载智能终端101和服务器102之间实时进行数据传输,以提高传输速率。
在一个实施例中,上述图像处理方法可以仅由图1所示的图像处理系统中的车载智能终端来执行,具体执行过程为:车载智能终端101先获取目标车辆的车辆信息,以及目标车辆的当前行驶道路的道路信息,并基于车辆信息中目标车辆当前的行驶方向和道路信息中当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区;然后,车载智能终端101获取目标车辆的全景图像;最后,车载智能终端101从全景图像中确定与视觉盲区匹配的第一区域图像,并显示第一区域图像。
在一个实施例中,上述图像处理方法可以运行在图像处理系统中,图像处理系统可以包括车载智能终端和服务器,其中,所述图像处理方法可由图1所示的图像处理系统中所包含的车载智能终端101和运行有管理平台的服务器102来共同完成,具体执行过程为:车载智能终端101获取目标车辆的车辆信息,然后向服务器102发送道路信息请求,服务器102在接收到道路信息请求之后,将目标车辆的当前行驶道路的道路信息发送至车载智能终端101;然后,车载智能终端101基于车辆信息中目标车辆当前的行驶方向和道路信息中当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区;之后,车载智能终端101可以获取目标车辆的全景图像,并从全景图像中确定与视觉盲区匹配的第一区域图像;最后,车载智能终端101显示第一区域图像。
可选地,也可以是车载智能终端101将获取到的目标车辆的车辆信息发送至服务器102,由服务器102基于车辆信息中目标车辆当前的行驶方向和道路信息中当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区,然后再将视觉盲区发送至车载智能终端101;之后,车载智能终端101可以获取目标车辆的全景图像,并从全景图像中确定与视觉盲区匹配的第一区域图像;最后再由车载智能终端101显示第一区域图像。
在一个实施例中,请参见附图2,图2为一种装有车载智能终端的车辆的结构示意图。车载智能终端安装在司机驾驶室201中,所述车载智能终端可以包括处理模块、图像采集模块、显示模块和通信模块。所述处理模块可以用于对其他模块采集到的图像信息等信息进行处理。所述显示模块可以用于显示图像采集模块采集到的图像。所述通信模块可以用于与图像处理的管理中心进行数据传输,也可以用于车载智能终端与其他车辆进行通信。举例来说,所述处理模块和通信模块可以集成在车载智能终端中,所述车载智能终端的处理模块可以是ECU(Electronic Control Unit,电子控制单元)或者VCU((VehicularCommunication Unit,车载控制器),并通过CAN(Controller Area Network,ISO国际标准化的串行通信协议)与车载智能终端中其他模块进行通信,从而获取到其他模块采集到的图像信息等信息。
所述图像采集模块用于采集视频图像。具体来说,所述图像采集模块可以包括多个摄像装置,通过摄像装置采集实时图像并传输至车载智能终端中的处理模块。可选地,处理模块在接收到各个摄像装置的实时图像后,可以通过将各个摄像装置的实时图像进行矫正和拼接,从而得到全景图像。可选地,通信模块可以将全景图像传输至管理中心,由管理中心显示或保存全景图像;处理模块也可以保存所述全景图像或者通过车载智能终端的显示模块(如显示屏幕等)显示全景图像。举例来说,可以在图2所示的车辆的左上角安装一个超广角的高清的红外鱼眼摄像头202、右上角安装一个超广角的高清的红外鱼眼摄像头203、左下角安装一个超广角的高清的红外鱼眼摄像头204、右下角安装一个超广角的高清的红外鱼眼摄像头205,其中,通过上述四个红外鱼眼摄像头可以采集车辆周围360度的图像,从而可以通过将四个红外鱼眼摄像头采集车辆到的图像进行拼接的方式,得到车辆四周的全景图像。
可选地,所述车载智能终端还可以包括报警模块、障碍物检测模块、人脸识别模块、辅助驾驶模块、定位模块、车胎检测模块、对讲模块、灾备存储模块中的一个或多个。所述报警模块用于提示或报警。具体来说,所述报警模块可以是声光报警器、电子围栏等;所述报警模块也可以是能够向救援平台或者管理中心发出报警信号的具有无线通信功能的模块;所述报警模块还可以是报警按钮(如SOS报警输入开关),驾驶人员遇到紧急危险情况时可人工触发报警按钮,并由报警模块将报警信息自行上传到管理平台。
所述障碍物检测模块用于检测车辆周围的障碍物。其中,所述障碍物检测模块可以包括雷达、训练后的障碍物识别模型中的一种或多种。所述训练后的障碍物识别模型是通过对深度学习模型进行训练后所得到的能够识别图像中的障碍物的模型。举例来说,可以通过含有障碍物的图像,以及针对图像所述标注的障碍物类型对深度学习模型进行训练,从而得到训练后的障碍物识别模型。其中,障碍物类型具体可以是行人、自行车、公交车、小汽车、电动车、摩托车等道路上容易遇到的障碍物,在此不限定。由于对深度学习模型进行训练的过程为本领域技术人员所惯用的技术手段,在此不赘述。
具体来说,可以通过障碍物检测模块中训练后的障碍物识别模型对全景图像进行识别处理,得到第一障碍物识别结果,若第一障碍物识别结果指示全景图像中存在障碍物,则输出第一障碍物提示信息,以提示驾驶员存在障碍物。可选地,训练后的障碍物识别模型可以只对第一区域图像进行识别处理,得到第二障碍物识别结果,若第二障碍物识别结果指示第一区域图像中存在障碍物,则输出第二障碍物提示信息,以提示驾驶员第一区域图像中存在障碍物,从而使得驾驶员能够及时避让障碍物。可选地,可以通过雷达直接检测车辆周围的障碍物,若雷达检测到车辆周围存在障碍物,则可以输出第三障碍物提示信息,以提示驾驶员存在障碍物。可选地,训练后的障碍物识别模型识别出目标障碍物之后,还可以结合雷达检测出目标障碍物与车辆之间的距离,最后可以输出目标障碍物的位置,以及目标障碍物与车辆之间的距离,从而便于驾驶员能够通过目标障碍物的位置,以及目标障碍物与车辆之间的距离去及时避让障碍物。可选地,可以是在预设场景下才开启障碍物检测模块,以对车辆周围环境中的障碍物进行检测。其中,所述预设场景具体可以是车轮转角大于预设角度(如10度、3度等)、左转向灯开启、右转向灯开启等容易因为难以察觉到盲区中的障碍物而造成车辆剐蹭、碰撞的场景,预设角度可以是人为设定,也可以是系统设定。具体来说,当检测到车辆的车轮转角大于5度时,车载智能终端可以开启障碍物检测模块,若障碍物检测模块在预设时间内(如0.1秒内)检测出目标障碍物,则障碍物检测模块可以向驾驶员输出障碍物提示信息、目标障碍物的位置、目标障碍物与车辆之间的距离中的一种或多种,可选地,障碍物检测模块还可以通过报警模块,向管理平台和救援平台发送报警信息。可选地,报警模块可以按照TTC(Time To Collision)报警规则进行报警。
所述人脸识别模块用于对司机进行人脸识别和实时监控。车载智能终端通过人脸识别模块,可以实现本地或远程对车辆的驾驶员进行人脸识别(如人脸注册、免摘口罩识别或者活体检测等),只有识别通过,驾驶员才允许驾驶车辆。同时,人脸识别模块还可以对驾驶员实时监控,从而准确识别当前驾驶行为,对影响驾驶员安全驾驶的行为,如打电话、疲劳驾驶、抽烟、左顾右盼、长时间离岗等行为,给予实时的提醒与警告。
所述定位模块可以用于采集车辆的当前位置信息,以及记录车辆的运行轨迹。具体来说,所述定位模块可以是高精度的全球导航卫星系统(GNSS),或者所述行车数据采集模块也可以其他高精度定位系统(如惯导、雷达等),在此不限定。
所述车胎检测模块可以用于采集车辆的车胎的胎压和胎温。车胎检测模块采集到的胎压和胎温可以实时传输至处理模块,之后,可以由处理模块通过通信模块将胎压和胎温实时传输至管理平台,也可以由处理模块判断胎压是否小于第一预设胎压,以及胎压是否大于第二预设胎压,若胎压小于第一预设胎压或者胎压大于第二预设胎压,则输出胎压报警信息,以警示驾驶员胎压过低或胎压过高;同时,还可以由处理模块判断胎温是否小于第一预设胎温,以及胎温是否大于第二预设胎温,若胎温小于第一预设胎温或者胎温大于第二预设胎温,则输出胎温报警信息,以警示驾驶员胎温过低或胎温过高。
所述辅助驾驶模块可以用于通过对安装在车上的多种传感器或模块(如毫米波雷达、激光雷达、单\双目摄像头和卫星导航等)采集到的数据进行运算与分析,以对静态或动态物体进行辨识、侦测与追踪,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。同时,辅助驾驶模块可以还可以对车道偏移、前向碰撞、低速碰撞、车距检测、急转弯、急加速、急减速、急刹车、侧翻等情况进行预警。
所述对讲模块可以用于车辆的驾驶员与后端工作人员进行实时语音沟通,使得当出现驾驶员无法处理的紧急情况时,后端工作人员可以及时提出建议。所述灾备存储模块用于存储车载智能终端采集到的如图像数据、位置数据等一切数据,以便于当发生事故时,相关部门可以通过灾备存储模块进行数据调查,从而取得事故相关证据、还原事故现场等。
需要说明的是,本申请实施例以公交车等车辆的相关场景为例介绍本申请实施例提及的图像处理方案,并不会对本申请实施例起到限定作用,本申请实施例提及的图像处理方案还可以运用于其他需要显示全景图像的场景中,本申请实施例对此不作限定。
请参见图3,图3是本申请实施例提供的一种图像处理方法的流程示意图;如图3所示的图像处理方案可由图1所示的车载智能终端来执行,可以应用于图1所示的图像处理系统,该方案包括但不限于步骤S301~步骤S305,其中:
S301,获取目标车辆的车辆信息,以及目标车辆的当前行驶道路的道路信息,车辆信息包括目标车辆当前的行驶方向,道路信息包括当前行驶道路的道路类型。
在本申请实施例中,所述目标车辆当前的行驶方向可以是目标车辆的车头指向的行驶方向。具体来说,如果目标车辆的车头是朝向车辆前方的,那么目标车辆当前的行驶方向则为前;如果目标车辆的车头是朝向车辆的右前方的,那么目标车辆当前的行驶方向则为右前。可选地,所述目标车辆当前的行驶方向也可以是目标车辆的车轮转向的方向。具体来说,由于车辆的车轮转向的方向也就是车辆将要行驶的方向,故而车辆的车轮转向的方向也可以作为目标车辆当前的行驶方向。
另外,所述道路类型可以是根据道路的形状来确定的,不同道路类型的道路中司机的视觉盲区不同。举例来说,道路类型可以是十字型、X型、T型、Y型、环型等。不同形状的道路中目标车辆的驾驶员的视觉范围不同,需要关注的方位也不同。可选地,所述道路类型也可以是根据道路的位置关系来确定的,示例性地,道路类型可以是上坡型、下坡型等。可选地,所述道路类型还可以同时包括道路的形状和道路的位置关系等,在此不限定。
S302,基于目标车辆当前的行驶方向和当前行驶道路的道路类型,确定目标车辆当前的视觉盲区。
在本申请实施例中,所述基于目标车辆当前的行驶方向和当前行驶道路的道路类型,确定目标车辆当前的视觉盲区的方式可以是:基于预先建立的行驶方向与视觉盲区的对应关系,确定出目标车辆当前的行驶方向对应的第一视觉盲区;以及,基于预先建立的道路类型与视觉盲区的对应关系,确定出目标车辆当前的行驶方向对应的第二视觉盲区;最后,基于第一视觉盲区和第二视觉盲区,生成目标车辆当前的视觉盲区。其中,若第一视觉盲区和第二视觉盲区之间不存在相同的视觉盲区,则确定目标车辆当前的视觉盲区为第一视觉盲区和第二视觉盲区;若第一视觉盲区和第二视觉盲区之间存在相同的第三视觉盲区,则确定目标车辆当前的视觉盲区为第一视觉盲区,以及第二视觉盲区中除第三视觉盲区以外的视觉盲区。
此外,所述预先建立的行驶方向与视觉盲区的对应关系可以是通过多次实验,测试出目标车辆在不同行驶方向下需要关注的视觉盲区,从而建立出行驶方向与视觉盲区的对应关系。所述预先建立的道路类型与视觉盲区的对应关系可以是通过多次实验,测试出目标车辆行驶在不同道路类型的道路上时需要关注的视觉盲区,从而建立出道路类型与视觉盲区的对应关系。
可选地,由于车辆当前行驶道路的道路类型,以及车辆当前的行驶方向都会影响驾驶盲区的变化,因此所述基于目标车辆当前的行驶方向和当前行驶道路的道路类型,确定目标车辆当前的视觉盲区的方式也可以是:基于预先建立的行驶方向、道路类型与视觉盲区的对应关系,确定出目标车辆当前的视觉盲区。其中预先建立的行驶方向、道路类型与视觉盲区的对应关系可以是通过多次实验,测试出目标车辆行驶在同一道路类型的道路上时,不同行驶方向下需要关注的视觉盲区,以及目标车辆行驶在不同道路类型的道路上时,同一行驶方向下需要关注的视觉盲区,从而建立出行驶方向、道路类型与视觉盲区的对应关系。
举例来说,请参见附图4,示出了一种视觉盲区的示意图,目标车辆401行驶在Y型道路上,此时目标车辆401想要向左转变道,可以确定出目标车辆401当前行驶方向为左前方,由于预先建立的行驶方向、道路类型与视觉盲区的对应关系指示当行驶方向为左前方、道路类型为Y型时,视觉盲区为如图4所示的A区和B区,从而可以确定出目标车辆401当前的视觉盲区为A区和B区。
S303,获取目标车辆的全景图像。
在本申请实施例中,所述全景图像指的是以目标车辆为中心,围绕目标车辆360度方向的图像。举例来说,所述全景图像可以是一个目标车辆周围全景环视的2D/3D全景俯视图。此外,所述全景图像是由多个摄像装置中各个摄像装置分别采集到的图像拼接得到的,各个摄像装置相对目标车辆的方位各不相同。具体来说,所述多个摄像装置采集到的图像可能存在重合,因此在获取到多个摄像装置中各个摄像装置分别采集到的图像之后,可以先判断各个图像之间是否存在重合区域,若存在重合区域,则选取一个含有重合区域的图像保留重合区域,将其他含有重合区域的图像中的重合区域进行裁剪;最后将裁剪后的图像进行拼接,得到目标车辆的全景图像。
可选地,所述多个摄像装置可以包括安装在目标车辆上的摄像装置,也可以包括距离目标车辆预设范围内的车辆或公共设施上安装的摄像装置。其中,所述预设范围可以是人为设定的,也可以是系统设定的,如50米内、10平方米内等,在此不限定。也就是说,所述全景图像可以是由目标车辆自身安装的摄像装置采集到的图像拼接得到的,也可以是由距离目标车辆预设范围内的车辆或公共设施上安装的摄像装置采集到的图像拼接得到的,还可以是由目标车辆自身安装的摄像装置采集到的图像和距离目标车辆预设范围内的车辆或公共设施上安装的摄像装置采集到的图像共同拼接得到的。
S304,从全景图像中确定与视觉盲区匹配的第一区域图像。
在本申请实施例中,所述从全景图像中确定与视觉盲区匹配的第一区域图像的方式可以是:确定所述视觉盲区相对于目标车辆的视觉角度;从全景图像中查找与所述拍摄角度与所述视觉角度相同的第一区域图像。可选地,所述从全景图像中确定与视觉盲区匹配的第一区域图像的方式还可以是:基于预先建立的视觉盲区与全景图像的区域图像的对应关系,从全景图像中确定与视觉盲区匹配的第一区域图像。具体来说,可以预先确定出哪些视觉盲区对应全景图像中的哪些区域图像,从而可以从全景图像中确定与视觉盲区匹配的第一区域图像。
举例来说,请参见附图5,示出了一种确定第一区域图像的示意图。参见图4中的示例,在确定了目标车辆401当前的视觉盲区为A区和B区之后,可以进一步确定A区相对于目标车辆401的视觉角度为180度至240度,B区相对于目标车辆401的视觉角度为15度至45度,那么可以从目标车辆401的全景图像501中查找出视觉角度在180度至240度的区域图像503,以及视觉角度在15度至45度的区域图像502,最后可以确定第一区域图像为区域图像502和区域图像503。
S305,显示第一区域图像。
在本申请实施例中,所述显示第一区域图像的方式可以是在目标车辆的显示设备中实时显示第一区域图像。可选地,所述显示第一区域图像的方式也可以是显示全景图像,并在全景图像中突出显示第一区域图像。
具体来说,所述在全景图像中突出显示第一区域图像的方式可以是在全景图像中标注出第一区域图像,显示标注后的全景图像,其中,所述标注的方式可以是通过虚线、或者具体区分效果的线条在全景图像中标注出第一区域图像,也可以是通过具有区别于全景图像的颜色的半透明的阴影框在全景图像中标注出第一区域图像。可选地,在全景图像中突出显示第一区域图像的方式还可以是显示全景图像,并在全景图像中通过分屏的方式显示第一区域图像。可选地,在全景图像中突出显示第一区域图像的方式还可以是在显示全景图像时放大显示第一区域图像。举例来说,请参见附图6,示出了一种第一区域图像的显示界面示意图。可以确定全景图像601中的第一区域图像为区域图像602,那么,可以如图像603所示,在显示全景图像601的同时,通过分屏的方式显示区域图像602。
在一种可能的实现方式中,所述目标车辆可以是公交车辆,那么,还可以从检测到公交车辆停靠在预设公交线路中的任一公交站点开始,至公交车辆驶离任一公交站点的时间段内,获取公交车辆的多个全景图像;然后从各个全景图像中确定方位为公交车辆的第一传输口的第一检测区域图像和方位为公交车辆的第二传输口的第二检测区域图像;对各个第一检测区域图像和各个第二检测区域图像进行图像识别处理,确定公交车辆在任一公交站点停靠时的上车乘客数量和下车乘客数量;基于目标车辆在预设公交线路中各个公交站点停靠时的上车乘客数量和下车乘客数量,确定预设公交线路的车辆调度策略。
其中,所述预设公交线路指的是每一辆公交车行驶的固定线路;所述方位为公交车辆的第一传输口一般可以是公交车辆的前门(即乘客上车的门),所述方位为公交车辆的第二传输口一般可以是公交车辆的后门(即乘客下车的门)。也就是说,可以获取公交车开始停靠某个公交站点至离开某个公交站点这段时间内的多张全景图像,然后对每张全景图像中含有前门的区域图像(即第一检测区域图像),和含有后门的区域图像(即第二检测区域图像)进行图像识别处理,从而可以确定出公交车辆在每个公交站点的客流量(即上车乘客数量和下车乘客数量),最后可以通过统计目标车辆在预设公交线路中所有公交站点的客流量,从而可以统计出目标车辆在预设公交线路中的总客流量,从而可以通过对总客流量进行分析,确定出预设公交线路的车辆调度策略(即是否需要增加或减少行驶该预设公交线路的公交车辆的数量)。
可选地,除了对各个第一检测区域图像进行图像识别处理之外,还可以对各个第一检测区域图像进行人脸识别处理,确定各个上车乘客的乘客类型,以得到多个乘客类型;然后基于各个上车乘客的乘客类型,确定各个乘客类型对应的乘客数量;最后将乘客数量最大的乘客类型确定为目标乘客类型,并生成满足目标乘客类型的乘客需求的车辆管理方案,车辆管理方案用于对公交车辆进行车辆设施改造。
其中,所述乘客类型可以通过乘客的年龄进行分类的,如乘客类型可以是老年、中年、青年、少年、儿童等,也可以是通过乘客的性别进行分类的,如男性和女性,还可以是通过乘客的职业进行分类的,如上班族、退休人员、学生等。可选地,也可以是通过其他维度对乘客进行分类,在此不限定。此外,由于不同乘客类型的乘客需求不同,故而需要从多种乘客类型能够选取出目标乘客类型,最后生成满足目标乘客类型的乘客需求的车辆管理方案。举例来说,如果目标乘客类型是老年的话,说明这条公交线路中的乘客多是老年人,那么车辆管理方案可以包括在目标车辆中的座位旁安装扶手、减少目标车辆中的台阶等满足老年人需求的措施;如果目标乘客类型是上班族的话,说明这条公交线路中的乘客多是上班的年轻人,那么车辆管理方案可以包括设定刷卡机工作日早上9点之后才可以对老年人免费刷卡等措施,以避免老人和上班族挤公交。
本申请实施例中,会综合目标车辆当前的行驶方向,以及目标车辆的当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区,然后从获取到的目标车辆的全景图像中确定出与视觉盲区匹配的第一区域图像,从而实现根据目标车辆的当前行驶状态(即行驶方向)和周围环境(即道路类型),灵活地从全景图像中确定出驾驶员当前所需的视觉图像,最后通过显示第一区域图像的方式,使得目标车辆的驾驶员能够及时地通过显示的图像去观察目标车辆的外部环境,有利于提高行驶安全。此外,当目标车辆为公交车辆时,还可以通过对含有公交车辆的前门和后门的区域图像进行图像识别和人脸识别的方式,去生成相应的车辆调度策略和车辆管理方案,从而在保证公交车辆的驾驶员能够及时观察到当前所需的视觉图像,以提高行驶安全的同时,还可以提高公交车辆的运行效率,以及提高乘坐公交车的乘客的乘坐体验。
请参见图7,图7是本申请实施例提供的另一种图像处理方法的流程示意图;如图7所示的图像处理方案可由图1所示的车载智能终端来执行,可以应用于图1所示的图像处理系统,该方案可包括但不限于步骤S701~步骤S708,其中:
S701,获取目标车辆的车辆信息,以及目标车辆的当前行驶道路的道路信息,车辆信息包括目标车辆当前的行驶方向,道路信息包括当前行驶道路的道路类型和第一历史事故信息。
本申请实施例中,所述第一历史事故信息包括在所述当前行驶道路产生事故的事故原因。事故的发生,往往是驾驶员、车辆和环境的共同作用,而事故的环境通常是道路,因此还可以通过获取第一历史事故信息,去分析出在当前行驶道路上行驶时驾驶员需要关注的外部环境。需要说明的是,目标车辆当前的行驶方向和当前行驶道路的道路类型可以参见步骤S301中关于行驶方向和道路类型的描述,在此不赘述。
可选地,所述车辆信息还可以包括目标车辆对应的驾驶员的驾驶特征信息,所述驾驶特征信息用于指示目标车辆对应的驾驶员的概率大于预设概率阈值的未关注方位。可选地,所述未关注方位可以通过对目标车辆对应的驾驶员的历史驾驶事故信息进行分析得到,如目标车辆对应的驾驶员在一次剐蹭事故中是因为没有观察到左后方的来车,那么可以确定此次事故的未关注方位为左后方;如目标车辆对应的驾驶员在一次碰撞事故中是因为没有观察到车头的物体,那么可以确定此次事故的未关注方位为前方。所述预设概率阈值可以是人为设定的,也可以是系统设定的,在此不限定。举例来说,所述预设概率阈值可以是60%、85%、0.74、0.95等。那么,获取驾驶特征信息的方式可以是:先确定多次事故中每次事故对应的未关注方位,得到多个未关注方位;确定各个未关注方位对应的事故次数;基于各个未关注方位对应的事故次数和事故总次数,计算出各个未关注方位对应的概率,最后基于概率大于预设概率阈值的未关注方位生成驾驶特征信息。可选地,所述驾驶特征信息还可以是响应目标车辆的驾驶员的输入操作而得到的,由于目标车辆的驾驶员在长期驾驶车辆的过程中,清楚自己容易忽略观察的方位,因此驾驶特征信息可以由目标车辆的驾驶员自己输入。
可选地,所述车辆信息还可以包括目标车辆的车辆类型。所述车辆类型指的是车辆的大小,如大型车、中型车、小型车等。由于车辆的车辆类型不同,车辆的视觉盲区也会不同,如公交车等大型商用车,由于轴距长,车身大,座位高,内外轮差大等原因,相较于小型车更容易产生盲区死角,故而车辆信息还可以包括目标车辆的车辆类型。
S702,基于目标车辆的车辆类型,目标车辆当前的行驶方向和当前行驶道路的道路类型,确定目标车辆当前的视觉盲区。
本申请实施例中,若所述车辆信息中还包括目标车辆的车辆类型,那么所述基于目标车辆的车辆类型,目标车辆当前的行驶方向和当前行驶道路的道路类型,确定目标车辆当前的视觉盲区的方式具体为:基于目标车辆的车辆类型,目标车辆当前的行驶方向和当前行驶道路的道路类型,确定目标车辆当前的视觉盲区。
具体来说,由于车辆的车辆类型、车辆当前行驶道路的道路类型,以及车辆当前的行驶方向都会影响驾驶员的视觉盲区的变化,在不同车辆类型的车辆以不同行驶方向行驶在不同道路类型的道路上时,驾驶员的视觉盲区也会不同,因此所述基于目标车辆的车辆类型,目标车辆当前的行驶方向和当前行驶道路的道路类型,确定目标车辆当前的视觉盲区可以是:基于预先建立的行驶方向、道路类型、车辆类型与视觉盲区的对应关系,确定出目标车辆当前的视觉盲区。其中预先建立的行驶方向、道路类型、车辆类型与视觉盲区的对应关系可以是通过多次实验,测试出不同车辆类型的目标车辆以不同行驶方向行驶在不同道路类型的道路上时需要关注的视觉盲区,从而建立出行驶方向、道路类型、车辆类型与视觉盲区的对应关系。
S703,获取目标车辆的全景图像。
S704,从全景图像中确定与视觉盲区匹配的第一区域图像。
需要说明的是,步骤S703至步骤S704的具体实施过程可以参见图3所示实施例中步骤S303至步骤S304的具体实施过程的相关描述,在此不做赘述。
S705,从第一历史事故信息中确定类型为预设类型的目标事故原因。
S706,确定目标事故原因指示的目标方位。
在步骤S705至步骤S706中,所述预设类型指的是由于驾驶员未关注所处环境导致事故产生的类型,其中未关注到的所处环境可以是忽略关注的所处环境或者无法关注到的所处环境。由于一条道路上事故发生的原因有很多,可能是驾驶员的主观原因,如疲劳驾驶、醉驾等,也可能是驾驶员的客观原因,如在变道时没有及时观察到左后方导致剐蹭等,也可以能是道路的原因,如上坡路导致驾驶员前方的视觉范围狭窄等。驾驶员的主观原因导致的事故无法通过显示驾驶员当前所需的视觉图像的方式去避免,但是如果是驾驶员没有及时观察到后方来车、存在视觉盲区等原因导致的事故,则可以通过显示驾驶员当前所需的视觉图像的方式去避免。因此,需要确定出是由于驾驶员未关注(如视觉范围受限、忽略观察等)所处环境导致事故产生的目标事故原因,这样才能方便后续准确地显示驾驶员所需的视觉图像。
此外,所述确定目标事故原因指示的目标方位可以是通过对目标事故原因进行分析得到的。举例来说,如果目标事故原因为没有观察到右后方来车,与其发生剐蹭,那么就可以确定该目标事故原因指示的目标方位为右后方。
S707,从全景图像中确定方位为目标方位的第二区域图像。
其中,步骤S707的具体实施过程可以参见图3所示实施例中步骤S304的具体实施过程的相关描述,在此不做赘述。
S708,显示第一区域图像和第二区域图像。
本申请实施例中,所述显示第一区域图像和第二区域图像的方式可以是在显示设备上即显示第一区域图像,又显示第二区域图像。可选地,所述显示第一区域图像和第二区域图像的方式也可以是:若第一区域图像不包括第二区域图像,则显示第一区域图像和第二区域图像;若第一区域图像包括第二区域图像,则显示第一区域图像。也就是说,若第一区域图像已经包括了第二区域图像,那么就不重复显示第二区域图像了。可选地,所述显示第一区域图像和第二区域图像的方式还可以是:若第一区域图像和第二区域图像之间存储重叠区域,则对所述第一区域图像和第二区域图像进行拼接处理,得到目标区域图像,显示所述目标区域图像。
可选地,若车辆信息中还包括目标车辆对应的驾驶员的驾驶特征信息,则可以从全景图像中确定方位为未关注方位的第三区域图像,最后显示第三区域图像。其中,所述显示第三区域图像的方式可以是直接在显示设备中显示第一区域图像、第二区域图像和第三区域图像。可选地,显示第一区域图像、第二区域图像和第三区域图像的方式可以是:若第一区域图像包括第二区域图像和第三区域图像,则显示第一区域图像;若第一区域图像不包括第二区域图像和第三区域图像,且第二区域图像不包括第三区域图像,则显示第一区域图像、第二区域图像和第三区域图像;若第一区域图像包括第二区域图像且不包括第三区域图像,则显示第一区域图像和第三区域图像;若第一区域图像包括第三区域图像且不包括第二区域图像,则显示第一区域图像和第二区域图像。
在一种可能的实现方式中,有可能存在当前行驶道路上没有发生过什么事故,或者发生的事故都不是驾驶员未关注所处环境而产生的,因此还可以获取道路类型与当前行驶道路相同的各个道路的第二历史事故信息,所述第一历史事故信息包括在对应道路产生事故的事故原因;然后从第二历史事故信息中确定类型为预设类型的目标事故原因;之后,再确定所述目标事故原因指示的目标方位,以及从全景图像中确定方位为目标方位的第二区域图像;最后显示第二区域图像。
可选地,由于道路类型与当前行驶道路相同的道路可能有很多,故而类型为预设类型的目标事故原因也可能有很多,从而导致目标方位也可能有很多;故而当目标事故原因的数量为多个时,可以确定各个目标事故原因指示的目标方位,以得到多个目标方位;然后基于各个目标事故原因,确定各个目标方位对应的目标事故原因的数量;再将对应的目标事故原因的数量最大的目标方位确定为关注方位,并从全景图像中确定方位为关注方位的第五区域图像;最后,显示第五区域图像。
在一种可能的实现方式中,还可以对全景图像进行障碍物检测处理,得到第一障碍物检测信息,所述第一障碍物检测信息包括全景图像中含有目标障碍物的第四区域图像,以及目标障碍物与目标车辆之间的距离,若目标障碍物与目标车辆之间的距离小于第一预设距离,则显示所述第四区域图像。所述第一预设距离可以是人为设定的,也可以是系统设定的,如5米、20米等。
可选地,可以在所述第四区域图像中突出显示所述目标障碍物。其中,所述突出显示目标障碍物的方式在第四区域图像中标注出障碍物,显示标注后的第四区域图像;其中,所述标注的方式可以是通过虚线、或者具体区分效果的线条在第四区域图像中标注出目标障碍物,也可以是通过具有区别于第四区域图像的颜色的半透明的阴影框在第四区域图像中标注出目标障碍物。可选地,在第四区域图像中突出显示目标障碍物的方式还可以是显示第四区域图像,并在第四区域图像中通过分屏的方式显示目标障碍物。可选地,在第四区域图像中突出显示目标障碍物的方式还可以是在显示第四区域图像时放大显示目标障碍物。可选地,在显示所述第四区域图像时,还可以显示目标障碍物与目标车辆之间的实时距离。由于目标车辆对应的驾驶员坐在车中即可直观地看到车辆周围的环境以及检测到的车辆周围的障碍物,从而使得驾驶员能够更加安全地操控车辆进行泊车入位或者行驶复杂路面等操作,有效减少了刮蹭、陷落、碰撞等事故的发生,使行车驾驶更安全。
可选地,若目标障碍物与目标车辆之间的距离小于第二预设距离,可以输出障碍物提示信息,以提示目标车辆对应的驾驶员避让目标障碍物。所述第二预设距离可以是人为设定的,也可以是系统设定的,如5米、20米等。可选地,也可以只对第一区域图像、第二区域图像和/或第三区域图像进行障碍物检测处理,得到第二障碍物检测信息,所述第二障碍物检测信息包括第一区域图像、第二区域图像和/或第三区域图像中的障碍物与目标车辆之间的距离,若障碍物与目标车辆之间的距离小于第三预设距离,则突出显示所述第一区域图像、第二区域图像和/或第三区域图像。所述第三预设距离可以是人为设定的,也可以是系统设定的,如5米、20米等。
本申请实施例中,会先综合目标车辆当前的行驶方向,以及目标车辆的当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区,然后从获取到的目标车辆的全景图像中确定出与视觉盲区匹配的第一区域图像,最后通过显示第一区域图像的方式达到能够及时显示驾驶员当前所需的视觉图像,以提高驾驶安全的目的。同时,本申请实施例还通过从第一历史事故信息中确定目标事故原因和目标事故原因指示的目标方位的方式,可以预判出目标车辆对应的驾驶员在当前行驶道路中容易忽略关注或者无法关注的方位;以及通过显示全景图像中方位为目标方位的第二区域图像的方式,可以使得目标车辆对应的驾驶员能够及时查看到驾驶员通常容易忽略关注或者无法关注到的视觉图像,从而达到从当前行驶道路的历史事故中吸取经验教训,完善驾驶员的视觉观察范围的目的,进而有利于提高驾驶员在当前行驶道路上的行驶安全。
基于上述图像处理方法的相关描述,本申请还公开了一种图像处理装置。该图像处理装置可以是运行与上述所提及的计算机设备中的一个计算机程序(包括程序代码)。该图像处理装置可以执行如图3和图7所示的图像处理方法,请参见图8,该图像处理装置至少可以包括:获取单元801、处理单元802和显示单元803。
所述获取单元801,用于获取目标车辆的车辆信息,以及所述目标车辆的当前行驶道路的道路信息,所述车辆信息包括所述目标车辆当前的行驶方向,所述道路信息包括所述当前行驶道路的道路类型;
所述处理单元802,用于基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区;
所述获取单元801,还用于获取所述目标车辆的全景图像,所述全景图像是由多个摄像装置中各个摄像装置分别采集到的图像拼接得到的,所述各个摄像装置相对所述目标车辆的方位各不相同;
所述处理单元802,还用于从所述全景图像中确定与所述视觉盲区匹配的第一区域图像;
所述显示单元803,用于显示所述第一区域图像。
在一种实施方式中,所述道路信息还包括所述当前行驶道路的第一历史事故信息,所述第一历史事故信息包括在所述当前行驶道路产生事故的事故原因;所述处理单元802具体还可以用于执行:
从所述第一历史事故信息中确定类型为预设类型的目标事故原因,所述预设类型指的是由于驾驶员未关注所处环境导致事故产生的类型;
确定所述目标事故原因指示的目标方位;
从所述全景图像中确定方位为所述目标方位的第二区域图像;
所述显示单元803还可以用于执行:显示所述第二区域图像。
在又一种实施方式中,所述处理单元802具体还可以用于执行:
获取道路类型与所述当前行驶道路相同的各个道路的第二历史事故信息,所述第一历史事故信息包括在对应道路产生事故的事故原因;
从所述第二历史事故信息中确定类型为所述预设类型的目标事故原因。
在一种实施方式中,所述显示单元803在显示所述第一区域图像,以及显示所述第二区域图像时,具体可以用于执行:
若所述第一区域图像不包括所述第二区域图像,则显示所述第一区域图像和所述第二区域图像;
若所述第一区域图像包括所述第二区域图像,则显示所述第一区域图像。
在一种实施方式中,所述车辆信息还包括所述目标车辆的车辆类型;所述处理单元802在基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区时,具体还可以用于执行:
基于所述目标车辆的车辆类型,所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区。
在又一种实施方式中,所述车辆信息还包括所述目标车辆对应的驾驶员的驾驶特征信息,所述驾驶特征信息用于指示所述目标车辆对应的驾驶员的概率大于预设概率阈值的未关注方位;所述处理单元802具体还可以用于执行:
从所述全景图像中确定方位为所述未关注方位的第三区域图像;
所述显示单元803还可以用于执行:显示所述第三区域图像。
在又一种实施方式中,所述目标车辆为公交车辆;所述处理单元802还可以具体执行:
从检测到所述公交车辆停靠在预设公交线路中的任一公交站点开始,至所述公交车辆驶离所述任一公交站点的时间段内,获取所述公交车辆的多个全景图像;
从各个全景图像中确定方位为所述公交车辆的第一传输口的第一检测区域图像和方位为所述公交车辆的第二传输口的第二检测区域图像;
对所述各个第一检测区域图像和所述各个第二检测区域图像进行图像识别处理,确定所述公交车辆在所述任一公交站点停靠时的上车乘客数量和下车乘客数量;
基于所述目标车辆在所述预设公交线路中各个公交站点停靠时的上车乘客数量和下车乘客数量,确定所述预设公交线路的车辆调度策略。
在又一种实施方式中,所述处理单元802具体还可以用于执行:
对所述各个第一检测区域图像进行人脸识别处理,确定各个上车乘客的乘客类型,以得到多个乘客类型;
基于所述各个上车乘客的乘客类型,确定各个乘客类型对应的乘客数量;
将乘客数量最大的乘客类型确定为目标乘客类型;
生成满足所述目标乘客类型的乘客需求的车辆管理方案,所述车辆管理方案用于对所述公交车辆进行车辆设施改造。
在又一种实施方式中,所述显示单元803在显示所述第一区域图像时,具体还可以用于执行:
显示所述全景图像,并在所述全景图像中突出显示所述第一区域图像。
根据本申请的另一个实施例,图8所示的图像处理装置中的各个单元是基于逻辑功能划分的,上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。在本申请的其它实施例中,上述基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机设备的通用计算设备上,运行能够执行如图3或图7所示的方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8所示的图像处理装置,以及来实现本申请实施例的图像处理方法。计算机程序可以记载于例如计算机存储介质上,并通过计算机存储介质装载于上述计算机设备中,并在其中运行。
本申请实施例中,会综合目标车辆当前的行驶方向,以及目标车辆的当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区,然后从获取到的目标车辆的全景图像中确定出与视觉盲区匹配的第一区域图像,从而实现根据目标车辆的当前行驶状态(即行驶方向)和周围环境(即道路类型),灵活地从全景图像中确定出驾驶员当前所需的视觉图像,最后通过显示第一区域图像的方式,使得目标车辆的驾驶员能够及时地通过显示的图像去观察目标车辆的外部环境,有利于提高行驶安全。
基于上述的方法实施例以及装置实施例,本申请还提供了一种电子设备。参见图9,为本申请实施例提供的一种电子设备的结构示意图。图9所示的电子设备可至少包括处理器901、输入接口902、输出接口903以及计算机存储介质904。其中,处理器901、输入接口902、输出接口903以及计算机存储介质904可通过总线或其他方式连接。
计算机存储介质904可以存储在电子设备的存储器中,计算机存储介质904用于存储计算机程序,计算机程序包括程序指令,处理器901用于执行计算机存储介质904存储的程序指令。处理器901(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现上述图像处理方法流程或相应功能。
本申请实施例还提供了一种计算机存储介质(Memory),计算机存储介质是电子设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器901加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速随机存取存储器(random access memory,RAM)存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器901加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图3和图7的图像处理方法实施例中的方法的相应步骤,具体实现中,计算机存储介质中的一条或多条指令由处理器901加载并执行如下步骤:
获取目标车辆的车辆信息,以及所述目标车辆的当前行驶道路的道路信息,所述车辆信息包括所述目标车辆当前的行驶方向,所述道路信息包括所述当前行驶道路的道路类型;
基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区;
获取所述目标车辆的全景图像,所述全景图像是由多个摄像装置中各个摄像装置分别采集到的图像拼接得到的,所述各个摄像装置相对所述目标车辆的方位各不相同;
从所述全景图像中确定与所述视觉盲区匹配的第一区域图像;
显示所述第一区域图像。
在一个实施例中,所述道路信息还包括所述当前行驶道路的第一历史事故信息,所述第一历史事故信息包括在所述当前行驶道路产生事故的事故原因;所述处理器901具体还可以用于执行:
从所述第一历史事故信息中确定类型为预设类型的目标事故原因,所述预设类型指的是由于驾驶员未关注所处环境导致事故产生的类型;
确定所述目标事故原因指示的目标方位;
从所述全景图像中确定方位为所述目标方位的第二区域图像;
显示所述第二区域图像。
在一个实施例中,处理器901还用于执行:
获取道路类型与所述当前行驶道路相同的各个道路的第二历史事故信息,所述第一历史事故信息包括在对应道路产生事故的事故原因;
从所述第二历史事故信息中确定类型为所述预设类型的目标事故原因。
在一个实施例中,所述处理器901在显示所述第一区域图像,以及显示所述第二区域图像时,具体可以用于执行:
若所述第一区域图像不包括所述第二区域图像,则显示所述第一区域图像和所述第二区域图像;
若所述第一区域图像包括所述第二区域图像,则显示所述第一区域图像。
在一个实施例中,所述车辆信息还包括所述目标车辆的车辆类型;处理器901在基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区时,具体可以用于执行:
基于所述目标车辆的车辆类型,所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区。
在一个实施例中,所述车辆信息还包括所述目标车辆对应的驾驶员的驾驶特征信息,所述驾驶特征信息用于指示所述目标车辆对应的驾驶员的概率大于预设概率阈值的未关注方位;处理器901具体还可以用于执行:
从所述全景图像中确定方位为所述未关注方位的第三区域图像;
显示所述第三区域图像。
在一个实施例中,所述目标车辆为公交车辆;处理器901还用于执行:
从检测到所述公交车辆停靠在预设公交线路中的任一公交站点开始,至所述公交车辆驶离所述任一公交站点的时间段内,获取所述公交车辆的多个全景图像;
从各个全景图像中确定方位为所述公交车辆的第一传输口的第一检测区域图像和方位为所述公交车辆的第二传输口的第二检测区域图像;
对所述各个第一检测区域图像和所述各个第二检测区域图像进行图像识别处理,确定所述公交车辆在所述任一公交站点停靠时的上车乘客数量和下车乘客数量;
基于所述目标车辆在所述预设公交线路中各个公交站点停靠时的上车乘客数量和下车乘客数量,确定所述预设公交线路的车辆调度策略。
在一个实施例中,处理器901还用于执行:
对所述各个第一检测区域图像进行人脸识别处理,确定各个上车乘客的乘客类型,以得到多个乘客类型;
基于所述各个上车乘客的乘客类型,确定各个乘客类型对应的乘客数量;
将乘客数量最大的乘客类型确定为目标乘客类型;
生成满足所述目标乘客类型的乘客需求的车辆管理方案,所述车辆管理方案用于对所述公交车辆进行车辆设施改造。
在一个实施例中,处理器901在显示所述第一区域图像时,具体用于执行:
显示所述全景图像,并在所述全景图像中突出显示所述第一区域图像。
本申请实施例中,会综合目标车辆当前的行驶方向,以及目标车辆的当前行驶道路的道路类型,确定出目标车辆当前的视觉盲区,然后从获取到的目标车辆的全景图像中确定出与视觉盲区匹配的第一区域图像,从而实现根据目标车辆的当前行驶状态(即行驶方向)和周围环境(即道路类型),灵活地从全景图像中确定出驾驶员当前所需的视觉图像,最后通过显示第一区域图像的方式,使得目标车辆的驾驶员能够及时地通过显示的图像去观察目标车辆的外部环境,有利于提高行驶安全。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述如图3和图7所示的方法实施例。其中,计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于计算机取存储介质中,该计算机程序在执行时,可包括如上述图像处理方法的实施例的流程。
其中,计算机存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (11)
1.一种图像处理方法,其特征在于,包括:
获取目标车辆的车辆信息,以及所述目标车辆的当前行驶道路的道路信息,所述车辆信息包括所述目标车辆当前的行驶方向,所述道路信息包括所述当前行驶道路的道路类型和所述当前行驶道路的第一历史事故信息,所述第一历史事故信息包括在所述当前行驶道路产生事故的事故原因;
基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区;
获取所述目标车辆的全景图像,所述全景图像是由多个摄像装置中各个摄像装置分别采集到的图像拼接得到的,所述各个摄像装置相对所述目标车辆的方位各不相同;
从所述全景图像中确定与所述视觉盲区匹配的第一区域图像;
显示所述第一区域图像;
从所述第一历史事故信息中确定类型为预设类型的目标事故原因,所述预设类型指的是由于驾驶员未关注所处环境导致事故产生的类型;
确定所述目标事故原因指示的目标方位;
从所述全景图像中确定方位为所述目标方位的第二区域图像;
显示所述第二区域图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取道路类型与所述当前行驶道路相同的各个道路的第二历史事故信息,所述第一历史事故信息包括在对应道路产生事故的事故原因;
从所述第二历史事故信息中确定类型为所述预设类型的目标事故原因。
3.根据权利要求1所述的方法,其特征在于,所述显示所述第一区域图像,以及显示所述第二区域图像,包括:
若所述第一区域图像不包括所述第二区域图像,则显示所述第一区域图像和所述第二区域图像;
若所述第一区域图像包括所述第二区域图像,则显示所述第一区域图像。
4.根据权利要求1所述的方法,其特征在于,所述车辆信息还包括所述目标车辆的车辆类型;
所述基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区,包括:
基于所述目标车辆的车辆类型,所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述车辆信息还包括所述目标车辆对应的驾驶员的驾驶特征信息,所述驾驶特征信息用于指示所述目标车辆对应的驾驶员的概率大于预设概率阈值的未关注方位;所述方法还包括:
从所述全景图像中确定方位为所述未关注方位的第三区域图像;
显示所述第三区域图像。
6.根据权利要求1所述的方法,其特征在于,所述目标车辆为公交车辆;所述方法还包括:
从检测到所述公交车辆停靠在预设公交线路中的任一公交站点开始,至所述公交车辆驶离所述任一公交站点的时间段内,获取所述公交车辆的多个全景图像;
从各个全景图像中确定方位为所述公交车辆的第一传输口的第一检测区域图像和方位为所述公交车辆的第二传输口的第二检测区域图像;
对所述各个第一检测区域图像和所述各个第二检测区域图像进行图像识别处理,确定所述公交车辆在所述任一公交站点停靠时的上车乘客数量和下车乘客数量;
基于所述目标车辆在所述预设公交线路中各个公交站点停靠时的上车乘客数量和下车乘客数量,确定所述预设公交线路的车辆调度策略。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述各个第一检测区域图像进行人脸识别处理,确定各个上车乘客的乘客类型,以得到多个乘客类型;
基于所述各个上车乘客的乘客类型,确定各个乘客类型对应的乘客数量;
将乘客数量最大的乘客类型确定为目标乘客类型;
生成满足所述目标乘客类型的乘客需求的车辆管理方案,所述车辆管理方案用于对所述公交车辆进行车辆设施改造。
8.根据权利要求1所述的方法,其特征在于,所述显示所述第一区域图像包括:
显示所述全景图像,并在所述全景图像中突出显示所述第一区域图像。
9.一种图像处理装置,其特征在于,所述图像处理装置包括获取单元、处理单元和显示单元,其中:
所述获取单元,用于获取目标车辆的车辆信息,以及所述目标车辆的当前行驶道路的道路信息,所述车辆信息包括所述目标车辆当前的行驶方向,所述道路信息包括所述当前行驶道路的道路类型和所述当前行驶道路的第一历史事故信息,所述第一历史事故信息包括在所述当前行驶道路产生事故的事故原因;
所述获取单元,还用于基于所述目标车辆当前的行驶方向和所述当前行驶道路的道路类型,确定所述目标车辆当前的视觉盲区;
所述处理单元,用于获取所述目标车辆的全景图像,所述全景图像是由多个摄像装置中各个摄像装置分别采集到的图像拼接得到的,所述各个摄像装置相对所述目标车辆的方位各不相同;
所述处理单元,还用于从所述全景图像中确定与所述视觉盲区匹配的第一区域图像;
所述显示单元,用于显示所述第一区域图像;
所述处理单元,还用于从所述第一历史事故信息中确定类型为预设类型的目标事故原因,所述预设类型指的是由于驾驶员未关注所处环境导致事故产生的类型;确定所述目标事故原因指示的目标方位;从所述全景图像中确定方位为所述目标方位的第二区域图像;
所述显示单元,还用于显示所述第二区域图像。
10.一种电子设备,其特征在于,所述电子设备包括处理器、输入接口、输出接口以及计算机存储介质,其中:
所述计算机存储介质用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器用于执行所述计算机存储介质存储的程序指令,以实现如权利要求1-8任一项所述的图像处理方法。
11.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如权利要求1-8任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210588275.6A CN115134491B (zh) | 2022-05-27 | 2022-05-27 | 图像处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210588275.6A CN115134491B (zh) | 2022-05-27 | 2022-05-27 | 图像处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115134491A CN115134491A (zh) | 2022-09-30 |
CN115134491B true CN115134491B (zh) | 2023-11-24 |
Family
ID=83377814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210588275.6A Active CN115134491B (zh) | 2022-05-27 | 2022-05-27 | 图像处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115134491B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108382305A (zh) * | 2018-02-11 | 2018-08-10 | 北京车和家信息技术有限公司 | 一种影像显示方法、装置及车辆 |
WO2019098729A1 (ko) * | 2017-11-16 | 2019-05-23 | 주식회사 아르비존 | 차량용 모니터링 방법 및 장치 |
CN110550105A (zh) * | 2018-05-30 | 2019-12-10 | 奥迪股份公司 | 驾驶辅助系统及方法 |
CN110626269A (zh) * | 2019-10-16 | 2019-12-31 | 湖北工业大学 | 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法 |
CN210258216U (zh) * | 2019-07-26 | 2020-04-07 | 北京福田戴姆勒汽车有限公司 | 搭载360°全景驾驶辅助系统的重型卡车 |
CN111157014A (zh) * | 2019-12-30 | 2020-05-15 | 恒大新能源汽车科技(广东)有限公司 | 路况展示方法、装置及车载终端、存储介质 |
CN111325174A (zh) * | 2019-04-02 | 2020-06-23 | 北京航空航天大学 | 一种面向高铁空调调节的人脸识别系统 |
CN112216097A (zh) * | 2019-07-09 | 2021-01-12 | 华为技术有限公司 | 一种检测车辆的盲区的方法及装置 |
CN112991580A (zh) * | 2021-03-23 | 2021-06-18 | 深圳市有方科技股份有限公司 | 车辆预警装置及方法 |
CN113043955A (zh) * | 2021-03-30 | 2021-06-29 | 恒大新能源汽车投资控股集团有限公司 | 路况信息显示装置、方法及车辆 |
CN113442832A (zh) * | 2021-07-27 | 2021-09-28 | 奇瑞新能源汽车股份有限公司 | 车辆全景影像系统的控制方法及装置 |
CN113815613A (zh) * | 2020-06-18 | 2021-12-21 | 现代摩比斯株式会社 | 使用事故历史信息的车辆视线盲区回避系统及其方法 |
CN114103983A (zh) * | 2020-08-31 | 2022-03-01 | 福特全球技术公司 | 用于对车辆中的驾驶员警告进行优先级排序的系统和方法 |
CN114446076A (zh) * | 2022-03-14 | 2022-05-06 | 广州公评科技有限公司 | 一种基于5g通信技术的智能调度控制系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4789848B2 (ja) * | 2007-04-24 | 2011-10-12 | トヨタ自動車株式会社 | 車載オーディオビジュアル装置 |
US20140074402A1 (en) * | 2012-09-12 | 2014-03-13 | Lexisnexis Risk Solutions Fl Inc. | Systems and methods for determining risks associated with driving routes |
-
2022
- 2022-05-27 CN CN202210588275.6A patent/CN115134491B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019098729A1 (ko) * | 2017-11-16 | 2019-05-23 | 주식회사 아르비존 | 차량용 모니터링 방법 및 장치 |
CN108382305A (zh) * | 2018-02-11 | 2018-08-10 | 北京车和家信息技术有限公司 | 一种影像显示方法、装置及车辆 |
CN110550105A (zh) * | 2018-05-30 | 2019-12-10 | 奥迪股份公司 | 驾驶辅助系统及方法 |
CN111325174A (zh) * | 2019-04-02 | 2020-06-23 | 北京航空航天大学 | 一种面向高铁空调调节的人脸识别系统 |
CN112216097A (zh) * | 2019-07-09 | 2021-01-12 | 华为技术有限公司 | 一种检测车辆的盲区的方法及装置 |
CN210258216U (zh) * | 2019-07-26 | 2020-04-07 | 北京福田戴姆勒汽车有限公司 | 搭载360°全景驾驶辅助系统的重型卡车 |
CN110626269A (zh) * | 2019-10-16 | 2019-12-31 | 湖北工业大学 | 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法 |
CN111157014A (zh) * | 2019-12-30 | 2020-05-15 | 恒大新能源汽车科技(广东)有限公司 | 路况展示方法、装置及车载终端、存储介质 |
CN113815613A (zh) * | 2020-06-18 | 2021-12-21 | 现代摩比斯株式会社 | 使用事故历史信息的车辆视线盲区回避系统及其方法 |
CN114103983A (zh) * | 2020-08-31 | 2022-03-01 | 福特全球技术公司 | 用于对车辆中的驾驶员警告进行优先级排序的系统和方法 |
CN112991580A (zh) * | 2021-03-23 | 2021-06-18 | 深圳市有方科技股份有限公司 | 车辆预警装置及方法 |
CN113043955A (zh) * | 2021-03-30 | 2021-06-29 | 恒大新能源汽车投资控股集团有限公司 | 路况信息显示装置、方法及车辆 |
CN113442832A (zh) * | 2021-07-27 | 2021-09-28 | 奇瑞新能源汽车股份有限公司 | 车辆全景影像系统的控制方法及装置 |
CN114446076A (zh) * | 2022-03-14 | 2022-05-06 | 广州公评科技有限公司 | 一种基于5g通信技术的智能调度控制系统 |
Non-Patent Citations (2)
Title |
---|
Stereo panoramic vision for monitoring vehicle blind-spots;L. Matuszyk;IEEE Intelligent Vehicles Symposium;全文 * |
基于全景摄像技术的山区公路弯道盲区会车预警技术;邢亚山;汽车实用技术;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115134491A (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112965504B (zh) | 基于自动驾驶的远程确认方法、装置、设备及存储介质 | |
US10332401B2 (en) | Running vehicle alerting system and method | |
CN107608388B (zh) | 自主警车 | |
EP4283575A2 (en) | Detection of driving actions that mitigate risk | |
CN109733283B (zh) | 基于ar的被遮挡障碍物识别预警系统及识别预警方法 | |
JP2016218732A (ja) | 自動車周辺情報表示システム | |
CN107097780A (zh) | 启用和停用自动驾驶 | |
JP2004362586A (ja) | 車両用画像処理システム | |
CN103723096A (zh) | 带有无线通信功能的驾驶辅助系统 | |
CN112534487B (zh) | 信息处理设备、移动体、信息处理方法和程序 | |
EP4001044A2 (en) | Increasing awareness of passengers during pullovers and drop offs for autonomous vehicles | |
CN106882184A (zh) | 基于adas纯图像处理的驾驶安全系统 | |
CN113022441A (zh) | 一种车辆盲区的检测方法、装置、电子设备及存储介质 | |
CN206383949U (zh) | 基于adas纯图像处理的驾驶安全系统 | |
CN112907961B (zh) | 一种基于车路协同的匝道汇入方法及系统 | |
CN115134491B (zh) | 图像处理方法和装置 | |
CN116432911A (zh) | 数据处理方法、装置及存储介质 | |
CN114822083A (zh) | 智慧车辆编队辅助控制系统 | |
CN113212451A (zh) | 一种智能驾驶汽车用后视辅助系统 | |
CN112776798A (zh) | 一种安全驾驶辅助系统及方法 | |
DE112020002741T5 (de) | Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und bildgebungsvorrichtung | |
JP7432198B2 (ja) | 状況認識推定システム及び運転支援システム | |
CN215154570U (zh) | 车辆控制系统以及车辆 | |
US20230316919A1 (en) | Hazard notification method and system for implementing | |
CN116176412A (zh) | 一种基于车辆雷达目标数据的融合aeb报警系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |