CN113348489A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN113348489A
CN113348489A CN202080009631.3A CN202080009631A CN113348489A CN 113348489 A CN113348489 A CN 113348489A CN 202080009631 A CN202080009631 A CN 202080009631A CN 113348489 A CN113348489 A CN 113348489A
Authority
CN
China
Prior art keywords
image
edge
camera
pixel region
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080009631.3A
Other languages
English (en)
Inventor
高文良
周游
刘洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113348489A publication Critical patent/CN113348489A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供一种图像处理方法及装置,能够生成具有大视场的图像,提高用户的视觉体验。该方法包括:获取由电子设备的第一相机对场景拍摄采集的第一图像;获取由电子设备的第二相机对场景拍摄得到的第二图像;其中,第一相机的观测范围大于第二相机的观测范围;并且,第一相机的分辨率低于第二相机的分辨率,和/或,第一相机的成像为非彩色图像、第二相机的成像为彩色图像;在所述第一图像中确定对应所述场景中目标对象的第一像素区域,在所述第二图像中确定对应所述场景中所述目标对象的第二像素区域;基于第二图像中的第二像素区域,对第一图像中的第一像素区域进行图像处理,得到处理后的第一图像。

Description

图像处理方法和装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域,并且更为具体地,涉及一种图像处理方法和装置。
背景技术
搭载有相机的电子设备越来越多,如无人机、无人驾驶的汽车、增强现实(augmented reality,VR)/(virtual reality,AR)眼镜等,这类电子设备极大地丰富了人们的生活。
该相机可以拍摄物体的图像信息,并将拍摄的图像信息传输给用户,用户可以根据该图像信息对电子设备进行操作。但是,目前电子设备上的相机的视场不会很大,这使得用户的视野范围受到限制,影响用户的视觉体验。
发明内容
本申请提供一种图像处理方法和装置,能够生成具有大视场的图像,提高用户的视觉体验。
第一方面,提高一种图像处理方法,获取由电子设备的第一相机对场景拍摄采集的第一图像;获取由电子设备的第二相机对所述场景拍摄得到的第二图像;其中,所述第一相机的观测范围大于所述第二相机的观测范围;并且,所述第一相机的分辨率低于所述第二相机的分辨率,和/或,所述第一相机的成像为非彩色图像、所述第二相机的成像为彩色图像;
在所述第一图像中确定对应所述场景中目标对象的第一像素区域,在所述第二图像中确定对应所述场景中所述目标对象的第二像素区域;
基于所述第二图像中的所述第二像素区域,对所述第一图像中的所述第一像素区域进行图像处理,得到处理后的第一图像。
第二方面,提供一种图像处理装置,包括:存储器,用于存储计算机程序;处理器,用于调用所述计算机程序,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:获取由电子设备的第一相机对场景拍摄采集的第一图像;获取由电子设备的第二相机对所述场景拍摄得到的第二图像;其中,所述第一相机的观测范围大于所述第二相机的观测范围;并且,所述第一相机的分辨率低于所述第二相机的分辨率,和/或,所述第一相机的成像为非彩色图像、所述第二相机的成像为彩色图像;
在所述第一图像中确定对应所述场景中目标对象的第一像素区域,在所述第二图像中确定对应所述场景中所述目标对象的第二像素区域;
基于所述第二图像中的所述第二像素区域,对所述第一图像中的所述第一像素区域进行图像处理,得到处理后的第一图像。
第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被执行时,实现第一方面提供的方法。
第四方面,提供一种包含指令的计算机程序产品,所述指令被计算机执行时使得计算机执行第一方面提供的方法。
基于上述技术方案,由于第二图像为彩色图像和/或第二图像为高分辨率的图像,因此第二图像具有更好的视觉效果,而第一相机的观测范围大于第二相机的观测范围,因此,第一图像对应的视场大于第二图像对应的视场。本申请可以将具有更好视觉效果的第二图像与具有大视场的第一图像进行融合,得到既具有大视场又具有更好成像效果的处理后的第一图像,使得用户具有更好的视觉体验。
附图说明
图1是本申请实施例提供的一种应用场景的示意图。
图2是本申请实施例提供的一种图像处理方法的示意性流程图。
图3和图4是本申请实施例提供的第一图像和第二图像的不同重叠情况的示意图。
图5是本申请实施例提供的第一图像增稳前后的姿态角的变化情况的示意图。
图6是本申请实施例提供的一种处理后的第一图像的示意图。
图7是本申请实施例提供的使用超像素分割后的图像的示意图。
图8是本申请实施例提供的一种图像映射过程的示意图。
图9是本申请实施例提供的一种提取图像边缘的示意图。
图10是本申请实施例提供的一种对边缘段进行分段的示意图。
图11是本申请实施例提供的一种在第二图像中寻找与第一图像中的线匹配的线段的示意图。
图12是本申请实施例提供的一种图像处理装置的示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
本申请实施例中的电子设备可以为各种带有相机的电子设备,例如可移动平台,比如无人机、无人船、无人机车、可自动驾驶的车辆;也可以是智能穿戴设备,例如VR/AR眼镜等;也可以是智能终端设备,例如手机,平板电脑等。
本申请实施例中的电子设备可以是上述可移动平台或者与穿戴设备通信相连的其他电子设备。比如,电子设备可以是无人机,或者与所述无人机通信相连的控制终端,比如说与无人机配套使用的遥控器,或者与无人机通过有线或者无线通信的手机。
本申请实施例中的相机也可以称为摄像头、图像传感器等。示例的可以是,RGB色彩相机、红外相机、双目相机、多目相机、多光谱相机等。
为方便描述,下文以可移动平台为例进行描述。
可移动平台上通常都设置有主相机,该主相机可以在可移动平台运动的过程中,拍摄所述可移动平台周边场景,并获取场景的图像信息。可移动平台可以将该图像信息传输给用户设备,在用户设备上显示该图像。这个图像可以是第一人称视角(first personview,FPV)的图像,用户基于该图像信息可以执行相应的控制操作。例如,控制可移动平台的运动方向、运动速度、停留位置等,或者调整所述可移动平台的主相机的拍摄角度、曝光参数等。具体的,这一操作可由用户触动用户设备的控制按键,或者触控用户设备的屏幕来进行操作。
该主相机可以为彩色相机,该彩色相机可以拍摄彩色图像,彩色图像能够使得用户对周围环境有更直观的感知。
另外,为了进一步提高用户体验,该主相机可以为高分辨率的相机,从而能够拍摄高分辨率的高清图像,使得用户对场景内影像的观感体验更好。清晰的图像有助于用户分辨感兴趣的目标对象。
该主相机的主要目的是获得高分辨率、鲜艳色彩的成像,考虑到相机的成像成本,具有高成像质量的相机,其视场角(angle of view,FOV)受限。若要兼顾高成像和大视场角,形成画幅大且成像清晰,色彩鲜明的图像,那么相机的设计制造成本非常高昂。为综合成本与用户的观感,主相机成像的观测范围受限,因此,根据主相机拍摄的图像进行操作,使得用户的视野范围受到限制,影响用户的对场景中更大范围内目标对象的观测。
基于此,本申请实施例提供一种图像处理的方法,旨在于受限的相机观测范围上,增大图像的视场,并一定程度上保证处理后的图像质量,提高用户的视觉体验。
经过研究发现,可移动平台上还可以设置有用于感知周围环境的感知相机,这种相机主要用于获取无人机周围的传感数据。比如说双目相机,多目相机,红外感测数据等。通常,可移动平台可以借助这些感知相机,获取场景中物体的深度信息、温度信息等,进而在运动过程中辅助执行避障、追踪、定位等功能。
这些感知相机采集的数据会直接输入数据处理环节,提取场景中的目标物,或者生成场景深度信息。感知相机只需要获取准确的深度信息、或者温度信息,这些感知相机采集的图像数据并不需要生成图像向用户展示,由此,这些感知相机的数据采集、及数据处理过程,在电子设备中并非为了更好地视觉效果的图像而设计。
值得说明的是,为了更大程度上获取场景中的信息,这些感知相机往往具有尽可能大的观测范围,由此能够拍摄更大范围的场景,并获取相应的成像数据。也就是说,这种感知相机拍摄的图像的观感效果不如主相机拍摄的图像的观感效果,但是该相机的视场大于用于拍摄的主相机的视场。
如图1所示,无人机上包括用于拍摄图像的主相机110,还包括用于感知周围环境的相机120。
主相机110拍摄的图像的分辨率高于相机120拍摄的图像的分辨率,但是相机120的视场大于主相机110的视场。
相机120也可以称为视觉传感器。
基于以上考虑,本申请提出将相机120拍摄的图像与主相机110拍摄的图像进行融合,结合两种相机各自的优点,能够生成既具有大视场、且部分区域的分辨率又很高的图像。
图2是本申请实施例提供的一种图像处理方法200,该方法可应用于电子设备,图2所示的方法可以由电子设备中的处理器执行。该电子设备可以包括第一相机和第二相机,该第一相机和第二相机为两种不同类型的相机,其成像效果不同。
例如,该第一相机的观测范围大于第二相机的观测范围。又例如,第一相机的分辨率低于第二相机的分辨率。再例如,第一相机的成像为非彩色图像、第二相机的成像为彩色图像。
本申请实施例中的观测范围可以理解为相机能够拍摄到的场景区域。
该方法200包括步骤S210~S240。
S210、获取由第一相机对场景拍摄采集的第一图像。
S220、获取由第二相机对场景拍摄采集的第二图像。
S230、在第一图像中确定对应所述场景中目标对象的第一像素区域,在第二图像中确定对应所述场景中所述目标对象的第二像素区域。
第一像素区域为第一图像中针对该目标对象的成像区域,第二像素区域为第二图像中针对该目标对象的成像区域。
S240、基于第二图像的第二像素区域,对第一图像中的第一像素区域进行图像处理,得到处理后的第一图像。
本申请实施例中的第一相机和第二相机可以针对同一场景进行拍摄,从而分别得到第一图像和第二图像。
可以理解的是,由于第一相机和第二相机的观测范围不同,因此,第一相机拍摄的场景中的对象与第二相机拍摄的场景中的对象不完全相同。例如,由于第一相机的观测范围大于第二相机的观测范围,因此,第一相机拍摄的场景中的对象多于第二相机拍摄的场景中的对象。
例如,第一相机和第二相机均是针对树林进行拍摄,第一图像和第二图像中有针对相同树木的成像区域,但是第一图像中对应的树木的数量大于第二图像中对应的树木的数量。
为方便描述,下文将由于第一相机和第二相机的观测范围不同引起的第一图像和第二图像的差异,称为第一图像和第二图像的视场不同,因此,第一图像的视场大于第二图像的视场。
第一像素区域和第二像素区域分别为第一图像和第二图像中针对同一目标对象的成像区域。
目标对象为第一相机采集到的场景中的部分场景对象,也就是说,第一像素区域为第一图像中的部分区域。
目标对象为第二相机采集到的场景中的全部场景对象或部分场景对象,也就是说,第二像素区域可以为第二图像中的全部区域,也可以为第二图像的部分区域。
如果第二像素区域为第二图像中的全部区域,则表示第一相机拍摄的场景中的对象包括第二相机拍摄的全部对象。
上文描述的第一像素区域和第二像素区域为客观上针对同一目标对象的成像区域。此外,本申请实施例还可以根据用户的选择确定第一像素区域和第二像素区域,即目标对象对应的第一像素区域和/或第二像素区域是基于用户操作确定的。例如,可以根据用户的点选操作,确定用户希望进行图像处理的区域,然后根据用户希望进行图像处理的区域,确定第一像素区域和第二像素区域。
如果用户只关心场景中的人物,则可以点选人物,则第一像素区域和第二像素区域分别为第一图像中和第二图像中对应相同人物的成像区域。
由于第二图像为彩色图像和/或第二图像为高分辨率的图像,因此第二图像具有更好的视觉效果,而第一相机的观测范围大于第二相机的观测范围,因此,第一图像对应的视场大于第二图像对应的视场。本申请可以将具有更好视觉效果的第二图像与具有大视场的第一图像进行融合,得到既具有大视场又具有更好成像效果的处理后的第一图像,使得用户具有更好的视觉体验。
就是说,用户可以通过观测具有更大视场的第一图像,观测到电子设备周边的更多场景中的物体的成像,由此可以做出有利于后续判断的决策。可能地,针对用户感兴趣的图像区域,也可以通过第二图像补入的显示信息,来辅助提升第一图像中的部分区域的视觉效果,比如更强或者更真实的色彩感、更清晰的成像等。
为方便描述,下文将第一像素区域理解为第一图像中与第二图像重叠的区域,第二像素区域理解为第二图像中与第一图像重叠的区域。
图3和图4示出的是第一图像和第二图像不同程度的重叠情况。图3示出的是第二图像的全部区域与第一图像的部分区域完全重叠的情况,图4示出的是第二图像的部分区域与第一图像的部分区域重叠的情况。
以图3为例,第二图像320的全部区域与第一图像310的部分区域重叠,在该情况下,第二像素区域即为第二图像的全部区域,第一像素区域311与第二图像重叠。
如图4所示,第二图像320的部分区域与第一图像210的部分区域重叠,在该情况下,第一像素区域312与第二图像320的一部分重叠。优选地,第二图像中与第一图像重叠的区域的面积大于未重叠的区域的面积,即第二像素区域312的尺寸略小于第二图像320的尺寸。
本申请实施例中的相机可以是拍摄照片的相机,也可以是拍摄视频的相机。对于拍摄视频的相机而言,第一图像和第二图像可以是视频流中的某一帧图像。
第一图像可以是相机直接拍摄得到的图像,或者第一图像可以是对相机拍摄的图像进行图像处理后得到的图像。
例如,本申请可以获取第一初始图像,并对第一图像进行增稳处理,得到第一图像。图像或视频拍摄过程中,避免不了会发生抖动,本申请实施例可以对相机拍摄的图像进行增稳处理,用户观看经过增稳处理后的图像会更加舒适,不会产生晕眩现象。
另外,在增稳处理的过程中,需要对图像进行裁剪,即增稳后的图像尺寸要小于增稳前的图像尺寸。因此,本申请实施例可以先对第一初始图像进行增稳处理,然后再与第二图像进行融合,这样能够保证具有高分辨率和/或具有颜色信息的第二图像不会被裁剪,提高第二图像的利用率。
本申请实施例对增稳处理的方式不做具体限定,例如可以采用传统的视频增稳算法进行增稳。
一般是采用惯性测量单元(Inertial measurement unit,IMU)中的陀螺仪测算出相机中传感器的旋转角的变化情况,然后通过滤波器将该变化过滤地更加平稳,生成新的姿态角,最后把图像转换到增稳后的姿态角上。
图5示出的是增稳前后传感器的姿态角的变化情况。其中,虚线表示的是增稳前的姿态角随时间变化的情况,实线表示的是增稳后的姿态角随时间变化的情况。
从图5可以看出,增稳后,传感器姿态角的变化更加平稳。
本申请实施例中的姿态角可以包括传感器的俯仰角。
以图1中的无人机为例,第一相机可以为相机120,第二相机可以为主相机110。相机120和相机110在无人机中分别有其各自的作用,相机120用于感知周围环境,其拍摄的图像不会向用户呈现;相机110用于拍摄照片,其拍摄的图像主要用来呈现给用户。
本申请巧妙地结合相机110和相机120拍摄的图像,不需要改变电子设备的硬件机构,能够在不明显增加成本的情况下,向用户呈现既具有大视场又具有较好视觉效果的图像。
本申请实施例中的第一相机可用于感知周围物体的深度信息,即第一图像可以是包括物体深度信息的图像。
本申请实施例对第一相机获取深度信息的方式不做具体限定。例如,该第一相机可以根据双目视觉原理获取深度信息,如图1所示。又例如,该第一相机可以根据飞行时间(time of flight,TOF)原理获取深度信息。
以双(多)目视觉为例,图1中的第一相机120可以包括第一视觉传感器121和第二视觉传感器122。进一步地,可以获取第一视觉传感器121拍摄的第一视觉图像,获取第二视觉传感器122拍摄的第二视觉图像,并根据第一视觉图像和第二视觉图像,生成具有深度信息的图像。
本申请实施例可以先根据第一视觉图像和第二视觉图像,生成第一初始图像,然后再对第一初始图像进行增稳处理,得到第一图像。或者,也可以先分别对第一视觉图像和第二视觉图像进行增稳处理,然后基于增稳后的左第一视觉图像和第二视觉图像,生成第一图像。
由于第一图像和第二图像是通过不同的相机拍摄生成的,不同相机的内部参数、拍摄位置和拍摄角度会存在差异,如果将相机拍摄的图像直接进行融合匹配,复杂度会比较高。
基于此,本申请实施例中的第二图像可以是经过位姿转换后的图像。例如,本申请可以获取第二初始图像,其中,第二初始图像可以是第二相机直接拍摄的图像,然后将第二初始图像转换到第一图像所在的相机位姿上,以生成第二图像。
本申请实施例可以先对第二初始图像进行位姿转换,转换后的第二图像与第一图像所在的相机位姿相同,然后再将相机位姿相同的第二图像与第一图像进行融合处理。对相机位姿相同的两张图像进行融合,能够大大降低融合处理的复杂度。
上文描述的是将第二初始图像转换到第一图像所在的相机位姿上,本申请实施例对此不做具体限定。当然,也可以是将第一图像转换到第二图像所在的相机位姿上,只要最后生成的两张图像的相机位姿相同即可。
本申请实施例可以根据以下参数中的至少一个:第一相机的内部参数、第二相机的内部参数、第一图像和第二初始图像之间的旋转关系,将第二初始图像转换到第一图像的相机位姿上,形成第二图像。
例如,可以根据第一相机的内部参数和第二相机的内部参数,将第二初始图像转换到第一图像的相机位姿上,形成第二图像。这样,转换之后的第二图像和第一图像对应的相机内部参数相同。由于没有调整旋转关系,转换之后的第一图像和第二图像有可能还存在相对旋转关系。
又例如,可以根据第一相机的内部参数、第二相机的内部参数、第一图像和第二初始图像之间的旋转关系,将第二初始图像转换到第一图像的相机位姿上,形成第二图像。这样转换之后的第二图像与第一图像不仅内参相同,而且也消除了相对旋转关系,两图的基线已经平行,两图的匹配关系仅存在水平方向的位置偏差,这样在图像匹配过程中,仅需要在水平方向上寻找匹配的像素点即可,能够大大降低图像处理的复杂度。
本申请实施例使用的相机模型可以如下:
Figure BDA0003166089370000091
其中,[u,v,1]T表示齐次图像坐标系(homogeneous image coordinates)中的二维(2D)像素点。
[xw,yw,zw]T表示世界坐标系中的三维(world coordinates,3D)像素点。
矩阵K称为相机矩阵(camera calibration matrix),即每个相机的内部参参(intrinsic parameters),简称内参。
对于有限投影相机(finite projective camera)来说,内参K包含了5个参数,如下:
Figure BDA0003166089370000101
其中,αx=fmx,αy=fmy,f表示焦距(focal length),mx、my表示在x、y轴上,单位距离的像素点的数量。γ表示x、y轴之间的畸变参数(skew parameters),例如,对于电荷耦合器件(charge coupled device,CCD)相机,像素不为正方形。μ、v为光心(principal point)位置。
矩阵R为旋转矩阵(rotation matrix),矩阵T为位移矩阵(translation matrix),R和T为相机的外部参数(extrinsic matrix),简称外参,表示在三维空间中,世界坐标系到相机坐标系的旋转与位移变换。
对于增稳处理过程,第一图像在世界坐标系下的原始姿态记为R0,滤波后的第一图像的姿态记为R1,那么从原始姿态到滤波后姿态的旋转变换为R10=R1R0 -1
对于位姿转换过程,将第二相机的内参记为Kc,第二相机拍摄的第二初始图像记为Ic,第一相机的内参记为Kg,第一图像记为Ig,第一图像和第二初始图像之间的旋转关系记为Rgc
由上述增稳过程可以得到,第一图像增稳滤波后的姿态变换为R10,然后将第二初始图像Ic变换到第一图像Ig所在的机位上。
Figure BDA0003166089370000102
其中(uc,vc)T是第二初始图像Ic上的一点,(uc’,vc’)T是转换后的第二图像Ic’上一点。
本申请实施例中的电子设备可以为可移动平台等设备。
通过上文描述的方式得到处理后的第一图像后,用户可以根据处理后的第一图像对电子设备进行操作。例如,用户可以输入指令。电子设备可以根据用户输入的指令,调整第一相机和第二相机的朝向,使得第一相机和第二相机朝向同一场景进行拍摄。
在得到处理后的第一图像之后,用户可以根据处理后的第一图像中的信息,确定电子设备当前的位置信息,并根据当前的位置信息,确定电子设备的移动方向,并输入与该移动方向对应的控制指令。
本申请实施例中的处理后的第一图像可用于FPV飞行。例如,在无人机上,用户可以根据处理后的第一图像控制无人机的飞行,并且由于处理后的第一图像的视场较大,使得用户的视野更广,用户体验会更好。
本申请实施例中的第一像素区域优选地位于第一图像的中间区域,也就是说,第二图像与第一图像的重叠区域为第一图像的中间区域。这样,将第二图像与第一图像融合之后,生成的处理后的第一图像可以为中间区域为高分辨率图像、边缘区域为低分辨率图像的图像,和/或中间区域为彩色图像、边缘区域为分彩色图像的图像。由于用户在观看处理后的第一图像时,主要关注点在中间区域,因此,中间区域的高分辨率和/或色彩能够提高用户的视觉体验。另外,边缘区域主要用于辅助用户对周围环境的感知,因此,用户对边缘区域的分辨率和/或颜色的要求不高,边缘区域的低分辨率和/或颜色信息并不会影响用户的视觉体验。
另外,用户还可以针对第一像素区域在第一图像中所处的区域,调整第一相机和/或第二相机的拍摄方向。例如,如图4所示,如果第一像素区域312位于第一图像310的边缘区域,而不是中间区域,则用户可以调整第一相机和/或第二相机的拍摄方向,使得第一像素区域位于第一图像的中间区域。
可选地,第一图像为非彩色图像,第二图像为彩色图像。举例来说,第一图像可以为低分辨率的非彩色图像,第二图像可以为高分辨率的彩色图像。
由于第一图像为非彩色图像,第二图像为彩色图像,在融合过程中,可以保留第二图像的颜色信息,这样,生成的处理后的第一图像为部分区域为彩色、部分区域为黑白的图像。
为了提高用户的视觉体验,在生成处理后的第一图像之后,本申请实施例还可以对处理后的第一图像进行颜色处理,以生成具有美感的艺术照。
其中,颜色处理可以包括以下中的至少一种:颜色填充、颜色去除和颜色保留。
由于第二图像的视场小于第一图像的视场,这样在融合后的处理后的第一图像中,会出现同一个物体一半为彩色、一半为黑白的情况,这会影响用户的视觉体验。
如图6所示,图6中的中间区域420为彩色区域、边缘区域410为黑白区域。其中,高楼402一半是彩色、另一半为黑白;轮船404一半是彩色、另一半为黑白;道路406一半是彩色、另一半为黑白;摩天轮408一半是彩色、另一半为黑白。
基于此,本申请实施例可以对处理后的第一图像进行颜色填充(或称为颜色扩展),具体地,可以基于处理后的第一图像中同一物体有颜色的区域对没有颜色的区域进行颜色填充。例如,可以对处理后的第一图像进行分割,将同一物体从处理后的第一图像中分割出来;如果同一物体一部分有颜色信息,另一部分无颜色信息,则可以根据同一物体中有颜色信息的部分,对另一部分进行颜色填充。
本申请实施例对分割处理后的第一图像的方式不做具体限定。例如,可以采用超像素分割方法,对处理后的第一图像进行分割,生成超像素,使得具有相似纹理、颜色、亮度等特征的相邻像素构成一定视觉意义的不规则像素块。
利用像素之间特征的相似性将像素分组,用少量的超像素代替大量的像素来表达图像特征,使用超像素分割后能够明显减少像素的数量,能够很大程度上降低图像后处理的复杂度。
图像分割后的超像素的数量越少,则图像处理的复杂度越低,但同时图像中的特征也丢失的越多。本申请实施例对分割后的超像素的数量不做具体限定,可以根据实际需要进行设定。
图7示出了一种利用超像素分割方法分割的图像,其中,区域504分割后的超像素数量小于区域502分割后的超像素的数量。因此,区域504的处理复杂度低于区域502的处理复杂度,但是,区域502保留的图像特征大于区域504保留的图像特征。
本申请实施例对超像素分割所使用的方法不做具体限定。例如,超像素分割方法可以包括以下算法中的至少一种:简单的线性迭代聚类(simple lineariterativeclustering,SLIC)、Graph-based、NCut、Turbopixel、Quick-shift、Graph-cuta、Graph-cut b。
相比于其他算法,SLIC算法能够显著降低计算复杂度,同时能够提高对超像素的尺寸和紧凑型的控制,因此,本申请实施例优选地使用SLIC算法。
为了进一步降低图像处理的复杂度,本申请实施例可以仅将位于彩色区域和黑白区域边界处的同一物体分割出来,如果该物体一部分有颜色信息,则将该颜色信息扩展到整个物体。
如图6所示,摩天轮408位于彩色区域和黑白区域的边界处,且摩天轮408一部分有颜色信息,另一部分没有颜色信息,则可以根据由颜色信息的部分,将颜色扩展到整个摩天轮。
本申请实施例还可以基于深度信息,对处理后的第一图像进行颜色填充、和/或颜色去除、和/或颜色保留等颜色处理。
具体地,由于第一图像具有深度信息,则生成的处理后的第一图像也具有深度信息。本申请可以基于深度信息,对处理后的第一图像进行颜色处理。例如,可以对处理后的第一图像中具有同一深度的区域进行相同的颜色处理。
作为一个实施例,可以获取用户在处理后的第一图像上的点选操作,确定点选处的物体的第一深度信息,根据该第一深度信息对处理后的第一图像进行颜色处理。
例如,可以根据第一深度信息,确定目标区域,并对目标区域进行颜色填充或仅保留该目标区域的颜色。其中,该目标区域与点选处的物体相连、且目标区域的深度与第一深度信息之间的差值在第一预设范围内。
用户可以点选需要上色的物体,处理器可以根据点选处的深度信息,将位置上相连、深度相近的像素点确定为目标区域,只显示该目标区域的颜色,从而形成具有美感的艺术照。
作为另一个实施例,可以获取用户输入的距离信息,并根据该距离信息,对处理后的第一图像进行颜色处理。
可以根据距离信息,确定目标区域,并对目标区域进行颜色填充或仅保留该目标区域的颜色,其中,该目标区域的深度与该距离之间的差值在第二预设范围内。
用户可以输入要显示颜色的距离,处理器可以将该距离转化为深度,然后将对应深度的物体用颜色高亮出来,其余部分保留黑白,从而形成具有美感的艺术照。
此外,本申请实施例可以根据深度信息,高亮某一距离上的物体、建筑物等,或者基于深度信息,进行辅助测量、侦查等。
本申请实施例对基于第二图像中的第二像素区域,对第一图像中的第一像素区域进行图像处理的方式不做具体限定。
例如,可以使用第二图像中的第二像素区域直接替换第一图像中的第一像素区域,这种方式实现简单,处理复杂度也比较低,但是在处理后的第一图像中会存在图像错位。
又例如,可以根据第二像素区域与第一像素区域之间的映射关系,将第二像素区域映射到第一像素区域。这种方式生成的处理后的第一图像比较美观,不会存在明显的图像错位。
下文以映射方式为例进行描述。
本申请可以根据第二像素区域中的像素点与第一像素区域中的像素点之间的映射关系,将第二像素区域映射到第一像素区域。
例如,在第一像素区域中寻找与第二像素区域中的像素点匹配的像素点,并将第二像素区域中的像素点映射到第一像素区域中与其匹配的像素点的位置上。
如果针对第二像素区域中的每个像素点,都在第一像素区域中寻找与其匹配的像素点,这无疑会增加图像处理的复杂度。基于此,为了降低图像处理复杂度,本申请仅对第一像素区域和第二像素区域的边缘进行映射,而非边缘区域可以采用插值法进行插值。
具体地,可以根据第二像素区域的边缘与第一像素区域的边缘之间的映射关系,将第二像素区域的边缘映射到第一像素区域的边缘,而非边缘区域则可以利用两边的边缘进行差值映射。
如图8所示,315、316、317为第一图像310的边缘区域,314为第一图像310的非边缘区域;325、326、327为第二图像的边缘区域,324为第二图像320的非边缘区域。并且,边缘315与边缘325相匹配,边缘316与边缘326相匹配,边缘317与边缘327相匹配,因此,可以将边缘325映射至边缘315所在的位置,将边缘326映射至边缘316所在的位置,将边缘327映射至边缘317所在的位置。非边缘区域314可以基于其两边的边缘315和316的信息,进行插值得到。
可选地,如果非边缘区域只有一边有边缘信息,则可以选择不映射。
本申请可以确定第二像素区域的边缘和第一像素区域的边缘,并根据第二像素区域的边缘与第一像素区域的边缘之间的映射关系,将第二像素区域的边缘映射到第一像素区域的边缘,以生成处理后的第一图像的边缘区域的图像信息。
本申请实施例对确定第二像素区域的边缘和第一像素区域的边缘的方式不做具体限定。
例如,可以使用边缘检测算子提取第二像素区域的边缘和第一像素区域的边缘。边缘检测算子例如可以为Canny Operator算法中的检测算子,即可以采用Canny Operator算法提取第二图像和第一像素区域的边缘。
对于Canny Operator算法,边缘检测算子中的参数可以为阈值参数。
由于第一相机和第二相机会存在曝光参数不一致的情况,这会导致两张图像的边缘存在差异。如果两张图像的边缘密度不平衡,将会增加边缘映射的复杂度。例如,第二图像提取的边缘数量大于第一像素区域提取的边缘的数量,这会增加确定边缘之间映射关系的复杂度。
为了提高边缘匹配的准确度以及降低匹配的复杂度,本申请可以调整边缘检测算子中的参数,以平衡第二像素区域和第一像素区域的边缘密度。
边缘密度可以指图像中的边缘上的像素点的数量与整个图像的像素点的总数量之间的比值。
对于第一像素区域,边缘密度dg为:
dg=第一像素区域内边缘上的像素点的数量/第一像素区域内像素点的总数量
对于第二像素区域,边缘密度dc为:
dc=第二像素区域内边缘上的像素点的数量/第二像素区域内像素点的总数量
本申请可以提取第二像素区域的边缘和第一像素区域的初始边缘;并根据第二像素区域的边缘密度与第一像素区域的初始边缘密度,调整边缘检测算子中的参数;并根据调整之后的边缘检测算子中的参数,确定第一像素区域的边缘。
具体地,若第一像素区域的初始边缘密度与第二像素区域的边缘密度之间的差值在第三预设范围内,则可以将第一像素区域的初始边缘作为最终的第一像素区域的边缘;若第一像素区域的初始边缘密度与第二像素区域的边缘密度之间的差值不在第三预设范围内,调整边缘检测算子中的阈值参数,并根据调整之后的参数,重新提取第一像素区域的边缘,使得第二像素区域的边缘密度与第一像素区域的边缘密度之间的差值在第三预设范围内,也就是说,可以不断地调整边缘检测算子中的阈值参数,并重新提取第一像素区域的边缘,直到重新提取的第一像素区域的边缘密度与第二像素区域的边缘密度在第三预设范围内。
以上描述的是通过重新提取第一像素区域的边缘,使得第一像素区域的边缘密度与第二像素区域的边缘密度之间的差值在第三预设范围内的情况,本申请实施例并不限于此,只要保证两个图像之间的边缘密度之间的差值在第三预设范围内即可。例如,也可以保持第一像素区域的边缘不变,重新提取第二像素区域的边缘,使得第二像素区域的边缘密度与第一像素区域的边缘密度之间的差值在第三预设范围内。
以Canny Operator算法为例,可以先使用默认阈值参数[t1,tn],提取第二像素区域的边缘和第一像素区域的边缘。以图9为例,左边是第二像素区域,右边是提取的第二像素区域的边缘。
如果第二像素区域与第一像素区域的边缘密度不平衡,则可以采用下述过程进行调整。
(1)若dg<dc-ε,则调小阈值参数[tl,tn],重新提取第一像素区域的边缘,并重新计算第一像素区域的边缘密度dg
(2)若dg>dc+ε,则调大阈值参数[tl,tn],重新提取第一像素区域的边缘,并重新计算第一像素区域的边缘密度dg
(3)直到dc-ε<dg<dc+ε,则停止上述过程。
其中,ε表示两图的边缘密度差异的容忍度,其大小是工程经验值,可以根据需要调整。1/ε表示两图边缘密度的相似度。
根据所述第二像素区域的边缘与所述第一像素区域的边缘之间的映射关系,将所述第二像素区域的边缘映射到所述第一像素区域的边缘,以生成所述处理后的第一图像的边缘区域的图像信息,可以包括:确定第一边缘段和第二边缘段,第一边缘段为第一像素区域的边缘上的边缘段,第二边缘段为第二像素区域的边缘上的边缘段;根据第一边缘段和第二边缘段之间的映射关系,将第二边缘段映射到第一边缘段所在的区域,以生成处理后的第一图像的边缘区域的图像信息。
由于提取的边缘可以是多个边缘段,并不是连续的一个边缘,因此,本申请可以根据两图中的多个边缘段之间的映射关系进行边缘匹配。
另外,为了进一步降低边缘匹配过程中的复杂度,本申请可以对提取的边缘进行分段,如分成多个线段,然后根据分段之后的线段进行匹配。
图10示出的是边缘分段前后的示意图。左图是根据边缘提取算法提取的边缘,右图是分段之后的边缘。
图像提取的边缘中可能会存在分叉的边缘段,例如,类似于左图中的三个线段相交于一点的边缘段。如果直接以这种分叉的边缘段进行边缘匹配,会增加匹配的难度。
本申请可以将提取的边缘分成多个线段,即分成多个具有两个端点和一个连线的段,由于线段结构简单,且相比于分段前的边缘段,线段上的像素点也较少,因此,以线段进行匹配,能够提高匹配的效率,降低匹配的难度。
本申请实施例中的线段可以是一个直线段,或者也可以是一个曲线段,对此不做具体限定。
具体地,本申请可以对第一边缘段进行分段,得到第一线段集合;对第二边缘段进行分段,得到第二线段集合;确定第一线段集合中的线段与第二线段集合中的线段之间的映射关系;根据第一线段集合中的线段与第二集合中的线段之间的映射关系,将第二线段集合中的线段映射到第一线段集合中的线段,以生成处理后的第一图像的边缘区域的图像信息。
进一步地,可以对分段后的线段进行删选,剔除一些不符合要求的线段,然后在进行线段匹配。例如,可以剔除线段集合中长度小于第一预设值的线段,因为对长度太小的线段进行匹配的意义不大,并且还会浪费处理资源。
对于第一边缘段,本申请可以对第一边缘段进行分段,得到第一初始边缘段集合;然后剔除第一初始边缘段集合中的长度小于第一预设值的线段,得到第一线段集合。
对于第二边缘段,本申请可以对第二边缘段进行分段,得到第二初始边缘段集合;然后剔除第二初始边缘段集合中的长度小于第二预设值的线段,得到第二线段集合。
其中,第一预设值和第二预设值可以相等。
在进行线段匹配时,可以根据第一线段集合中的线段上的像素与第二线段集合中的线段上的像素之间的匹配度,确定第一线段集合中的线段与第二线段集合中的线段之间的映射关系。
本申请实施例对第一线段集合和第二线段集合之间的匹配过程所使用的算法不做具体限定。
例如,可以使用归一化交叉相关(normalized cross-correlaion,NCC)算法进行第一线段集合和第二线段集合之间的匹配。
假设第一线段集合为Eg={l1,l2,l3,...,ln},第二线段集合为Ec={m1,m2,m3,...,mn}。
针对Eg集合中的第i条线段li上的每个像素点pi1,Pi2,...,pin通过NCC匹配搜索在集合Ec中的对应匹配点qi1,qi2,...,qin。若匹配点q属于某个线段mj,则线段li与线段mj的匹配度加1。重复计算线段li上的每个点对应的匹配点,从而找出与线段li最匹配的线段mj
本申请实施例对确定与线段li匹配的线段mj的方式不做具体限定。
作为一个示例,若线段mj中与线段li匹配的像素点的数量与线段mj上的像素点的总数量之间的比值大于预设阈值,则可以确定该线段mj与线段li相匹配。
作为另一个示例,可以根据投票原则,将集合Ec中与线段li匹配的像素点的数量最多的线段确定为与线段li匹配的线段,或者将集合Ec中与线段li匹配的像素点的占比最高的线段确定为与线段li匹配的线段,或者将集合Ec中与线段li匹配的像素点的占比大于预设阈值的线段确定为与线段li匹配的线段。
举例说明,如果l1和m1有2个像素点匹配,与m2有15个像素点匹配,与m3有3个像素点匹配,则根据投票原则,m2与l1匹配的像素点最多,即m2与l1匹配度最高,所以m2与l1匹配。
或者,假设预设阈值为50%,由于m2与l1匹配的像素点的占比为15/(2+15+3)=75%,75%>50%,则m2与l1匹配。
根据上文的描述,由于第一图像和第二图像已经对齐了内参,在匹配过程中,仅需要在水平方向上寻找对应的匹配线段即可。
以图11为例,左边为第一图像,右边为第二图像。对于第一图像中的线段,与第二图像中同一行的线段进行比较,在第二图像中找到与第一图像中的线段相匹配的线段。
图11所示的是为第一图像中的线段602寻找匹配线段的示意图。根据上文描述的投票原则,由于第二图像中线段604中的匹配像素点的数量最多,即线段604的匹配得分值最高,因此,线段604是与线段602匹配的线段。
上文结合图1至图11,详细描述了本申请的方法实施例,下面结合图12,描述本申请的装置实施例,装置实施例与方法实施例相互对应,因此未详细描述的部分可参见前面各部分方法实施例。
图12是本申请实施例提供的一种图像处理装置700,该装置700可以包括存储器710和处理器720。
所述存储器710,用于存储计算机程序。
所述处理器720,用于调用所述计算机程序,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
获取由电子设备的第一相机对场景拍摄采集的第一图像;
获取由电子设备的第二相机对所述场景拍摄得到的第二图像;
其中,所述第一相机的观测范围大于所述第二相机的观测范围;并且,所述第一相机的分辨率低于所述第二相机的分辨率,和/或,所述第一相机的成像为非彩色图像、所述第二相机的成像为彩色图像;
在所述第一图像中确定对应所述场景中目标对象的第一像素区域,在所述第二图像中确定对应所述场景中所述目标对象的第二像素区域;
基于所述第二图像中的所述第二像素区域,对所述第一图像中的所述第一像素区域进行图像处理,得到处理后的第一图像。
可选地,在一些实施例中,所述目标对象为所述第二相机采集到的所述场景中的全部场景对象或者部分场景对象。
可选地,在一些实施例中,所述目标对象对应的所述第一像素区域和/或所述第二像素区域是基于用户操作确定的。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:获取由所述第一相机对所述场景拍摄采集的第一初始图像;对所述第一初始图像进行增稳处理,得到所述第一图像。
可选地,在一些实施例中,所述第一相机包括第一视觉传感器和第二视角传感器,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:获取由所述第一视觉传感器对所述场景拍摄采集的第一视觉图像;获取由所述第二视觉传感器对所述场景拍摄采集的第二视觉图像;根据所述第一视觉图像和所述第二视觉图像,生成具有深度信息的所述第一初始图像。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:获取由所述第二相机对所述场景拍摄采集的第二初始图像;将所述第二初始图像转换到所述第一图像的相机位姿上,以生成所述第二图像。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:根据所述第一相机的内部参数、所述第二相机的内部参数、以及所述第一图像和所述第二初始图像之间的旋转关系,将所述第二初始图像转换到所述第一图像的相机位姿上,以生成所述第二图像。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:接收用户输入的指令;根据所述用户输入的指令,调整所述第一相机和所述第二相机的拍摄方向,使得所述第一相机和所述第二相机朝向同一场景进行拍摄。
可选地,在一些实施例中,所述电子设备为无人机,所述处理后的第一图像用于第一人称主视角FPV飞行。
可选地,在一些实施例中,所述第一像素区域位于所述第一图像的中间区域。
可选地,在一些实施例中,所述第一图像为非彩色图像,所述第二图像为彩色图像。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:使用超像素分割装置,对所述处理后的第一图像进行分割;若分割后的同一物体一部分有颜色信息,另一部分无颜色信息,则根据所述同一物体中有颜色信息的部分,对所述同一物体的另一部分进行颜色填充。
可选地,在一些实施例中,所述非彩色图像包括物体的深度信息,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:根据所述物体的深度信息,对所述处理后的第一图像进行颜色处理,所述颜色处理包括以下中的至少一种:颜色填充、颜色去除和颜色保留。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:对所述处理后的第一图像中同一深度的区域进行相同的颜色处理。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:获取用户在所述处理后的第一图像上的点选操作;确定点选处的物体的第一深度信息;根据所述第一深度信息,对所述处理后的第一图像进行颜色处理。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:根据所述第一深度信息,确定目标区域,其中,所述目标区域与所述点选处的物体相连、和/或所述目标区域的深度与所述第一深度信息之间的差值在第一预设范围内;对所述目标区域进行颜色处理。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:获取用户输入的距离信息;根据所述距离信息,对所述处理后的第一图像进行颜色处理。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:根据所述距离信息,确定目标区域,其中,所述目标区域的深度与所述距离之间的差值在第二预设范围内;对所述目标区域进行颜色处理。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:确定所述第二像素区域的边缘和所述第一像素区域的边缘;根据所述第二像素区域的边缘与所述第一像素区域的边缘之间的映射关系,将所述第二像素区域的边缘映射到所述第一像素区域的边缘,以生成所述处理后的第一图像的边缘区域的图像信息。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:提取所述第二像素区域的边缘和所述第一像素区域的初始边缘;根据所述第二像素区域的边缘密度和所述第一像素区域的初始边缘密度,调整边缘检测算子中的参数;根据所述调整之后的边缘检测算子中的参数,确定所述第一像素区域的边缘。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:在所述第二像素区域的边缘密度和所述第一像素区域的初始边缘密度之间的差值不在第三预设范围内的情况下,调整边缘检测算子中的参数;所述根据所述调整之后的边缘检测算子中的参数,确定所述第一像素区域的边缘,包括:根据所述调整之后的边缘检测算子中的参数,重新提取所述第一像素区域的边缘,直到所述第二像素区域的边缘密度和所述第一像素区域的边缘密度之间的差值在所述第三预设范围内。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:确定第一边缘段和第二边缘段,所述第一边缘段为所述第一像素区域的边缘上的边缘段,所述第二边缘段为所述第二像素区域的边缘上的边缘段;根据所述第一边缘段和所述第二边缘段之间的映射关系,将所述第二边缘段映射到所述第一边缘段所在的区域,以生成所述处理后的第一图像的边缘区域的图像信息。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:对所述第一边缘段进行分段,得到第一线段集合;对所述第二边缘进行分段,得到第二线段集合;确定所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系;根据所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系,将所述第二线段集合中的线段映射到所述第一线段集合中的线段所在的位置,以生成所述处理后的第一图像的边缘区域的图像信息。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:对所述第一边缘段进行分段,得到第一初始线段集合;剔除所述第一初始线段集合中长度小于第一预设值的线段,得到所述第一线段集合。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:对所述第二边缘段进行分段,得到第二初始线段集合;剔除所述第二初始线段集合中长度小于第二预设值的线段,得到所述第二线段集合。
可选地,在一些实施例中,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:根据所述第一线段集合中的线段上的像素与所述第二线段集合中的线段上的像素之间的匹配度,确定所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系。
可选地,在一些实施例中,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:根据所处处理后的第一图像的边缘区域的图像信息,通过插值法生成所述处理后的第一图像的非边缘区域的图像信息。
本申请还提供了一种电子设备或者系统,该电子设备或者系统可以包括上述本申请各种实施例的图像处理装置。
本申请还提供一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得,该计算机执行上述方法实施例的方法。
本申请还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (55)

1.一种图像处理方法,其特征在于,包括:
获取由电子设备的第一相机对场景拍摄采集的第一图像;
获取由电子设备的第二相机对所述场景拍摄得到的第二图像;
其中,所述第一相机的观测范围大于所述第二相机的观测范围;并且,所述第一相机的分辨率低于所述第二相机的分辨率,和/或,所述第一相机的成像为非彩色图像、所述第二相机的成像为彩色图像;
在所述第一图像中确定对应所述场景中目标对象的第一像素区域,在所述第二图像中确定对应所述场景中所述目标对象的第二像素区域;
基于所述第二图像中的所述第二像素区域,对所述第一图像中的所述第一像素区域进行图像处理,得到处理后的第一图像。
2.根据权利要求1所述的方法,其特征在于,所述目标对象为所述第二相机采集到的所述场景中的全部场景对象或者部分场景对象。
3.根据权利要求1或2所述的方法,其特征在于,所述目标对象对应的所述第一像素区域和/或所述第二像素区域是基于用户操作确定的。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述获取由电子设备的第一相机对场景拍摄采集的第一图像,包括:
获取由所述第一相机对所述场景拍摄采集的第一初始图像;
对所述第一初始图像进行增稳处理,得到所述第一图像。
5.根据权利要求4所述的方法,其特征在于,所述第一相机包括第一视觉传感器和第二视角传感器,所述获取由所述第一相机对所述场景拍摄采集的第一初始图像,包括:
获取由所述第一视觉传感器对所述场景拍摄采集的第一视觉图像;
获取由所述第二视觉传感器对所述场景拍摄采集的第二视觉图像;
根据所述第一视觉图像和所述第二视觉图像,生成具有深度信息的所述第一初始图像。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述获取由电子设备的第二相机对所述场景拍摄得到的第二图像,包括:
获取由所述第二相机对所述场景拍摄采集的第二初始图像;
将所述第二初始图像转换到所述第一图像的相机位姿上,以生成所述第二图像。
7.根据权利要求6所述的方法,其特征在于,所述将所述第二初始图像转换到所述第一图像的相机位姿上,以形成所述第二图像,包括:
根据所述第一相机的内部参数、所述第二相机的内部参数、以及所述第一图像和所述第二初始图像之间的旋转关系,将所述第二初始图像转换到所述第一图像的相机位姿上,以生成所述第二图像。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
接收用户输入的指令;
根据所述用户输入的指令,调整所述第一相机和所述第二相机的拍摄方向,使得所述第一相机和所述第二相机朝向同一场景进行拍摄。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述电子设备为无人机,所述处理后的第一图像用于第一人称主视角FPV飞行。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述第一像素区域位于所述第一图像的中间区域。
11.根据权利要求1-10中任一项所述的方法,其特征在于,所述第一图像为非彩色图像,所述第二图像为彩色图像。
12.根据权利要求11所述的方法,其特征在于,所述方法包括:
使用超像素分割方法,对所述处理后的第一图像进行分割;
若分割后的同一物体一部分有颜色信息,另一部分无颜色信息,则根据所述同一物体中有颜色信息的部分,对所述同一物体的另一部分进行颜色填充。
13.根据权利要求11或12所述的方法,其特征在于,所述非彩色图像包括物体的深度信息,所述方法还包括:
根据所述物体的深度信息,对所述处理后的第一图像进行颜色处理,所述颜色处理包括以下中的至少一种:颜色填充、颜色去除和颜色保留。
14.根据权利要求13所述的方法,其特征在于,所述根据所述物体的深度信息,对所述处理后的第一图像进行颜色处理,包括:
对所述处理后的第一图像中同一深度的区域进行相同的颜色处理。
15.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
获取用户在所述处理后的第一图像上的点选操作;
确定点选处的物体的第一深度信息;
根据所述第一深度信息,对所述处理后的第一图像进行颜色处理。
16.根据权利要求15所述的方法,其特征在于,所述根据所述第一深度信息,对所述处理后的第一图像进行颜色处理,包括:
根据所述第一深度信息,确定目标区域,其中,所述目标区域与所述点选处的物体相连、和/或所述目标区域的深度与所述第一深度信息之间的差值在第一预设范围内;
对所述目标区域进行颜色处理。
17.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
获取用户输入的距离信息;
根据所述距离信息,对所述处理后的第一图像进行颜色处理。
18.根据权利要求17所述的方法,其特征在于,所述根据所述距离信息,对所述处理后的第一图像进行颜色处理,包括:
根据所述距离信息,确定目标区域,其中,所述目标区域的深度与所述距离之间的差值在第二预设范围内;
对所述目标区域进行颜色处理。
19.根据权利要求1-18中任一项所述的方法,其特征在于,所述基于所述第二图像的所述第二像素区域,对所述第一图像中的所述第一像素区域进行图像处理,得到处理后的第一图像,包括:
确定所述第二像素区域的边缘和所述第一像素区域的边缘;
根据所述第二像素区域的边缘与所述第一像素区域的边缘之间的映射关系,将所述第二像素区域的边缘映射到所述第一像素区域的边缘,以生成所述处理后的第一图像的边缘区域的图像信息。
20.根据权利要求19所述的方法,其特征在于,所述方法还包括:
提取所述第二像素区域的边缘和所述第一像素区域的初始边缘;
根据所述第二像素区域的边缘密度和所述第一像素区域的初始边缘密度,调整边缘检测算子中的参数;
根据所述调整之后的边缘检测算子中的参数,确定所述第一像素区域的边缘。
21.根据权利要求20所述的方法,其特征在于,所述根据所述第二像素区域的边缘密度和所述第一像素区域的初始边缘密度,调整边缘检测算子中的参数,包括:
在所述第二像素区域的边缘密度和所述第一像素区域的初始边缘密度之间的差值不在第三预设范围内的情况下,调整边缘检测算子中的参数;
所述根据所述调整之后的边缘检测算子中的参数,确定所述第一像素区域的边缘,包括:
根据所述调整之后的边缘检测算子中的参数,重新提取所述第一像素区域的边缘,直到所述第二像素区域的边缘密度和所述第一像素区域的边缘密度之间的差值在所述第三预设范围内。
22.根据权利要求19-21中任一项所述的方法,其特征在于,所述根据所述第二像素区域的边缘与所述第一像素区域的边缘之间的映射关系,将所述第二像素区域的边缘映射到所述第一像素区域的边缘,以生成所述处理后的第一图像的边缘区域的图像信息,包括:
确定第一边缘段和第二边缘段,所述第一边缘段为所述第一像素区域的边缘上的边缘段,所述第二边缘段为所述第二像素区域的边缘上的边缘段;
根据所述第一边缘段和所述第二边缘段之间的映射关系,将所述第二边缘段映射到所述第一边缘段所在的区域,以生成所述处理后的第一图像的边缘区域的图像信息。
23.根据权利要求22所述的方法,其特征在于,所述根据所述第一边缘段和所述第二边缘段之间的映射关系,将所述第二边缘段映射到所述第一边缘段所在的区域,以生成所述处理后的第一图像的边缘区域的图像信息,包括:
对所述第一边缘段进行分段,得到第一线段集合;
对所述第二边缘进行分段,得到第二线段集合;
确定所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系;
根据所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系,将所述第二线段集合中的线段映射到所述第一线段集合中的线段所在的位置,以生成所述处理后的第一图像的边缘区域的图像信息。
24.根据权利要求23所述的方法,其特征在于,所述对所述第一边缘段进行分段,得到第一线段集合,包括:
对所述第一边缘段进行分段,得到第一初始线段集合;
剔除所述第一初始线段集合中长度小于第一预设值的线段,得到所述第一线段集合。
25.根据权利要求23所述的方法,其特征在于,所述对所述第二边缘段进行分段,得到第二线段集合,包括:
对所述第二边缘段进行分段,得到第二初始线段集合;
剔除所述第二初始线段集合中长度小于第二预设值的线段,得到所述第二线段集合。
26.根据权利要求23-25中任一项所述的方法,其特征在于,所述确定所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系,包括:
根据所述第一线段集合中的线段上的像素与所述第二线段集合中的线段上的像素之间的匹配度,确定所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系。
27.根据权利要求19-26中任一项所述的方法,其特征在于,所述基于所述第二图像的所述第二像素区域,对所述第一图像中的所述第一像素区域进行图像处理,得到处理后的第一图像,包括:
根据所处处理后的第一图像的边缘区域的图像信息,通过插值法生成所述处理后的第一图像的非边缘区域的图像信息。
28.一种图像处理装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述计算机程序,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
获取由电子设备的第一相机对场景拍摄采集的第一图像;
获取由电子设备的第二相机对所述场景拍摄得到的第二图像;
其中,所述第一相机的观测范围大于所述第二相机的观测范围;并且,所述第一相机的分辨率低于所述第二相机的分辨率,和/或,所述第一相机的成像为非彩色图像、所述第二相机的成像为彩色图像;
在所述第一图像中确定对应所述场景中目标对象的第一像素区域,在所述第二图像中确定对应所述场景中所述目标对象的第二像素区域;
基于所述第二图像中的所述第二像素区域,对所述第一图像中的所述第一像素区域进行图像处理,得到处理后的第一图像。
29.根据权利要求28所述的装置,其特征在于,所述目标对象为所述第二相机采集到的所述场景中的全部场景对象或者部分场景对象。
30.根据权利要求28或29所述的装置,其特征在于,所述目标对象对应的所述第一像素区域和/或所述第二像素区域是基于用户操作确定的。
31.根据权利要求28-30中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
获取由所述第一相机对所述场景拍摄采集的第一初始图像;
对所述第一初始图像进行增稳处理,得到所述第一图像。
32.根据权利要求31所述的装置,其特征在于,所述第一相机包括第一视觉传感器和第二视角传感器,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
获取由所述第一视觉传感器对所述场景拍摄采集的第一视觉图像;
获取由所述第二视觉传感器对所述场景拍摄采集的第二视觉图像;
根据所述第一视觉图像和所述第二视觉图像,生成具有深度信息的所述第一初始图像。
33.根据权利要求28-32中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
获取由所述第二相机对所述场景拍摄采集的第二初始图像;
将所述第二初始图像转换到所述第一图像的相机位姿上,以生成所述第二图像。
34.根据权利要求33所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
根据所述第一相机的内部参数、所述第二相机的内部参数、以及所述第一图像和所述第二初始图像之间的旋转关系,将所述第二初始图像转换到所述第一图像的相机位姿上,以生成所述第二图像。
35.根据权利要求28-34中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
接收用户输入的指令;
根据所述用户输入的指令,调整所述第一相机和所述第二相机的拍摄方向,使得所述第一相机和所述第二相机朝向同一场景进行拍摄。
36.根据权利要求28-35中任一项所述的装置,其特征在于,所述电子设备为无人机,所述处理后的第一图像用于第一人称主视角FPV飞行。
37.根据权利要求28-36中任一项所述的装置,其特征在于,所述第一像素区域位于所述第一图像的中间区域。
38.根据权利要求28-37中任一项所述的装置,其特征在于,所述第一图像为非彩色图像,所述第二图像为彩色图像。
39.根据权利要求38所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
使用超像素分割装置,对所述处理后的第一图像进行分割;
若分割后的同一物体一部分有颜色信息,另一部分无颜色信息,则根据所述同一物体中有颜色信息的部分,对所述同一物体的另一部分进行颜色填充。
40.根据权利要求38或39所述的装置,其特征在于,所述非彩色图像包括物体的深度信息,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
根据所述物体的深度信息,对所述处理后的第一图像进行颜色处理,所述颜色处理包括以下中的至少一种:颜色填充、颜色去除和颜色保留。
41.根据权利要求40所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
对所述处理后的第一图像中同一深度的区域进行相同的颜色处理。
42.根据权利要求40或41所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
获取用户在所述处理后的第一图像上的点选操作;
确定点选处的物体的第一深度信息;
根据所述第一深度信息,对所述处理后的第一图像进行颜色处理。
43.根据权利要求42所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
根据所述第一深度信息,确定目标区域,其中,所述目标区域与所述点选处的物体相连、和/或所述目标区域的深度与所述第一深度信息之间的差值在第一预设范围内;
对所述目标区域进行颜色处理。
44.根据权利要求40或41所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
获取用户输入的距离信息;
根据所述距离信息,对所述处理后的第一图像进行颜色处理。
45.根据权利要求44所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
根据所述距离信息,确定目标区域,其中,所述目标区域的深度与所述距离之间的差值在第二预设范围内;
对所述目标区域进行颜色处理。
46.根据权利要求28-45中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
确定所述第二像素区域的边缘和所述第一像素区域的边缘;
根据所述第二像素区域的边缘与所述第一像素区域的边缘之间的映射关系,将所述第二像素区域的边缘映射到所述第一像素区域的边缘,以生成所述处理后的第一图像的边缘区域的图像信息。
47.根据权利要求46所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
提取所述第二像素区域的边缘和所述第一像素区域的初始边缘;
根据所述第二像素区域的边缘密度和所述第一像素区域的初始边缘密度,调整边缘检测算子中的参数;
根据所述调整之后的边缘检测算子中的参数,确定所述第一像素区域的边缘。
48.根据权利要求47所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
在所述第二像素区域的边缘密度和所述第一像素区域的初始边缘密度之间的差值不在第三预设范围内的情况下,调整边缘检测算子中的参数;
所述根据所述调整之后的边缘检测算子中的参数,确定所述第一像素区域的边缘,包括:
根据所述调整之后的边缘检测算子中的参数,重新提取所述第一像素区域的边缘,直到所述第二像素区域的边缘密度和所述第一像素区域的边缘密度之间的差值在所述第三预设范围内。
49.根据权利要求45-48中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
确定第一边缘段和第二边缘段,所述第一边缘段为所述第一像素区域的边缘上的边缘段,所述第二边缘段为所述第二像素区域的边缘上的边缘段;
根据所述第一边缘段和所述第二边缘段之间的映射关系,将所述第二边缘段映射到所述第一边缘段所在的区域,以生成所述处理后的第一图像的边缘区域的图像信息。
50.根据权利要求49所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
对所述第一边缘段进行分段,得到第一线段集合;
对所述第二边缘进行分段,得到第二线段集合;
确定所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系;
根据所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系,将所述第二线段集合中的线段映射到所述第一线段集合中的线段所在的位置,以生成所述处理后的第一图像的边缘区域的图像信息。
51.根据权利要求50所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
对所述第一边缘段进行分段,得到第一初始线段集合;
剔除所述第一初始线段集合中长度小于第一预设值的线段,得到所述第一线段集合。
52.根据权利要求51所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
对所述第二边缘段进行分段,得到第二初始线段集合;
剔除所述第二初始线段集合中长度小于第二预设值的线段,得到所述第二线段集合。
53.根据权利要求50-52中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
根据所述第一线段集合中的线段上的像素与所述第二线段集合中的线段上的像素之间的匹配度,确定所述第一线段集合中的线段与所述第二线段集合中的线段之间的映射关系。
54.根据权利要求46-53中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
根据所处处理后的第一图像的边缘区域的图像信息,通过插值法生成所述处理后的第一图像的非边缘区域的图像信息。
55.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被执行时,实现如权利要求1至27中任一项所述的方法。
CN202080009631.3A 2020-09-03 2020-09-03 图像处理方法和装置 Pending CN113348489A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/113251 WO2022047701A1 (zh) 2020-09-03 2020-09-03 图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN113348489A true CN113348489A (zh) 2021-09-03

Family

ID=77468470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080009631.3A Pending CN113348489A (zh) 2020-09-03 2020-09-03 图像处理方法和装置

Country Status (2)

Country Link
CN (1) CN113348489A (zh)
WO (1) WO2022047701A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109643B (zh) * 2023-04-13 2023-08-04 深圳市明源云科技有限公司 市场布局数据采集方法、设备及计算机可读存储介质
CN117232396B (zh) * 2023-11-15 2024-02-06 湖南睿图智能科技有限公司 一种高速生产线产品质量视觉检测系统及方法
CN117528262B (zh) * 2023-12-29 2024-04-05 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616237A (zh) * 2008-06-27 2009-12-30 索尼株式会社 图像处理装置、图像处理方法、程序和记录介质
US20110069156A1 (en) * 2009-09-24 2011-03-24 Fujifilm Corporation Three-dimensional image pickup apparatus and method
CN109937568A (zh) * 2016-11-17 2019-06-25 索尼公司 图像处理装置和图像处理方法
CN110460783A (zh) * 2018-05-08 2019-11-15 宁波舜宇光电信息有限公司 阵列摄像模组及其图像处理系统、图像处理方法和电子设备
CN110855883A (zh) * 2019-11-05 2020-02-28 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878605B (zh) * 2015-12-10 2021-01-29 北京奇虎科技有限公司 一种基于电子设备的图像生成的方法和电子设备
CN107481200B (zh) * 2017-07-31 2018-09-18 腾讯科技(深圳)有限公司 图像处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616237A (zh) * 2008-06-27 2009-12-30 索尼株式会社 图像处理装置、图像处理方法、程序和记录介质
US20110069156A1 (en) * 2009-09-24 2011-03-24 Fujifilm Corporation Three-dimensional image pickup apparatus and method
CN109937568A (zh) * 2016-11-17 2019-06-25 索尼公司 图像处理装置和图像处理方法
CN110460783A (zh) * 2018-05-08 2019-11-15 宁波舜宇光电信息有限公司 阵列摄像模组及其图像处理系统、图像处理方法和电子设备
CN110855883A (zh) * 2019-11-05 2020-02-28 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质

Also Published As

Publication number Publication date
WO2022047701A1 (zh) 2022-03-10

Similar Documents

Publication Publication Date Title
US10176592B2 (en) Multi-directional structured image array capture on a 2D graph
US10755471B2 (en) Generation apparatus, system and method for generating virtual viewpoint image
WO2022047701A1 (zh) 图像处理方法和装置
JP6021541B2 (ja) 画像処理装置及び方法
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
KR20140108828A (ko) 카메라 트래킹 장치 및 방법
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN111669564B (zh) 图像重建方法、系统、设备及计算机可读存储介质
JP6513300B1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JPWO2014148031A1 (ja) 画像生成装置、撮像装置および画像生成方法
US11044452B2 (en) Imaging system and method
CN114004927A (zh) 3d视频模型重建方法、装置、电子设备及存储介质
CN112207821A (zh) 视觉机器人的目标搜寻方法及机器人
CN108564654B (zh) 三维大场景的画面进入方式
US11328436B2 (en) Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
KR102261544B1 (ko) 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
TWI536832B (zh) 用於嵌入立體影像的系統、方法及其軟體產品
JP6341540B2 (ja) 情報端末装置、方法及びプログラム
CN113763544A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
CN115997379A (zh) 用于立体渲染的图像fov的复原
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
JP2019145894A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210903

RJ01 Rejection of invention patent application after publication