CN114119668A - 图像处理方法、图像处理装置和电子设备 - Google Patents

图像处理方法、图像处理装置和电子设备 Download PDF

Info

Publication number
CN114119668A
CN114119668A CN202111433749.1A CN202111433749A CN114119668A CN 114119668 A CN114119668 A CN 114119668A CN 202111433749 A CN202111433749 A CN 202111433749A CN 114119668 A CN114119668 A CN 114119668A
Authority
CN
China
Prior art keywords
image
contour
moving object
input
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111433749.1A
Other languages
English (en)
Inventor
张潇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Guangdong Weiwo Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Weiwo Software Technology Co ltd filed Critical Guangdong Weiwo Software Technology Co ltd
Priority to CN202111433749.1A priority Critical patent/CN114119668A/zh
Publication of CN114119668A publication Critical patent/CN114119668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理装置和电子设备,属于图像处理领域。所述图像处理方法,包括:显示第一图像,所述第一图像由第一传感器采集;接收用户对所述第一图像中的目标运动对象的第一输入;响应于所述第一输入,基于第二轮廓,调整所述目标运动对象的第一轮廓,生成第二图像,所述第二轮廓为由第二传感器采集的所述目标运动对象的轮廓。

Description

图像处理方法、图像处理装置和电子设备
技术领域
本申请属于图像处理领域,具体涉及一种图像处理方法、图像处理装置和电子设备。
背景技术
随着用户对电子设备的拍摄要求的提高,为提高拍摄质量,相关技术中,一般会在终端中设置运动传感器以进行防抖处理,但在拍摄运动对象时,拍摄出来的图像仍然会存在残影或拖影,影响用户的拍摄体验。
发明内容
本申请实施例的目的是提供一种图像处理方法、图像处理装置和电子设备,能够解决在拍摄运动对象时,拍摄的图像中存在残影或拖影的问题。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
显示第一图像,所述第一图像由第一传感器采集;
接收用户对所述第一图像中的目标运动对象的第一输入;
响应于所述第一输入,基于第二轮廓,调整所述目标运动对象的第一轮廓,生成第二图像,所述第二轮廓为由第二传感器采集的所述目标运动对象的轮廓。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:
显示模块,用于显示第一图像,所述第一图像由第一传感器采集;
接收模块,用于接收用户对所述第一图像中的目标运动对象的第一输入;
处理模块,用于响应于所述第一输入,基于第二轮廓,调整所述目标运动对象的第一轮廓,生成第二图像,所述第二轮廓为由第二传感器采集的所述目标运动对象的轮廓。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,通过将由第一传感器采集的第一图像中的运动对象的第一轮廓修正为由第二传感器在同一时刻采集的同一运动对象的第二轮廓,可以有效消除运动对象的残影或拖影,提高成像质量;另外,通过用户的第一输入以确定需要进行修正的位置区域,实现了用户自定义待修正的区域,提高了图像处理的灵活性。
附图说明
图1是本申请实施例提供的图像处理方法的流程示意图;
图2是本申请实施例提供的图像处理方法的界面示意图之一;
图3是本申请实施例提供的图像处理方法的界面示意图之二;
图4是本申请实施例提供的图像处理方法的界面示意图之三;
图5是本申请实施例提供的图像处理方法的界面示意图之四;
图6是本申请实施例提供的图像处理装置的结构示意图;
图7是本申请实施例提供的电子设备的结构示意图;
图8是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、电子设备和可读存储介质进行详细地说明。
其中,图像处理方法可应用于终端,具体可由,终端中的硬件或软件执行。该图像处理方法的执行主体可以为终端,或者终端的控制装置等。
该终端包括但不限于具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话或平板电脑等其它便携式通信设备。还应当理解的是,在某些实施例中,该终端可以不是便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
以下各个实施例中,描述了包括显示器和触摸敏感表面的终端。然而,应当理解的是,终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以为终端,包括但不限于移动终端如手机、平板电脑和相机等,非移动终端或者终端的控制装置等。
需要说明的是,该终端上设置有第一传感器和第二传感器,或该终端与第一传感器和第二传感器通信连接。该终端在正常工作时,可以调用第一传感器和第二传感器进行图像信息的采集。
该图像处理方法可应用于拍摄情景。
如图1所示,该图像处理方法包括:步骤110、步骤120和步骤130。
步骤110、显示第一图像,第一图像由第一传感器采集;
在该步骤中,第一传感器为图像传感器,包括但不限于COMS传感器和CCD传感器等。
第一传感器用于采集包括运动对象以及背景环境在内的全部图像信息,并生成第一图像。
其中,运动对象为相对于拍摄终端运动的对象,例如,运动对象可以为本身运动的对象,如移动的汽车或跑步的人等;或者运动对象也可以为本身静止,但相对于拍摄终端发生移动的对象,如在拍摄过程中因拍摄者手抖等因素而出现的相对移动等情况。
可以理解的是,运动对象具有外部轮廓,在运动对象与拍摄终端发生相互位移的情况下,最终拍摄出来的照片容易出现残影或拖影。
例如在用户用手机拍摄球场上的运动员时,由于运动员在不断跑动,在最终拍摄出来的图像中,该运动员的外部轮廓则容易出现残影或拖影。
如图2提供了一种第一图像的显示界面,该第一图像包括运动对象210和运动对象210所处的背景环境220。其中,运动对象210的轮廓较为模糊。
步骤120、接收用户对第一图像中的目标运动对象的第一输入;
在本步骤中,第一输入用于确定需要进行去残影或去拖影的运动对象。
其中,第一输入可以为如下至少一种方式:
其一,第一输入可以为触控输入,包括但不限于点击输入、滑动输入和按压输入等。
在该实施方式中,接收用户的第一输入包括但不限于接收用户在终端显示屏的显示区域的触控操作。
例如,在显示第一图像的状态下,在当前界面显示目标控件,触摸目标控件,即可实现第一输入;或者将第一输入设置为对显示区域内的目标位置处的点击或连续多次敲击操作。
其二,第一输入可以为实体按键输入。
在该实施方式中,终端的机身上设有对应的实体按键,如鼠标等,接收用户的第一输入包括但不限于接收用户移动或按压对应的实体按键的第一输入;第一输入还可以为同时按压多个实体按键的组合操作。
其三,第一输入可以为语音输入。
在该实施方式中,终端可以在接收到语音时,基于用户的语音生成对应的控制指令。
当然,在其他实施例中,第一输入也可以为其他形式,包括但不限于体感手势输入等,具体可根据实际需要决定,本申请实施例对此不作限定。
例如,用户双击如图2所示的运动对象210,即可实现第一输入,该运动对象210即为目标运动对象。
步骤130、响应于第一输入,基于第二轮廓,调整目标运动对象的第一轮廓,生成第二图像,第二轮廓为由第二传感器采集的目标运动对象的轮廓。
在该步骤中,第一轮廓为由第一传感器采集的运动对象的外部轮廓。
第二轮廓为由第二传感器采集的同一时刻下的同一运动对象的轮廓。
与第一轮廓相比,通过第二传感器采集的第二轮廓更加清晰,也即第二轮廓无残影或拖影。
第二传感器为用于采集运动信息的传感器,如DVS传感器。
目标运动对象为用户选中的,需要进行去残影或去拖影的运动对象,如图2所示的运动对象210即为目标运动对象。
基于第二轮廓,调整目标运动对象的第一轮廓,具体可以为用第二轮廓替换第一轮廓。
第二图像为对第一图像中的第一轮廓进行调整后的图像。
第二图像包括运动对象的第二轮廓和与第一图像相同的背景环境220。
其中,第二图像中的第二轮廓内部的像素与第一图像中的第一轮廓内部的像素相同。
需要说明的是,在终端正常工作过程中,当用户进行拍摄时,终端中的第一传感器和第二传感器将同时对同一区域内的图像信息进行采集,其中第一传感器采集运动对象信息以及运动对象周围的环境背景信息;第二传感器采集运动对象信息。
在实际执行过程中,用户点击如图2所示的运动对象210,以实现第一输入。
终端响应于第一输入,将运动对象210确定为目标运动对象,并将运动对象210的第一轮廓调整为由第二传感器采集的该运动对象210的第二轮廓,生成如图3所示的第二图像,其中,第二图像包括运动对象210的第二轮廓和运动对象210当前所处的背景环境220,且运动对象210的第二轮廓相较于图2中的第一轮廓更加清晰。
当然,在另一些实施例中,在未接收到用户的第一输入的情况下,则终端将不会对第一图像进行修正。
发明人在研发过程中发现,相关技术中,当在拍摄运动对象时,最终生成的图像中该运动对象往往具有残影。
为对残影进行消除,存在一种在通过普通摄像头拍摄运动对象的同时,对图像进行处理以消除图像中所有运动对象的残影的方法。但该方法使得最终生成的图像中,所有的运动物体均不再具备残影效果,用户的可选择性较低。
而在本申请中,在拍摄过程中,用户可以通过第一输入来选择需要进行去残影的运动对象,从而实现定向调整;在用户不需要对运动对象进行去残影的时候,可以保留最终生成的图像中的运动对象的残影效果,显著提高了用户在拍摄过程中待处理的运动对象的可选择性和灵活性,且具有较好的普适性。
根据本申请实施例提供的图像处理方法,通过将由第一传感器采集的第一图像中的运动对象的第一轮廓修正为由第二传感器在同一时刻采集的同一运动对象的第二轮廓,可以有效消除运动对象的残影或拖影,提高成像质量;另外,通过用户的第一输入以确定需要进行修正的位置区域,实现了用户自定义待修正的区域,提高了图像处理的灵活性。
在一些实施例中,步骤130还可以包括:
将第一轮廓替换为第二轮廓,并以第一图像中的背景图像填充第二轮廓外的背景图像区域,生成第二图像。
在该实施例中,可以理解的是,在将第一轮廓替换为第二轮廓后,会多出部分空白区域,则将第一图像中的背景环境像素填充进该空白区域,以补全背景图像。
如图2和图3所示,其中图3中的运动对象210的轮廓线条相较于图2中的运动对象210的轮廓线条更为清晰,在将图2中的第一轮廓修正为如图3所示的第二轮廓后,终端将如图2中所示的第一图像中的背景像素填充进第二轮廓外的区域,以显示完整的背景图像。
根据本申请实施例提供的图像处理方法,通过对第二轮廓外的像素进行填充,以显示完整的背景图像,从而能够进一步提高第二图像的成像质量。
下面对步骤130的实现方式进行具体说明。
在一些实施例中,步骤130还可以包括:
标定第二轮廓在第二传感器对应的第二坐标系中的第一位置坐标;
将第一位置坐标转化为在第一传感器下对应的第一坐标系中的第二位置坐标;
基于第二位置坐标,将第一轮廓调整为第二轮廓。
可以理解的是,在实际执行过程中,第一传感器和第二传感器的设置位置具有偏差,则分别以第一传感器和第二传感器的安装位置为原点,建立坐标系,得到第一传感器对应的第一坐标系和第二传感器对应的第二坐标系。
其中,由第一传感器采集的第一图像中的各像素的坐标均是以第一传感器为坐标原点下的坐标;由第二传感器采集的运动对象的第二轮廓中的各像素的坐标均是以第二传感器为坐标原点下的坐标。
在该实施例中,第一位置坐标为第二坐标系下的位置坐标;第二位置坐标为第一坐标系下位置坐标。
终端在接收到第二传感器采集的第二轮廓后,对第二轮廓中的各个像素点的位置坐标进行标定,以生成第一位置坐标。可以理解的是,该第一位置坐标为多个像素点在第二坐标系下的坐标的集合。
然后基于第一坐标系和第二坐标系的偏差,将第一位置坐标转换为第二坐标系下的坐标,得到第二位置坐标,以统一第二轮廓的坐标系和第一图像的坐标系。可以理解的是,该第二位置坐标同样为多个像素点在第一坐标系下的坐标的集合。
其中,第一坐标系和第二坐标系之间的偏差可以通过对同一对象的共同标定来确定,标定后可以计算出同一对象在第一坐标系和第二坐标系之间的坐标偏移(a,b),其中,a为横坐标偏移系数,b为纵坐标偏移系数。
例如,可以通过公式:
gridTableX=[x*y]*a;
gridTableY=[x*y]*b;
得到第二轮廓的第二位置坐标,其中,
[X,Y]为第二轮廓的第二位置坐标,(x,y)为第二轮廓的第一位置坐标。
终端在得到第二轮廓的第二位置坐标后,以第二位置坐标为标定,在第一图像的对应位置将第一轮廓调整为第二轮廓,生成第二图像。
根据本申请实施例提供的图像处理方法,基于第一传感器和第二传感器的位置偏差,将由第二传感器采集的第二轮廓的位置坐标转换为由第一传感器采集的第一图像下的位置坐标,以实现坐标系的统一,从而提高修正结果的精度,提高第二图像的成像质量。
下面分别从不同的实现角度,对本申请实施例进行具体说明。
一、第一图像中包括多个运动对象。
在一些实施例中,第一图像包括至少两个运动对象,
步骤120可以包括:接收用户对至少两个运动对象中的目标运动对象的第一输入。;
可以理解的是,在日常拍摄中,经常会遇到拍摄多个运动对象的情景,如拍摄运动场时,图像中包括多个运动的运动员;又如拍摄街道时,图像中包括多辆行驶的车辆和行人。
在该实施例中,目标运动对象为用户想要进行修正的运动对象其中目标运动对象可以为多个运动对象中的一个,也可以为多个运动对象中的两个及以上的对象。
例如,用户帮朋友拍摄其比赛时的照片,拍摄过程中所显示的第一图像,包括用户的朋友和其他参赛选手。该情况下,用户只需对第一图像中朋友的轮廓进行去残影处理,而无需对其他参赛选手的轮廓进行去残影处理。
用户的朋友即为目标运动对象。
如图4所示了一种第一图像的显示界面,该第一图像包括运动对象D211、运动对象B212和运动对象C213,各运动对象均对应有第一轮廓。
需要说明的是,在第一传感器进行图像采集的同时,第二传感器同样也在同一时刻对相同的多个运动对象的运动信息进行采集,并生成多个第二轮廓。
在用户只需修正运动对象B212的情况下,则点击运动对象B212,以实现第一输入,如图4所示。
终端响应于第一输入,将运动对象B212确定为目标运动对象,并将运动对象B212的第一轮廓修正为由第二传感器采集的运动对象B212的第二轮廓,生成如图5所示的第二图像。该第二图像包括运动对象D211、运动对象B212、运动对象C213和背景环境220。其中,运动对象B212的轮廓为第二轮廓,较为清晰,而运动对象D211和运动对象C213的轮廓均为第一轮廓,较为模糊。
在另一些实施例中,还可以通过设置目标控件的形式进行第一输入。
例如,终端对第一图像的内容进行图像识别,识别得到多个运动对象,并显示选择框,该选择框中包括各运动对象对应的目标控件。
用户通过点击运动对象B212对应的目标控件,即可实现第一输入。
终端响应于第一输入,将运动对象B212确定为目标运动对象,并将运动对象B212的第一轮廓修正为由第二传感器采集的运动对象B212的第二轮廓。
当然,在其他实施例中,还可以通过在目标第一图像的各运动对象附近显示目标控件,来实现第一输入,本申请不做限定。
根据本申请实施例提供的图像处理方法,用户通过第一输入,可以基于实际需要从多个运动对象中选择需要进行残影修正的目标运动对象,自主性较高。
二、第一图像为目标视频中的一帧视频图像。
在一些实施例中,第一图像为目标视频中的一帧视频图像,步骤130还可以包括:
接收用户对目标视频中的第一图像的第二输入;
响应于第二输入,基于第一图像中的目标运动对象的运动信息,确定第一图像中目标运动对象的目标像素偏移量,运动信息为由第二传感器采集的;
基于目标像素偏移量,将目标运动对象的第一轮廓替换为第二轮廓,并以第一图像中的背景图像填充第二轮廓外的背景图像区域。
在该实施例中,第二输入用于从目标视频中确定第一图像。
第二输入可以为与第一输入相同的触控输入、实体按键输入、语音输入以及体感手势输入等,在此不做赘述。
第一图像为目标视频中的一帧视频图像。
其中,目标视频为需要进行去残影或去拖影的视频。
终端响应于第二输入,将用户选中的目标帧视频图像确定为第一图像,并并对该第一图像进行调整。
例如,对于一段3s的目标视频,共包括9帧图像。用户只需调整第一帧图像,则点击该目标视频中的第一帧图像,即可实现第二输入。
终端响应于第二输入,将该目标视频中的第一帧图像确定为第一图像。
可以理解的是,在第一传感器采集目标视频的情况下,第二传感器也在同一时间段内对同一区域内的运动对象的运动信息进行了采集。
其中,运动信息包括运动对象的运动方向、运动速度、运动趋势以及运动量等信息。
基于运动对象的运动信息,以及目标视频中的图像帧数,可以计算得到运动对象在单帧图像中的目标像素偏移量。
其中,目标像素偏移量即为运动对象相对于上一帧图像的偏移方向、偏移距离以及亮度变化,用于表征运动对象的变化趋势。
终端在将单帧图像上的运动对象的第一轮廓修正为第二轮廓的同时,还将基于每一帧图像对应的目标像素偏移量,将第二轮廓朝着对应的方向进行裁切。
例如,基于如上所述的3s的目标视频可以确定,运动对象E在朝着图像右方运动,则基于运动对象E的运动信息,可以确定第一帧图像的目标像素偏移量,并将第一帧图像中运动对象E的轮廓朝着图像右侧进行裁剪。
在实际执行过程中,可通过电子防抖(EIS)算法来执行上述步骤。
需要说明的是,现实场景中发生变化时,DVS会产生像素级的输出(即事件),一个事件包括(t,x,y,p),其中,(x,y)为事件在2D空间的像素坐标,t为事件的时间戳timestamp,p为事件的极性;事件的极性代表场景的亮度变化,该亮度变化包括上升(positive)和下降(negative)。
终端结合该事件的时间戳对符合标准的数据进行匹配与筛选,其中SOFtime<t<(softime+exposuretime+rollingshutter time)。
终端经筛选,将符合时间t内的所有数据及目标像素偏移量发送至EIS算法(t,x,y),EIS根据DVS计算到的偏移像素量,把输入第一图像朝对应方向进行裁切。
在本实施例中,与对单张图像进行调整不同的是,通过采集目标视频,可以进一步确定运动对象的运动信息,基于该运动信息,可以确定每一帧视频图像的像素偏移量。在对其中的一帧或多帧图像进行去残影操作时,可以基于每一帧的像素偏移量,将运动对象的第一轮廓朝其运动的方向进行修正,在去残影的同时,也提高了图像调整的准确度。
除此之外,用户可以通过第二输入选择目标视频中需要进行去残影的帧数,具有较高的可选择性和灵活性。
根据本申请实施例提供的图像处理方法,通过由第二传感器采集的运动信息确定目标像素偏移量,并基于目标像素偏移量对第一图像中的第一轮廓进行修正,从而可以在不具备运动传感器的情况下,有效去除图像中的残影信息,以实现防抖动能。
三、第二传感器为至少两个。
在一些实施例中,第二传感器为至少两个,步骤130还可以包括:
对至少两个第二传感器采集的至少两个第二轮廓进行坐标对齐和融合处理,生成第三轮廓;
基于第三轮廓,调整目标运动对象的第一轮廓。
在该实施例中,第三轮廓为将至少两个第二传感器在同一时间采集的同一运动对象的第二轮廓进行坐标对齐和图像融合后得到的轮廓。
其中,第二传感器可以为DVS传感器。
可以理解的是,不同的第二传感器安装位置不同,其采集的第二轮廓所对应的坐标系也不同。
通过对各子第二传感器采集的第二轮廓的坐标进行标定,并对标定后的坐标进行坐标系的转换,以实现坐标系的统一。
然后对同一坐标系下的多个第二轮廓进行图像融合,以得到经融合后的第三轮廓。其中,经融合后的第三轮廓的分辨率可以与普通COMS传感器所采集的图像的分辨率相同。
发明人在研发过程中还发现,相关技术中,存在通过一个DVS传感器采集运动对象的图像信息的情况,但由于DVS传感器的分辨率低,最终得到的运动对象的图像的分辨率也较低,成像效果不好。
而在本申请中,采用多个高倍率的DVS传感器采集运动对象的第二轮廓,通过对多个第二轮廓进行坐标对齐以及融合处理,与单个DVS传感器相比,可以显著提高图像的分辨率。
根据本申请实施例提供的图像处理方法,通过采用多个子第二传感器采集运动对象的第三轮廓,并对多个第三轮廓进行坐标对齐与融合以得到经融合后的第二轮廓,可以显著提高第二轮廓的分辨率,以提高调整精度。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理的方法为例,说明本申请实施例提供的图像处理的装置。
本申请实施例还提供一种图像处理装置。如图6所示,该图像处理装置包括:显示模块610、接收模块620和处理模块630。
显示模块610,用于显示第一图像,第一图像由第一传感器采集;
接收模块620,用于接收用户对第一图像中的目标运动对象的第一输入;
处理模块630,用于响应于第一输入,基于第二轮廓,调整目标运动对象的第一轮廓,生成第二图像,第二轮廓为由第二传感器采集的目标运动对象的轮廓。
根据本申请实施例提供的图像处理装置,通过将由第一传感器采集的第一图像中的运动对象的第一轮廓修正为由第二传感器在同一时刻采集的同一运动对象的第二轮廓,可以有效消除运动对象的残影或拖影,提高成像质量;另外,通过用户的第一输入以确定需要进行修正的位置区域,实现了用户自定义待修正的区域,提高了图像处理的灵活性。
在一些实施例中,第一图像包括至少两个运动对象,
接收模块620,还用于接收用户对至少两个运动对象中的目标运动对象的第一输入。
在一些实施例中,处理模块630,还用于:
标定第二轮廓在第二传感器对应的第二坐标系中的第一位置坐标;
将第一位置坐标转化为在第一传感器下对应的第一坐标系中的第二位置坐标;
基于第二位置坐标,将第一轮廓调整为第二轮廓。
在一些实施例中,第一图像为目标视频中的一帧视频图像,
接收模块620,还用于接收用户对目标视频中的第一图像的第二输入;
处理模块630,还用于:
响应于第二输入,基于第一图像中的目标运动对象的运动信息,确定第一图像中目标运动对象的目标像素偏移量,运动信息为由第二传感器采集的;
基于目标像素偏移量,将目标运动对象的第一轮廓替换为第二轮廓,并以第一图像中的背景图像填充第二轮廓外的背景图像区域。
在一些实施例中,第二传感器为至少两个,处理模块630,还用于:
对至少两个第二传感器采集的至少两个第二轮廓进行坐标对齐和融合处理,生成第三轮廓;
基于第三轮廓,调整目标运动对象的第一轮廓。
在一些实施例中,处理模块630,还用于:
将第一轮廓修正为第二轮廓,并以第一图像中的背景图像填充第二轮廓外的背景图像,生成第二图像。
本申请实施例中的图像处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为IOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图5的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图7所示,本申请实施例还提供一种电子设备700,包括处理器701,存储器702,存储在存储器702上并可在所述处理器701上运行的程序或指令,该程序或指令被处理器701执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809以及处理器810等部件。
本领域技术人员可以理解,电子设备800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,显示单元806,用于显示第一图像,第一图像由第一传感器采集;
用户输入单元807,用于接收用户对第一图像中的目标运动对象的第一输入;
处理器810,用于响应于第一输入,基于第二轮廓,调整目标运动对象的第一轮廓,生成第二图像,第二轮廓为由第二传感器采集的目标运动对象的轮廓。
根据本申请实施例提供的电子设备,通过将由第一传感器采集的第一图像中的运动对象的第一轮廓修正为由第二传感器在同一时刻采集的同一运动对象的第二轮廓,可以有效消除运动对象的残影或拖影,提高成像质量;另外,通过用户的第一输入以确定需要进行修正的位置区域,具有较高的人机交互性,实现了用户自定义待修正的区域,提高了图像处理的灵活性。
可选地,第一图像包括多个运动对象,
用户输入单元807,还用于接收用户对至少两个运动对象中的目标运动对象的第一输入。
可选地,处理器810,还用于:
标定第二轮廓在第二传感器对应的第二坐标系中的第一位置坐标;
将第一位置坐标转化为在第一传感器下对应的第一坐标系中的第二位置坐标;
基于第二位置坐标,将第一轮廓调整为第二轮廓。
可选地,第一图像为目标视频中的一帧视频图像,
用户输入单元807,还用于接收用户对目标视频中的第一图像的第二输入;
处理器810,还用于:
响应于第二输入,基于第一图像中的目标运动对象的运动信息,确定第一图像中目标运动对象的目标像素偏移量,运动信息为由第二传感器采集的;
基于目标像素偏移量,将目标运动对象的第一轮廓替换为第二轮廓,并以第一图像中的背景图像填充第二轮廓外的背景图像区域。
可选地,第二传感器为至少两个,处理器810,还用于:
对至少两个第二传感器采集的至少两个第二轮廓进行坐标对齐和融合处理,生成第三轮廓;
基于第三轮廓,调整目标运动对象的第一轮廓。
可选地,处理器810,还用于:将第一轮廓修正为第二轮廓,并以第一图像中的背景图像填充第二轮廓外的背景图像,生成第二图像。
根据本申请实施例提供的电子设备,通过将由多个第二传感器采集的多个第三轮廓进行坐标统一与融合以得到经融合后的第二轮廓,可以显著提高第二轮廓的分辨率,以提高修正精度。
应理解的是,本申请实施例中,输入单元804可以包括图形处理器(GraphicsProcessing Unit,GPU)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如传感器)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071,也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器809可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
显示第一图像,所述第一图像由第一传感器采集;
接收用户对所述第一图像中的目标运动对象的第一输入;
响应于所述第一输入,基于第二轮廓,调整所述目标运动对象的第一轮廓,生成第二图像,所述第二轮廓为由第二传感器采集的所述目标运动对象的轮廓。
2.根据权利要求1所述的图像处理方法,其特征在于,所述第一图像包括至少两个运动对象;
所述接收用户对所述第一图像中的目标运动对象的第一输入,包括:
接收用户对所述至少两个运动对象中的目标运动对象的第一输入。
3.根据权利要求1所述的图像处理方法,其特征在于,所述基于第二轮廓,调整所述目标运动对象的第一轮廓,包括:
标定所述第二轮廓在所述第二传感器对应的第二坐标系中的第一位置坐标;
将所述第一位置坐标转化为在所述第一传感器下对应的第一坐标系中的第二位置坐标;
基于所述第二位置坐标,将所述第一轮廓调整为所述第二轮廓。
4.根据权利要求1所述的图像处理方法,其特征在于,所述第一图像为目标视频中的一帧视频图像,所述基于第二轮廓,调整所述目标运动对象的第一轮廓,还包括:
接收用户对所述目标视频中的第一图像的第二输入;
响应于所述第二输入,基于所述第一图像中的目标运动对象的运动信息,确定所述第一图像中所述目标运动对象的目标像素偏移量,所述运动信息为由所述第二传感器采集的;
基于所述目标像素偏移量,将所述目标运动对象的第一轮廓替换为所述第二轮廓,并以所述第一图像中的背景图像填充所述第二轮廓外的背景图像区域。
5.根据权利要求1所述的图像处理方法,其特征在于,所述第二传感器为至少两个,所述基于第二轮廓,调整所述目标运动对象的第一轮廓,包括:
对至少两个所述第二传感器采集的至少两个第二轮廓进行坐标对齐和融合处理,生成第三轮廓;
基于所述第三轮廓,调整所述目标运动对象的第一轮廓。
6.一种图像处理装置,其特征在于,包括:
显示模块,用于显示第一图像,所述第一图像由第一传感器采集;
接收模块,用于接收用户对所述第一图像中的目标运动对象的第一输入;
处理模块,用于响应于所述第一输入,基于第二轮廓,调整所述目标运动对象的第一轮廓,生成第二图像,所述第二轮廓为由第二传感器采集的所述目标运动对象的轮廓。
7.根据权利要求6所述的图像处理装置,其特征在于,所述第一图像包括至少两个运动对象,
所述接收模块,还用于接收用户对所述至少两个运动对象中的目标运动对象的第一输入。
8.根据权利要求6所述的图像处理装置,其特征在于,所述第一图像为目标视频中的一帧视频图像,
所述接收模块,还用于接收用户对所述目标视频中的第一图像的第二输入;
所述处理模块,还用于:响应于所述第二输入,基于所述第一图像中的目标运动对象的运动信息,确定所述第一图像中所述目标运动对象的目标像素偏移量,所述运动信息为由所述第二传感器采集的;
基于所述目标像素偏移量,将所述目标运动对象的第一轮廓替换为所述第二轮廓,并以所述第一图像中的背景图像填充所述第二轮廓外的背景图像区域。
9.根据权利要求6所述的图像处理装置,其特征在于,所述第二传感器为至少两个,所述处理模块,还用于:
对至少两个所述第二传感器采集的至少两个第二轮廓进行坐标对齐和融合处理,生成第三轮廓;
基于所述第三轮廓,调整所述目标运动对象的第一轮廓。
10.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的图像处理方法的步骤。
CN202111433749.1A 2021-11-29 2021-11-29 图像处理方法、图像处理装置和电子设备 Pending CN114119668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111433749.1A CN114119668A (zh) 2021-11-29 2021-11-29 图像处理方法、图像处理装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111433749.1A CN114119668A (zh) 2021-11-29 2021-11-29 图像处理方法、图像处理装置和电子设备

Publications (1)

Publication Number Publication Date
CN114119668A true CN114119668A (zh) 2022-03-01

Family

ID=80371918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111433749.1A Pending CN114119668A (zh) 2021-11-29 2021-11-29 图像处理方法、图像处理装置和电子设备

Country Status (1)

Country Link
CN (1) CN114119668A (zh)

Similar Documents

Publication Publication Date Title
CN112153301B (zh) 拍摄方法和电子设备
CN112822412B (zh) 曝光方法、装置、电子设备和存储介质
CN111601032A (zh) 一种拍摄方法、装置及电子设备
CN113099122A (zh) 拍摄方法、装置、设备和存储介质
CN111614905A (zh) 图像处理方法、图像处理装置和电子设备
CN112734659A (zh) 图像校正方法、装置及电子设备
WO2023006009A1 (zh) 拍摄参数的确定方法、装置及电子设备
CN112422798A (zh) 拍照方法、装置、电子设备和存储介质
US20080151067A1 (en) Imaging Apparatus, Imaging Signal Processing Method, and Program
CN112508820A (zh) 图像处理方法、装置及电子设备
CN114286011B (zh) 对焦方法和装置
CN111145151A (zh) 一种运动区域确定方法及电子设备
CN114119668A (zh) 图像处理方法、图像处理装置和电子设备
CN113660420B (zh) 视频帧处理方法和视频帧处理装置
CN112565605B (zh) 图像显示方法、装置和电子设备
CN112672058B (zh) 拍摄方法及装置
CN112261262B (zh) 图像校准方法和装置、电子设备和可读存储介质
CN114339051A (zh) 拍摄方法、装置、电子设备和可读存储介质
CN113891018A (zh) 拍摄方法、装置及电子设备
CN113822812A (zh) 图像降噪方法和电子设备
CN112672056A (zh) 图像处理方法及装置
CN112492208B (zh) 拍摄方法和电子设备
US20240040248A1 (en) Video Processing Method and Apparatus, and Electronic Device
EP4280154A1 (en) Image blurriness determination method and device related thereto
CN113676657B (zh) 延时摄影方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 523859 first floor, building F, No. 255, Wusha Bubugao Avenue, Chang'an Town, Dongguan City, Guangdong Province

Applicant after: Guangdong Kexun Software Technology Co.,Ltd.

Address before: 523859 first floor, building F, No. 255, Wusha Bubugao Avenue, Chang'an Town, Dongguan City, Guangdong Province

Applicant before: Guangdong Weiwo Software Technology Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220413

Address after: 523863 No. 1, Weiwo Road, Chang'an Town, Dongguan City, Guangdong Province

Applicant after: VIVO MOBILE COMMUNICATION Co.,Ltd.

Address before: 523859 first floor, building F, No. 255, Wusha Bubugao Avenue, Chang'an Town, Dongguan City, Guangdong Province

Applicant before: Guangdong Kexun Software Technology Co.,Ltd.

TA01 Transfer of patent application right