CN114979454B - 一种一体机显示图像调整方法、装置、设备及存储介质 - Google Patents

一种一体机显示图像调整方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114979454B
CN114979454B CN202110206851.1A CN202110206851A CN114979454B CN 114979454 B CN114979454 B CN 114979454B CN 202110206851 A CN202110206851 A CN 202110206851A CN 114979454 B CN114979454 B CN 114979454B
Authority
CN
China
Prior art keywords
display
current total
rotation angle
current
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110206851.1A
Other languages
English (en)
Other versions
CN114979454A (zh
Inventor
敖进元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shichuang Display Technology Co ltd
Original Assignee
Guangzhou Shichuang Display Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shichuang Display Technology Co ltd filed Critical Guangzhou Shichuang Display Technology Co ltd
Priority to CN202110206851.1A priority Critical patent/CN114979454B/zh
Publication of CN114979454A publication Critical patent/CN114979454A/zh
Application granted granted Critical
Publication of CN114979454B publication Critical patent/CN114979454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

本申请实施例公开了一种一体机显示图像调整方法、装置、设备及存储介质。该方法包括:获取三轴加速度传感器采集的显示器转动角度和转动方向,获取人物头像在对应的显示图像中的位置;基于转动角度和转动方向,确定当前总转动角度和当前总转动方向;确认当前总转动角度在预设的有效角度范围内时,根据头像位置调整原始图像的当前裁剪参数;确认当前总转动角度超出有效角度范围时,根据当前总转动角度、当前总转动方向以及头像位置调整原始图像的当前裁剪参数;根据调整后的裁剪参数对原始图像进行裁剪,得到调整后的显示图像,并初始化当前总转动角度和当前总转动方向。通过该方法解决现有技术调整摇摆不定的问题,提高用户使用体验。

Description

一种一体机显示图像调整方法、装置、设备及存储介质
技术领域
本申请实施例涉及一体机技术领域,尤其涉及一种一体机显示图像调整方法、装置、设备及存储介质。
背景技术
传统一体机的摄像头和屏幕设置在同一个平面,当屏幕前后转动时,摄像头合适的摄像区域也会跟随转动,此时摄像头的摄像区域会发生变化,拍摄效果下降。当屏幕左右旋转时,摄像头也会随着屏幕旋转一定角度,摄像头采集到的图像也是旋转一定角度的,如果此时正在通过一体机进行视频会议,那么视频会议的另一方看到的图像也是旋转一定角度,影响用户使用体验。对于拍摄效果下降,现有的解决方案是通过人脸识别技术来识别显示图像中的人脸,调整显示图像以使得人脸在显示图像的中间位置。
发明人发现在通过人脸识别技术进行显示图像调整时,如果显示图像中的人数较多,显示图像的调整容易摆动不定,可靠性较差。而且人脸识别显示图像调整技术无法解决图像倾斜的问题,其只能将人脸移动到屏幕中心,却无法调整人脸旋转到正确的角度。
发明内容
本申请实施例提供一种一体机显示图像调整方法、装置、设备及存储介质,能够解决现有技术调整摇摆不定的问题,以及解决图像倾斜的问题。
在第一方面,本申请实施例提供了一种一体机显示图像调整方法,包括:
获取三轴加速度传感器采集的显示器转动角度和转动方向,基于所述显示器的显示图像获取人物头像在对应的显示图像中的位置,所述显示图像由对摄像头采集的原始图像进行裁剪得到;
基于所述转动角度和所述转动方向,确定当前总转动角度和当前总转动方向;
确认所述当前总转动角度在预设的有效角度范围内时,根据头像位置调整所述原始图像的当前裁剪参数;
确认所述当前总转动角度超出所述有效角度范围时,根据所述当前总转动角度、所述当前总转动方向以及所述头像位置调整所述原始图像的当前裁剪参数;
根据调整后的裁剪参数对所述原始图像进行裁剪,得到调整后的显示图像,并初始化所述当前总转动角度和所述当前总转动方向。
在第二方面,本申请实施例提供了一种一体机显示图像调整装置,包括:
数据获取模块,被配置为获取三轴加速度传感器采集的显示器转动角度和转动方向,基于所述显示器的显示图像获取人物头像在对应的显示图像中的位置,所述显示图像由对摄像头采集的原始图像进行裁剪得到;
数据计算模块,被配置为基于所述转动角度和所述转动方向,确定当前总转动角度和当前总转动方向;
第一参数确定模块,被配置为确认所述当前总转动角度在预设的有效角度范围内时,根据头像位置调整所述原始图像的当前裁剪参数;
第二参数确定模块,被配置为确认所述当前总转动角度超出所述有效角度范围时,根据所述当前总转动角度、所述当前总转动方向以及所述头像位置调整所述原始图像的当前裁剪参数;
第一调整模块,被配置为根据调整后的裁剪参数对所述原始图像进行裁剪,得到调整后的显示图像,并初始化所述当前总转动角度和所述当前总转动方向。
在第三方面,本申请实施例提供了一种电子设备,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的一体机显示图像调整方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的一体机显示图像调整方法。
本申请实施例通过确定获取三轴加速度传感器采集的显示器转动角度和转动方向,基于显示器的显示图像获取人物头像在对应的显示图像中的位置,显示图像由对摄像头采集的原始图像进行裁剪得到;基于转动角度和转动方向,确定当前总转动角度和当前总转动方向;确认当前总转动角度在预设的有效角度范围内时,根据头像位置调整原始图像的当前裁剪参数;确认当前总转动角度超出有效角度范围时,根据当前总转动角度、当前总转动方向以及头像位置调整原始图像的当前裁剪参数;根据调整后的裁剪参数对原始图像进行裁剪,得到调整后的显示图像,并初始化当前总转动角度和当前总转动方向。通过上述技术手段,通过三轴加速度传感器监测显示器的转动角度,在转动角度超出阈值时,通过人物头像识别功能确定人物头像在显示图像中的位置,并计算出头像到显示器的水平中心线的偏移距离,在偏移距离超出阈值时,结合转动角度和偏移距离调整原始图像的裁剪区域,以使头像处于显示器的中心区域,通过双重核对调整,提高显示图像的调整准确率。除此之外,对于包括多个头像的显示图像,则将计算所有头像的平均偏移距离,通过平均偏移距离代替显示图像中的头像区域,再结合转动角度,限制显示图像的调整范围,显示图像不易发生调整变动,提高调整稳定性,以解决现有技术调整摇摆不定的问题。若摄像头采集的原始图像出现倾斜的情况,通过三轴加速度传感器监测倾斜角度,从而可以根据倾斜角度调整原始图像成正常的状态,以避免视频会议的另一方观看倾斜图像,提高用户使用体验。
附图说明
图1是本申请实施例一提供的一种一体机显示图像调整方法的流程图;
图2是本申请实施例一提供的一体机的装置示意图;
图3是本申请实施例一提供的一体机屏幕绕Y轴转动前的示意图;
图4是一体机屏幕绕Y轴转动前摄像头采集的原始图像;
图5是本申请实施例一提供的一体机屏幕绕Y轴转动后的示意图;
图6是一体机屏幕绕Y轴转动后摄像头采集的原始图像
图7是原始图像的裁剪参数一种可选的具体调整流程图;
图8是一体机屏幕绕Y轴转动后的显示图像;
图9是调整后的显示图像;
图10是原始图像的裁剪参数另一种可选的具体调整流程图;
图11是头像与显示图像的位置关系一种可选的具体判断流程图;
图12是裁剪参数的一种可选的具体确定流程图;
图13是本申请实施例一提供的另一种一体机显示图像调整方法的流程图;
图14是本申请实施例一提供的一体机屏幕绕X轴转动前的示意图;
图15是本申请实施例一提供的一体机屏幕绕X轴转动后的示意图;
图16是本申请实施例二提供的一种一体机显示图像调整装置的结构示意图;
图17是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一体机显示图像调整、装置、设备及存储介质,旨在通过确定获取三轴加速度传感器采集的显示器转动角度和转动方向,基于显示器的显示图像获取人物头像在对应的显示图像中的位置,显示图像由对摄像头采集的原始图像进行裁剪得到;基于转动角度和转动方向,确定当前总转动角度和当前总转动方向;确认当前总转动角度在预设的有效角度范围内时,根据头像位置调整原始图像的当前裁剪参数;确认当前总转动角度超出有效角度范围时,根据当前总转动角度、当前总转动方向以及头像位置调整原始图像的当前裁剪参数;根据调整后的裁剪参数对原始图像进行裁剪,得到调整后的显示图像,并初始化当前总转动角度和当前总转动方向。相对于传统的显示图像调整技术,其在通过人物头像进行显示图像进行调整时,如果显示图像中的人数较多,显示图像的调整容易摆动不定,可靠性较差。而且传统的调整技术无法解决图像倾斜的问题,其只能将人脸移动到屏幕中心,却无法调整人脸旋转到正确的角度,如果此时正在通过一体机进行视频会议,那么视频会议的另一方看到的倾斜图像,严重影响用户使用体验。基于此,本申请实施例提供一种一体机显示图像调整、装置、设备及存储介质,以解决现有技术调整摇摆不定的问题,以及解决图像倾斜的问题。
实施例一:
图1是本申请实施例一提供的一种一体机显示图像调整方法的流程图。实施例中提供的一体机显示图像调整方法可以由一体机显示图像调整设备执行,该一体机显示图像调整设备可以通过软件和/或硬件的方式实现,该一体机显示图像调整设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。
示例性的,参考图2,图2是本申请实施例一提供的一体机的装置示意图。如图2所示,一体机包括:摄像头、三轴加速度传感器、处理器和显示器,摄像头用于采集原始图像,三轴加速度传感器用于采集转动数据,即采集显示器转动角度和转动方向,显示器用于显示原始图像中的显示区域,显示区域对应的图像即显示器的显示图像,处理器用于根据转动数据和原始图像,调整原始图像的显示区域,以将人物头像调整至显示图像的中心区域。
为了便于理解,实施例中以一体机为一体机显示图像调整设备进行示例性描述。具体的,参考图1,本申请实施例提供的一体机显示图像调整方法包括:
S101、获取三轴加速度传感器采集的显示器转动角度和转动方向,基于显示器的显示图像获取人物头像在对应的显示图像中的位置,显示图像由对摄像头采集的原始图像进行裁剪得到。
示例性的,参考图3,图3是本申请实施例一提供的一体机屏幕绕Y轴转动前的示意图。如图3所示,一体机包括:转轴、支架、显示器、三轴加速度传感器和摄像头,显示器通过转轴安装在支架上,摄像头和三轴加速度传感器安装在显示器上。其中,显示器与X轴垂直,支架与Z轴平行,Y轴、X轴和Z轴两两垂直,坐标原点为转轴。显示器可以绕着Y轴顺时针或逆时针旋转,也可以绕着X轴顺时针或逆时针旋转,可理解的,显示器绕着Y轴旋转后,显示器不再与X轴垂直。当显示器旋动时,显示器带动安装在内部的三轴加速度传感器转动,三轴加速度传感器检测到自身分别在Y轴、X轴和Z轴方向上的加速度,根据Y轴、X轴和Z轴方向上的加速度推算出自身的转动角度和转动方向。由于三轴加速度传感器和显示器以及摄像头是同步转动的,可将三轴加速度传感器测量到的转动角度和转动方向作为显示器和摄像头的转动角度和转动方向,进而可以通过摄像头的转动角度和转动方向,确定摄像头采集的原始图像的变化情况。具体的,假设图3中的显示器的状态为初始状态,即显示器与X轴垂直,假设初始显示器的角度为0°,方向为正中间。
需要说明的是,本申请实施例采用的摄像头为广角摄像头,其可以拍摄到的原始图像非常广,因此在一体机的显示器中需要把原始图像中最合适的区域裁剪出来,将裁剪出来的区域中的图像显示在显示器的屏幕上。示例性的,参考图4,图4是一体机屏幕绕Y轴转动前摄像头采集的原始图像。如图4所示,假设原始图像的左下角为坐标轴原点,预先设定显示区域为(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)四个坐标点围成的区域,在该显示区域中识别到一个人物头像。当摄像头发生转动时,摄像头采集的原始图像发生变化,显示器的显示图像在原始图像中的坐标发生变化,因此需要根据显示图像在原始图像中的坐标调整原始图像的显示区域,以保持显示器中的显示图像不变或变化不大,从而实现在摄像头发生转动时显示图像也能保持不变。
进一步的,参考图5,图5是本申请实施例一提供的一种一体机屏幕绕Y轴转动后的示意图。如图5所示,假设显示器绕Y轴顺时针旋转θ角,摄像头随着显示器一起转动,摄像头的视角向上移动一定距离,也往后移动一定距离,由于往后移动会增大摄像头的视野,摄像头视野增大对显示图像中的人物画像的位置没有影响,只影响其大小。因此本申请实施例忽略摄像头向后移动对显示图像的影响,重点关注摄像头视角向上移动对显示图像的影响。示例性的,参考图6,图6是一体机屏幕绕Y轴转动后摄像头采集的原始图像。如图6所示,由于摄像头的视角向上移动,转动前的原始图像中的画面在转动后的原始图像中会往下移动,甚至部分画面消失,增加了新的画面。但由于原始图像的裁剪坐标没有发生变化,此时显示图像中的头像也向下移动,而不再在显示图像的中心区域。因此,需要调整裁剪坐标,以保证头像在显示图像的中心区域。
S102、基于转动角度和转动方向,确定当前总转动角度和当前总转动方向。
显示图像中的头像位置发生变化是由于显示器的转动导致的,因此可根据显示器的转动角度和转动方向,确定显示图像的调整策略。但是并非每一次显示器转动时都需要对显示图像进行调整,如果显示图像的变化没有超过阈值,则只记录当前显示器的转动角度和转动方向,以便下次调整显示器后能够更加准确的计算出原始图像的变化情况。具体的,基于转动方向和上一次调整时记录的总转动方向,将转动角度和上一次调整时记录的总转动角度进行计算,得到当前总转动角度和当前总转动方向。示例性的,参考图5,图5中的显示器是由图4中的显示器绕Y轴旋转θ°得到,此时显示器的总转动角度为θ°,总转动方向为绕Y轴顺时针转动方向。
S103、确认当前总转动角度在预设的有效角度范围内时,根据头像位置调整原始图像的当前裁剪参数。
示例性的,参考图5,假设预设的有效角度范围为(-γ°,+γ°),此时显示器的总转动角度为θ°,当γ°≤θ°时,表明显示器的转动变化不大,如果显示图像中的人物头像不在中心区域时,显示器的转动并非影响显示图像的主要因素,此时需要通过头像位置调整原始图像的裁剪坐标。
具体的,参考图7,图7是原始图像的裁剪参数一种可选的具体调整流程图。如图7所示,原始图像的裁剪参数的调整流程包括:
S1031、判断头像到显示器的水平中心线的偏移距离是否在预设的有效距离范围内;
S1032、确认偏移距离在有效距离范围内时,记录当前总转动方向和当前总转动角度;
S1033、确认偏移距离超出有效距离范围时,根据偏移距离和头像在显示器的水平中心线的上方或下方的偏移方向调整当前裁剪参数。
示例性的,参考图8,图8是一体机屏幕绕Y轴转动后的显示图像。如图8所示,通过目标检测技术识别显示图像中的头像,头像位于目标检测框内,以目标检测框的中心点坐标作为头像坐标,计算出头像到显示器的水平中心线的偏移距离为a。假设偏离阈值为b,当a≤b时,头像到水平中心线的偏移距离在有效距离范围内,表明此时头像还在显示器的中心区域,因此无需调整显示图像。但此时显示器发生转动变化的,记录当前显示器的总转动角度和总转动方向。当a>b时,头像到水平中心线的偏移距离超出有效距离范围,表明此时头像不在显示器的中心区域,此时根据偏移距离和头像在水平中心线下方的偏移方向,调整原始图像的显示区域坐标。示例性的,参考图9,图9是调整后的显示图像。如图9所示,由于头像与水平中心线的偏移距离为a,为将头像移动到显示器的中心区域,可将原始图像的显示区域坐标向下移动a,调整后的显示区域坐标为(x1,y1-a)、(x2,y2-a)、(x3,y3-a)和(x4,y4-a)。
S104、确认当前总转动角度超出有效角度范围时,根据当前总转动角度、当前总转动方向以及头像位置调整原始图像的当前裁剪参数。
示例性的,当γ°>θ°时,表明显示器的转动变化较大,如果显示图像中的人物头像不在中心区域时,显示器的转动是影响显示图像的主要因素,此时需要根据显示器的总转动角度和总转动方向调整原始图像的裁剪坐标。
具体的,参考图10,图10是原始图像的裁剪参数另一种可选的具体调整流程图。如图10所示,原始图像的裁剪参数的调整流程包括:
S1041、判断头像到显示器的水平中心线的偏移距离是否在预设的有效距离范围内。
显示图像中可能包含多个头像,由于一个头像对应一个头像坐标,对应一个偏移距离和偏移方向,因此在显示图像中包含多个头像时,需确定一个坐标点来表征头像区域,通过头像区域与显示器的中心区域的关系,确认是否需要调整显示图像。
具体的,参考图11,图11是头像与显示图像的位置关系一种可选的具体判断流程图。如图11所示,头像与显示图像的位置关系的判断流程包括:
S10411、确定显示图像中每个头像到显示器的水平中心线的偏移距离,以及头像在显示器的水平中心线的上方或下方的偏移方向;
S10412、基于显示图像中所有头像的偏移方向,对显示图像中所有头像的偏移距离进行平均值计算,得到平均偏移距离和平均偏移方向;
S10413、将平均偏移距离与有效距离范围进行比较,判断平均偏移距离是否在有效距离范围内。
示例性的,计算显示图像中所有头像的平均偏移距离,其中,偏移方向决定偏移距离求和过程中的正负号。通过平均偏移距离表征头像区域与水平中心线的偏移距离,通过平均偏移方向表征头像区域与水平中心线的偏移方向,此时头像区域可看作是单个头像,因此在计算显示区域坐标时,可根据单个头像的计算规则进行计算。
S1042、确认偏移距离在有效距离范围内时,记录当前总转动方向和当前总转动角度。
具体的,参考图8,头像到显示器的水平中心线的偏移距离为a。假设偏离阈值为b,当a≤b时,头像到水平中心线的偏移距离在有效距离范围内,表明此时头像还在显示器的中心区域,因此无需调整显示图像。但此时显示器发生转动变化的,记录当前显示器的总转动角度和总转动方向。
S1043、确认偏移距离超出有效距离范围时,根据偏移距离和头像在显示器的水平中心线的上方或下方的偏移方向调整当前裁剪参数,或根据当前总转动方向和当前总转动角度调整当前裁剪参数。
具体的,参考图8,头像到显示器的水平中心线的偏移距离为a。假设偏离阈值为b,当a>b时,头像到水平中心线的偏移距离超出有效距离范围,表明此时头像不在显示器的中心区域,此时根据偏移距离和头像在水平中心线下方的偏移方向,调整原始图像的显示区域坐标,或根据显示器的总转动方向和总转动角度,调整原始图像的显示区域坐标。其中,参考图5,此时显示器的总转动角度为θ°,总转动方向为绕Y轴顺时针转动方向,可确定摄像头的视野向上移动,根据总转动角度为θ°确定摄像头视野的移动距离c。且由于摄像头的视野向上移动,原始图像的画面向下移动,即人物头像向下移动,为将头像调整至显示器的中心区域,需将原始图像的显示区域坐标向下移动c,调整后的显示区域坐标为(x1,y1-c)、(x2,y2-c)、(x3,y3-c)和(x4,y4-c)。
进一步的,参考图12,图12是裁剪参数的一种可选的具体确定流程图。如图12所示,裁剪参数的确定流程包括:
S10431、获取根据偏移距离和偏移方向确定的第一裁剪参数,以及获取根据当前总转动方向和当前总转动角度确定的第二裁剪参数;
S10432、分别根据第一裁剪参数和第二裁剪参数对原始图像进行裁剪,对应得到第一显示图像和第二显示图像;
S10433、将第一显示图像和第二显示图像进行比较,将图像中头像距离显示器的水平中心线更近的一方作为最优显示图像,并将最优显示图像对应的裁剪参数作为调整后的裁剪参数。
示例性的,在偏移距离超出有效距离范围时,可通过两种调整策略对显示图像进行调整,可根据两种调整策略的调整效果,确定最优的调整策略,根据最优的调整策略对显示图像进行调整。
S105、根据调整后的裁剪参数对原始图像进行裁剪,得到调整后的显示图像,并初始化当前总转动角度和当前总转动方向。
示例性的,根据调整后的显示区域坐标对原始图像进行裁剪,即可得到调整后的显示图像。由于调整后的显示图像的人物头像已处于显示器的中心位置,而本方案中记录显示器的总转动角度和总转动方向是为了便于根据显示器的状态判断以及调整人物头像与显示器的中心区域的关系,而当人物头像调整至中心位置后,当前记录的总转动角度和总转动方向已无效,需要对其进行初始化,以避免其影响下一次调整。
另一方面,图13是本申请实施例一提供的另一种一体机显示图像调整方法的流程图。参考图13,一体机显示图像调整方法包括:
S201、获取三轴加速度传感器采集的显示器第一转动方向和第一转动角度;
S202、基于第一转动方向和第一转动角度,确定当前总的第一转动角度和当前总的第一转动角度;
S203、确认当前总的第一转动角度在对应的有效角度范围内时,记录当前总的第一转动角度和当前总的第一转动方向;
S204、确认当前总的第一转动角度超出对应的有效角度范围时,根据当前总的第一转动角度和当前总的第一转动方向,确定原始图像的转动调整方向和转动调整角度;
S205、根据转动调整方向和转动调整角度,将原始图像进行旋转,并根据当前裁剪参数对旋转后的原始图像进行裁剪,得到旋转后的显示图像;
S206、初始化当前总的第一转动角度和当前总的第一转动方向。
示例性的,参考图14,图14是本申请实施例一提供的一体机屏幕绕X轴转动前的示意图。如图14所示,假设图中的显示器为初始状态,其摄像头位于显示器的上沿中间。进一步的,参考图15,图15是本申请实施例一提供的一体机屏幕绕X轴转动后的示意图。如图15所示,将初始状态的显示器绕X轴顺时针旋转90°,摄像头跟着显示器顺时针旋转90°,此时摄像头位于显示器的右沿中间。由于摄像头旋转90°,其采集的原始图像也旋转90°,假设此时显示器的总转动角度已超出了预设的有效角度范围,需将原始图像进行旋转调整,以将其还原至正常角度。具体的,将总转动角度作为转动调整角度,将总转动方向的相反方向作为转动调整方向,此时显示器的总转动角度为90°,总转动方向为顺时针旋转方向,那么转动调整角度为90°,转动调整方向为逆时针旋转方向。根据转动调整角度和转动调整方向对原始图像进行旋转,即可得到正常角度的原始图像。由于旋转后的原始图像已为正常角度,而本申请实施例中记录显示器绕X轴的总转动角度和总转动方向是为了便于根据显示器的状态判断以及调整原始图像的角度,而当原始图像调整至正常角度后,当前记录的显示器绕X轴的总转动角度和总转动方向已无效,需要对其进行初始化,以避免其影响下一次调整。
需要说明的是,由于显示器绕Y轴和绕X轴旋转时,对应不同的调整策略,其在记录显示器的转动角度和转动方向时,需分开记录,以免发生混淆。
进一步的,在原始图像调整至正常角度后,通过当前的显示区域坐标对调整后的原始图像进行裁剪,得到显示图像。但是由于摄像头是出现转动的,其采集的原始图像虽然已经旋转至正常角度,但其原始图像的画面还是发生变化的,此时需要根据人物头像和显示器的水平中心线的偏移距离和偏移方向,判断是否调整显示区域坐标。
如果显示器同时绕着Y轴和X轴进行旋转,则先将原始图像调整至正常角度,再调整显示区域坐标。
综上,通过三轴加速度传感器监测显示器的转动角度,在转动角度超出阈值时,通过人物头像识别功能确定人物头像在显示图像中的位置,并计算出头像到显示器的水平中心线的偏移距离,在偏移距离超出阈值时,结合转动角度和偏移距离调整原始图像的裁剪区域,以使头像处于显示器的中心区域,通过双重核对调整,提高显示图像的调整准确率。除此之外,对于包括多个头像的显示图像,则将计算所有头像的平均偏移距离,通过平均偏移距离代替显示图像中的头像区域,再结合转动角度,限制显示图像的调整范围,显示图像不易发生调整变动,提高调整稳定性,以解决现有技术调整摇摆不定的问题。若摄像头采集的原始图像出现倾斜的情况,通过三轴加速度传感器监测倾斜角度,从而可以根据倾斜角度调整原始图像成正常的状态,以避免视频会议的另一方观看倾斜图像,提高用户使用体验。
实施例二
图16为本申请实施例二提供的一种一体机显示图像调整装置的结构示意图。参考图16,该一体机显示图像调整装置包括:数据获取模块31、数据计算模块32、第一参数确定模块33、第二参数确定模块34和第一调整模块35。
其中,数据获取模块31,被配置为获取三轴加速度传感器采集的显示器转动角度和转动方向,基于显示器的显示图像获取人物头像在对应的显示图像中的位置,显示图像由对摄像头采集的原始图像进行裁剪得到;
数据计算模块32,被配置为基于转动角度和转动方向,确定当前总转动角度和当前总转动方向;
第一参数确定模块33,被配置为确认当前总转动角度在预设的有效角度范围内时,根据头像位置调整原始图像的当前裁剪参数;
第二参数确定模块34,被配置为确认当前总转动角度超出有效角度范围时,根据当前总转动角度、当前总转动方向以及头像位置调整原始图像的当前裁剪参数;
第一调整模块35,被配置为根据调整后的裁剪参数对原始图像进行裁剪,得到调整后的显示图像,并初始化当前总转动角度和当前总转动方向。
在上述实施例的基础上,数据计算模块包括:总转动角度和方向计算单元,被配置为基于转动方向和上一次调整时记录的总转动方向,将转动角度和上一次调整时记录的总转动角度进行计算,得到当前总转动角度和当前总转动方向。
在上述实施例的基础上,第一参数确定模块包括:第一判断单元,被配置为判断头像到显示器的水平中心线的偏移距离是否在预设的有效距离范围内;第一记录单元,被配置为确认偏移距离在有效距离范围内时,记录当前总转动方向和当前总转动角度;第一参数确定单元,被配置为确认偏移距离超出有效距离范围时,根据偏移距离和头像在显示器的水平中心线的上方或下方的偏移方向调整当前裁剪参数。
在上述实施例的基础上,第二参数确定模块包括:第二判断单元,被配置为判断头像到显示器的水平中心线的偏移距离是否在预设的有效距离范围内;第二记录单元,被配置为确认偏移距离在有效距离范围内时,记录当前总转动方向和当前总转动角度;第二参数确定单元,被配置为确认偏移距离超出有效距离范围时,根据偏移距离和头像在显示器的水平中心线的上方或下方的偏移方向调整当前裁剪参数,或根据当前总转动方向和当前总转动角度调整当前裁剪参数。
在上述实施例的基础上,显示图像中包括多个头像;对应的,第一判断单元和第二判断单元包括:头像位置确定子单元,被配置为确定显示图像中每个头像到显示器的水平中心线的偏移距离,以及头像在显示器的水平中心线的上方或下方的偏移方向;头像区域位置确定子单元,被配置为基于显示图像中所有头像的偏移方向,对显示图像中所有头像的偏移距离进行平均值计算,得到平均偏移距离和平均偏移方向;判断子单元,被配置为将平均偏移距离与有效距离范围进行比较,判断平均偏移距离是否在有效距离范围内。
在上述实施例的基础上,第二确定单元包括:裁剪参数获取子单元,被配置为获取根据偏移距离和偏移方向确定的第一裁剪参数,以及获取根据当前总转动方向和当前总转动角度确定的第二裁剪参数;裁剪预处理子单元,被配置为分别根据第一裁剪参数和第二裁剪参数对原始图像进行裁剪,对应得到第一显示图像和第二显示图像;比较子单元,被配置为将第一显示图像和第二显示图像进行比较,将图像中头像距离显示器的水平中心线更近的一方作为最优显示图像,并将最优显示图像对应的裁剪参数作为调整后的裁剪参数。
在上述实施例的基础上,转动方向包括绕着与显示器的显示屏垂直的轴线旋转的第一转动方向,显示器在第一转动方向上旋转的角度为第一转动角度;对应的,一体机显示图像调整装置还包括:数据记录模块,被配置为确认当前总的第一转动角度在对应的有效角度范围内时,记录当前总的第一转动角度和当前总的第一转动方向;转动调整参数确定模块,被配置为确认当前总的第一转动角度超出对应的有效角度范围时,根据当前总的第一转动角度和当前总的第一转动方向,确定原始图像的转动调整方向和转动调整角度;第二调整模块,被配置为根据转动调整方向和转动调整角度,将原始图像进行旋转,并根据当前裁剪参数对旋转后的原始图像进行裁剪,得到旋转后的显示图像;初始化模块,被配置为初始化当前总的第一转动角度和当前总的第一转动方向。
上述,通过三轴加速度传感器监测显示器的转动角度,在转动角度超出阈值时,通过人物头像识别功能确定人物头像在显示图像中的位置,并计算出头像到显示器的水平中心线的偏移距离,在偏移距离超出阈值时,结合转动角度和偏移距离调整原始图像的裁剪区域,以使头像处于显示器的中心区域,通过双重核对调整,提高显示图像的调整准确率。除此之外,对于包括多个头像的显示图像,则将计算所有头像的平均偏移距离,通过平均偏移距离代替显示图像中的头像区域,再结合转动角度,限制显示图像的调整范围,显示图像不易发生调整变动,提高调整稳定性,以解决现有技术调整摇摆不定的问题。若摄像头采集的原始图像出现倾斜的情况,通过三轴加速度传感器监测倾斜角度,从而可以根据倾斜角度调整原始图像成正常的状态,以避免视频会议的另一方观看倾斜图像,提高用户使用体验。
本申请实施例提供的一体机显示图像调整装置包含在一体机显示图像调整设备中,且可用于执行上述任意实施例提供的一体机显示图像调整方法,具备相应的功能和有益效果。
实施例三
图17为本申请实施例三提供的一种电子设备的结构示意图。如图17所示,该电子设备包括处理器40、存储器41、输入装置42、输出装置43以及显示屏44;电子设备中处理器40的数量可以是一个或多个,图17中以一个处理器40为例;电子设备中的处理器40、存储器41、输入装置42、输出装置43以及显示屏44可以通过总线或其他方式连接,图17中以通过总线连接为例。
存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的一体机显示图像调整方法对应的程序指令/模块(例如,一体机显示图像调整装置中的数据获取模块31、数据计算模块32、第一参数确定模块33、第二参数确定模块34和第一调整模块35)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述一体机显示图像调整方法。
存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括扬声器等音频输出设备。显示屏44为具有触摸功能的显示屏,其可以是电容屏、电磁屏或者红外屏。可选的,当显示屏44为红外屏时,其还包括红外触摸框,该红外触摸框设置在显示屏44的四周,其还可以用于接收红外信号,并将该红外信号发送至处理器40或者其他设备。
上述电子设备包含一体机显示图像调整方法,可以用于执行任意一体机显示图像调整方法,具备相应的功能和有益效果。
实施例四
本申请实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种一体机显示图像调整方法,该方法包括:
获取三轴加速度传感器采集的显示器转动角度和转动方向,基于显示器的显示图像获取人物头像在对应的显示图像中的位置,显示图像由对摄像头采集的原始图像进行裁剪得到;
基于转动角度和转动方向,确定当前总转动角度和当前总转动方向;
确认当前总转动角度在预设的有效角度范围内时,根据头像位置调整原始图像的当前裁剪参数;
确认当前总转动角度超出有效角度范围时,根据当前总转动角度、当前总转动方向以及头像位置调整原始图像的当前裁剪参数;
根据调整后的裁剪参数对原始图像进行裁剪,得到调整后的显示图像,并初始化当前总转动角度和当前总转动方向。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的一体机显示图像调整方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述基于一体机显示图像调整装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种一体机显示图像调整方法,特征在于,包括:
获取三轴加速度传感器采集的显示器转动角度和转动方向,基于所述显示器的显示图像获取人物头像在对应的显示图像中的位置,所述显示图像由对摄像头采集的原始图像进行裁剪得到;
基于所述转动角度和所述转动方向,确定当前总转动角度和当前总转动方向;
确认所述当前总转动角度在预设的有效角度范围内时,根据头像位置调整所述原始图像的当前裁剪参数;
确认所述当前总转动角度超出所述有效角度范围时,根据所述当前总转动角度、所述当前总转动方向以及所述头像位置调整所述原始图像的当前裁剪参数;
根据调整后的裁剪参数对所述原始图像进行裁剪,得到调整后的显示图像,并初始化所述当前总转动角度和所述当前总转动方向;
其中,所述根据所述当前总转动角度、所述当前总转动方向以及所述头像位置调整所述原始图像的当前裁剪参数,包括:
根据偏移距离和所述头像在所述显示器的水平中心线的上方或下方的偏移方向调整所述当前裁剪参数,或根据所述当前总转动方向和所述当前总转动角度调整所述当前裁剪参数;所述偏移距离为所述头像到所述显示器的水平中心线的距离。
2.根据权利要求1所述的方法,其特征在于,所述基于所述转动角度和所述转动方向,确定当前总转动角度和当前总转动方向,包括:
基于所述转动方向和上一次调整时记录的总转动方向,将所述转动角度和所述上一次调整时记录的总转动角度进行计算,得到当前总转动角度和当前总转动方向。
3.根据权利要求1所述的方法,其特征在于,所述根据头像位置调整所述原始图像的当前裁剪参数,包括:
判断所述头像到所述显示器的水平中心线的偏移距离是否在预设的有效距离范围内;
确认所述偏移距离在所述有效距离范围内时,记录所述当前总转动方向和所述当前总转动角度;
确认所述偏移距离超出所述有效距离范围时,根据所述偏移距离和所述头像在所述显示器的水平中心线的上方或下方的偏移方向调整所述当前裁剪参数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述当前总转动角度、所述当前总转动方向以及头所述像位置调整所述原始图像的当前裁剪参数,具体包括:
判断所述头像到所述显示器的水平中心线的偏移距离是否在预设的有效距离范围内;
确认所述偏移距离在所述有效距离范围内时,记录所述当前总转动方向和所述当前总转动角度;
确认所述偏移距离超出所述有效距离范围时,根据所述偏移距离和所述头像在所述显示器的水平中心线的上方或下方的偏移方向调整所述当前裁剪参数,或根据所述当前总转动方向和所述当前总转动角度调整所述当前裁剪参数。
5.根据权利要求3和4任一所述的方法,其特征在于,所述显示图像中包括多个头像;
对应的,所述判断所述头像到所述显示器的水平中心线的偏移距离是否在预设的有效距离范围内,包括:
确定所述显示图像中每个头像到所述显示器的水平中心线的偏移距离,以及所述头像在所述显示器的水平中心线的上方或下方的偏移方向;
基于所述显示图像中所有头像的偏移方向,对所述显示图像中所有头像的偏移距离进行平均值计算,得到平均偏移距离和平均偏移方向;
将所述平均偏移距离与所述有效距离范围进行比较,判断所述平均偏移距离是否在所述有效距离范围内。
6.根据权利要求4所述的方法,其特征在于,在所述根据所述偏移距离和所述头像位置调整所述当前裁剪参数,或根据所述当前总转动方向和所述当前总转动角度调整所述当前裁剪参数中,还包括:
获取根据所述偏移距离和所述偏移方向确定的第一裁剪参数,以及获取根据所述当前总转动方向和所述当前总转动角度确定的第二裁剪参数;
分别根据所述第一裁剪参数和所述第二裁剪参数对所述原始图像进行裁剪,对应得到第一显示图像和第二显示图像;
将所述第一显示图像和所述第二显示图像进行比较,将图像中头像距离所述显示器的水平中心线更近的一方作为最优显示图像,并将所述最优显示图像对应的裁剪参数作为调整后的裁剪参数。
7.根据权利要求1所述的方法,其特征在于,所述转动方向包括绕着与所述显示器的显示屏垂直的轴线旋转的第一转动方向,所述显示器在所述第一转动方向上旋转的角度为第一转动角度;
对应的,在所述确定当前总转动角度和当前总转动方向之后,还包括:
确认当前总的第一转动角度在对应的有效角度范围内时,记录当前总的第一转动角度和当前总的第一转动方向;
确认当前总的第一转动角度超出对应的有效角度范围时,根据所述当前总的第一转动角度和所述当前总的第一转动方向,确定所述原始图像的转动调整方向和转动调整角度;
根据所述转动调整方向和所述转动调整角度,将所述原始图像进行旋转,并根据所述当前裁剪参数对旋转后的原始图像进行裁剪,得到旋转后的显示图像;
初始化所述当前总的第一转动角度和所述当前总的第一转动方向。
8.一种一体机显示图像调整装置,其特征在于,包括:
数据获取模块,被配置为获取三轴加速度传感器采集的显示器转动角度和转动方向,基于所述显示器的显示图像获取人物头像在对应的显示图像中的位置,所述显示图像由对摄像头采集的原始图像进行裁剪得到;
数据计算模块,被配置为基于所述转动角度和所述转动方向,确定当前总转动角度和当前总转动方向;
第一参数确定模块,被配置为确认所述当前总转动角度在预设的有效角度范围内时,根据头像位置调整所述原始图像的当前裁剪参数;
第二参数确定模块,被配置为确认所述当前总转动角度超出所述有效角度范围时,根据所述当前总转动角度、所述当前总转动方向以及所述头像位置调整所述原始图像的当前裁剪参数;其中,所述第二参数确定模块还包括:根据偏移距离和所述头像在所述显示器的水平中心线的上方或下方的偏移方向调整所述当前裁剪参数,或根据所述当前总转动方向和所述当前总转动角度调整所述当前裁剪参数;所述偏移距离为所述头像到所述显示器的水平中心线的距离;
第一调整模块,被配置为根据调整后的裁剪参数对所述原始图像进行裁剪,得到调整后的显示图像,并初始化所述当前总转动角度和所述当前总转动方向。
9.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的一体机显示图像调整方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的一体机显示图像调整方法。
CN202110206851.1A 2021-02-24 2021-02-24 一种一体机显示图像调整方法、装置、设备及存储介质 Active CN114979454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110206851.1A CN114979454B (zh) 2021-02-24 2021-02-24 一种一体机显示图像调整方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110206851.1A CN114979454B (zh) 2021-02-24 2021-02-24 一种一体机显示图像调整方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114979454A CN114979454A (zh) 2022-08-30
CN114979454B true CN114979454B (zh) 2024-02-20

Family

ID=82973016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110206851.1A Active CN114979454B (zh) 2021-02-24 2021-02-24 一种一体机显示图像调整方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114979454B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820495A (zh) * 2008-12-26 2010-09-01 索尼株式会社 信息处理装置、信息处理方法和程序
JP2014049797A (ja) * 2012-08-29 2014-03-17 Canon Inc カメラ付き表示装置
US8760489B1 (en) * 2013-06-25 2014-06-24 Vonage Network Llc Method and apparatus for dynamically adjusting aspect ratio of images during a video call
CN107409175A (zh) * 2015-03-26 2017-11-28 富士胶片株式会社 跟踪控制装置、跟踪控制方法、跟踪控制程序及自动跟踪摄影系统
CN109952759A (zh) * 2017-02-03 2019-06-28 伟视达电子工贸有限公司 用于具有hmd的视频会议的改进的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074430B2 (en) * 2018-05-29 2021-07-27 Adobe Inc. Directional assistance for centering a face in a camera field of view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820495A (zh) * 2008-12-26 2010-09-01 索尼株式会社 信息处理装置、信息处理方法和程序
JP2014049797A (ja) * 2012-08-29 2014-03-17 Canon Inc カメラ付き表示装置
US8760489B1 (en) * 2013-06-25 2014-06-24 Vonage Network Llc Method and apparatus for dynamically adjusting aspect ratio of images during a video call
CN107409175A (zh) * 2015-03-26 2017-11-28 富士胶片株式会社 跟踪控制装置、跟踪控制方法、跟踪控制程序及自动跟踪摄影系统
CN109952759A (zh) * 2017-02-03 2019-06-28 伟视达电子工贸有限公司 用于具有hmd的视频会议的改进的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Design and implementation of Pan-Tilt control for face tracking;S Robin Yosafat;2017 7th IEEE International Conference on System Engineering and Technology (ICSET);全文 *
基于双目视觉的人脸追踪方法;牛颖;科学技术与工程;全文 *
基于图像处理的视线方向跟踪研究;罗兴贤;魏生民;刘雅婧;孟举;;现代制造工程(01);全文 *

Also Published As

Publication number Publication date
CN114979454A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
WO2020199906A1 (zh) 人脸关键点检测方法、装置、设备及存储介质
EP3323109B1 (en) Camera pose estimation for mobile devices
TWI436647B (zh) 具有透視失真校正之臉部姿勢之改良
US10846936B2 (en) Image display method and device
US9213436B2 (en) Fingertip location for gesture input
TWI678099B (zh) 視頻處理方法、裝置和儲存介質
US11460916B2 (en) Interface interaction apparatus and method
CN104240606B (zh) 显示装置及显示装置观看角度的调节方法
WO2023071884A1 (zh) 注视检测方法、电子设备的控制方法及相关设备
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
US10168773B2 (en) Position locating method and apparatus
CN105787884A (zh) 一种图像处理方法及电子设备
US20220237818A1 (en) Image Processing Method and Apparatus for Electronic Dvice, and Electronic Device
WO2013091132A1 (en) Automatic adjustment of display image using face detection
WO2013178151A1 (zh) 屏幕翻转方法及装置、移动终端
US20190379843A1 (en) Augmented video reality
CN109829982A (zh) 模型匹配方法、装置、终端设备及存储介质
EP3582068A1 (en) Information processing device, information processing method, and program
CN114979454B (zh) 一种一体机显示图像调整方法、装置、设备及存储介质
WO2021258598A1 (zh) 一种显示画面的调整方法、智能终端及可读存储介质
CN109254710A (zh) 屏幕旋转方法、装置、终端设备及计算机可读取存储介质
CN108108694B (zh) 一种人脸特征点定位方法及装置
JP2007241478A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
CN104104865B (zh) 控制方法及电子装置
TWI460683B (zh) The way to track the immediate movement of the head

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant