CN111031272B - 一种基于视频通讯辅助头像校正的方法 - Google Patents

一种基于视频通讯辅助头像校正的方法 Download PDF

Info

Publication number
CN111031272B
CN111031272B CN201911359424.6A CN201911359424A CN111031272B CN 111031272 B CN111031272 B CN 111031272B CN 201911359424 A CN201911359424 A CN 201911359424A CN 111031272 B CN111031272 B CN 111031272B
Authority
CN
China
Prior art keywords
portrait
layer
rectangle
picture
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911359424.6A
Other languages
English (en)
Other versions
CN111031272A (zh
Inventor
沈梦超
文志平
裘昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201911359424.6A priority Critical patent/CN111031272B/zh
Publication of CN111031272A publication Critical patent/CN111031272A/zh
Application granted granted Critical
Publication of CN111031272B publication Critical patent/CN111031272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于视频通讯辅助头像校正的方法。它具体包括如下步骤：(1)预览画面及人像示阔图层显示：在自己预览画面上绘制一层带人像轮廓的图层即人像示廓图层；(2)人脸识别：通过人脸识别技术提取到人脸面部特征点获取预览画面的人像轮廓；(3)画面比对：将获取的预览画面的人像轮廓与人像示廓图层进行进行叠加处理，计算出重叠部分与人像示廓图层的百分比是否符合要求；(4)提醒判定：如果符合要求，返回到步骤(2)中；如果不符合要求，则回调上层需要触发提醒。本发明的有益效果是：不会因为一些手机转动而导致长时间的视频画面质量降低，可以更好的提升视频通讯双方的画面体验。

Description

一种基于视频通讯辅助头像校正的方法
技术领域
本发明涉及视频通讯相关技术领域，尤其是指一种基于视频通讯辅助头像校正的方法。
背景技术
随着移动互联网的发展与普及，网速与带宽的逐步增大，视频聊天也已经走进了千家万户。而且使用的视频聊天的年龄跨度也越来越大，从一开始20-30岁的年轻人开始玩起，到现在上至六七十岁的老年人，下至四五岁的儿童都可以使用视频聊天。在使用人群逐渐广泛的情况下，一些问题也逐渐显现。比如，四岁儿童在家里与远方父母进行视频聊天的时候，由于使用手机不熟练等情况，父母经常看不全宝宝的全貌。需要经常进行提醒，也是比较花费精力的，其实效果也不是很好。还有一些情况，在室外使用手机进行一些比较正式的视频会议。这个时候，自己的画面一般展示的会比较小，会将对方的画面放大。但是如果这个时候，手机稍微一点偏移，就有可能长时间以这个角度进行通话，将会给对方一种不好的体验。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种提高视频画面质量的基于视频通讯辅助头像校正的方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于视频通讯辅助头像校正的方法，具体包括如下步骤：
(1)预览画面及人像示阔图层显示：在进入视频通讯接听会话前，有一小段只有自己预览画面的时间，在自己预览画面上绘制一层带人像轮廓的图层即人像示廓图层；
(2)人脸识别：获取预览画面的数据，通过人脸识别技术提取到人脸面部特征点，根据面部特征点获取预览画面的人像轮廓；
(3)画面比对：将步骤(2)中获取的预览画面的人像轮廓与步骤(1)中的人像示廓图层进行进行叠加处理，计算出重叠部分与人像示廓图层的百分比是否符合要求；
(4)提醒判定：如果符合要求，返回到步骤(2)中；如果不符合要求，则回调上层需要触发提醒。
在使用视频通讯的过程中，如果长时间没有很好的预览画面，将会进行提醒。这样可以更好的提升视频通讯双方的画面体验。在一些正式场合中使用，也可以给对方留下更好的印象。使用本方法，在视频会议过程中，头像长时间偏移的时候，会进行一些提醒，用来校正预览方的画面。这样可以用来保证视频通讯过程中，双方收到的画面质量都会比较高，不会因为一些手机转动而导致长时间的视频画面质量降低。
作为优选，在步骤(1)中，人像轮廓图层表示视频效果最佳的区域，即视频通讯的预览方把自己预览画面以这个位置展现出来，视频通讯的接收方将会得到最佳的视听体验；人像轮廓图层可以在本人预览时显示，也可以在视频通讯中全程显示人像轮廓图层；一段只有自己预览画面的时间的长度取决于对方接听的快慢，至少会有3秒以上的时间。
作为优选，在步骤(2)中，获取预览画面的人像轮廓的方法如下：根据人脸面部特征点，计算出人脸所在切线矩形的四个位置坐标，从n个视频帧中抽取1帧进行人脸识别，把抽中的预览画面中识别到的人脸位置坐标实时传输到上层。
作为优选，切线矩形指的是：将人脸以竖直正向的位置放置到一个矩形中，并且这个矩形的四条边紧贴人脸的边缘位置，即把人脸装下的最小矩形。
作为优选，在步骤(3)中，获取到了抽中预览画面的人像轮廓位置的矩形坐标，记作矩形A；获取到的人像示阔图层的矩形坐标，记作矩形B，面积记为S；把矩形A与矩形B进行叠加处理，计算出重叠部分的面积C，然后以矩形B为基准，计算出重叠部分面积占矩形B面积的百分比为C/S×100％；根据需要定义出一个基准值p％，经过计算得到的重叠部分百分比与基准值进行对比，可以知道当前视频帧是否符合要求。
作为优选，在步骤(4)中，定义连续s秒不符合要求，就回调上层需要触发提醒；在触发提醒的时候，可以采用语音提醒，也可以在屏幕上显示字幕提示，也可以同步把人像示阔图层再次打开，供预览画面的预览方进行调整。
本发明的有益效果是：可以用来保证视频通讯过程中，双方收到的画面质量都会比较高，不会因为一些手机转动而导致长时间的视频画面质量降低，可以更好的提升视频通讯双方的画面体验。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于视频通讯辅助头像校正的方法，具体包括如下步骤：
(1)预览画面及人像示阔图层显示：在进入视频通讯接听会话前，有一小段只有自己预览画面的时间，在自己预览画面上绘制一层带人像轮廓的图层即人像示廓图层；人像轮廓图层表示视频效果最佳的区域，即视频通讯的预览方把自己预览画面以这个位置展现出来，视频通讯的接收方将会得到最佳的视听体验；人像轮廓图层可以在本人预览时显示，也可以在视频通讯中全程显示人像轮廓图层；人像轮廓图层只展现人脸的外部线条，线条的颜色采用浅蓝略带透明，所以展示的时候，也不会影响到预览画面的显示；一段只有自己预览画面的时间的长度取决于对方接听的快慢，一般来说至少会有3秒以上的时间，而呼叫一般也会有超时时间，一般在15秒左右，所以正常来说会有3秒至15秒时间。当然如果觉得这个时间不够久的话，也可以在调整完毕后再开始呼叫。
(2)人脸识别：获取预览画面的数据，通过人脸识别技术提取到人脸面部特征点，根据面部特征点获取预览画面的人像轮廓；通过人脸识别技术可以提取到几十个人脸面部特征点，所以根据这些面部特征点，知道整个脸部位于屏幕画面的哪个位置，当然五官的位置也可以对应确定下来；但是，对于当前来说，我们仅需要人脸的外部轮廓。获取预览画面的人像轮廓的方法如下：根据人脸面部特征点，计算出人脸所在切线矩形的四个位置坐标，切线矩形指的是：将人脸以竖直正向的位置放置到一个矩形中，并且这个矩形的四条边紧贴人脸的边缘位置，即把人脸装下的最小矩形；现在的视频通讯系统中camera采集的视频数据一般在25-30帧之间，但是人脸相对来说是比较固定的，不需要每一帧都进行人脸识别，这样会加大整个系统的运行负荷；所以在这里，我们从n个视频帧中抽取1帧进行人脸识别，把抽中的预览画面中识别到的人脸位置坐标实时传输到上层，然后让上层根据人像示阔图层进行具体分析；
(3)画面比对：将步骤(2)中获取的预览画面的人像轮廓与步骤(1)中的人像示廓图层进行进行叠加处理，计算出重叠部分与人像示廓图层的百分比是否符合要求；获取到了抽中预览画面的人像轮廓位置的矩形坐标，记作矩形A；获取到的人像示阔图层的矩形坐标，记作矩形B，面积记为S；把矩形A与矩形B进行叠加处理，计算出重叠部分的面积C，然后以矩形B为基准，计算出重叠部分面积占矩形B面积的百分比为C/S×100％；到了这里，其实我们已经大致知道预览画面在整个屏幕中的准确程度，根据需要定义出一个基准值p％，这个值的意义在于，低于p％时，当前的预览画面是需要干预校正的；当然基准值p％是可以根据实际情况实时调整的，对重叠部分百分比要求相对较高的情况下，可以适当调高基准值p％，反之可以适当降低；经过计算得到的重叠部分百分比与基准值进行对比，可以知道当前视频帧是否符合要求；
(4)提醒判定：如果符合要求，返回到步骤(2)中；如果不符合要求，则回调上层需要触发提醒；定义连续s秒不符合要求，就回调上层需要触发提醒；举例：假设视频源采用25帧，每5个视频帧中抽取一个进行人脸识别，连续6s不合格就需要触发提醒；这种情况下，连续收到30个不符合要求的抽取帧时，即可触发提醒；在触发提醒的时候，可以采用语音提醒，比如语音播报“对方看到你的画面可能不完整哦，请调整一下”，也可以在屏幕上显示字幕提示，也可以同步把人像示阔图层再次打开，供预览画面的预览方进行调整。
在使用视频通讯的过程中，如果长时间没有很好的预览画面，将会进行提醒。这样可以更好的提升视频通讯双方的画面体验。在一些正式场合中使用，也可以给对方留下更好的印象。使用本方法，在视频会议过程中，头像长时间偏移的时候，会进行一些提醒，用来校正预览方的画面。这样可以用来保证视频通讯过程中，双方收到的画面质量都会比较高，不会因为一些手机转动而导致长时间的视频画面质量降低。

Claims (3)

1.一种基于视频通讯辅助头像校正的方法，其特征是，具体包括如下步骤：
（1）预览画面及人像示阔图层显示：在进入视频通讯接听会话前，有一段只有自己预览画面的时间，在自己预览画面上绘制一层带人像轮廓的图层即人像示廓图层；人像示廓图层表示视频效果最佳的区域，即视频通讯的预览方把自己预览画面以这个位置展现出来，视频通讯的接收方将会得到最佳的视听体验；人像示廓图层在视频通讯中全程显示人像示廓图层；一段只有自己预览画面的时间的长度取决于对方接听的快慢，至少会有3秒以上的时间；
（2）人脸识别：获取预览画面的数据，通过人脸识别技术提取到人脸面部特征点，根据面部特征点获取预览画面的人像轮廓；获取预览画面的人像轮廓的方法如下：根据人脸面部特征点，计算出人脸所在切线矩形的四个位置坐标，从n个视频帧中抽取1帧进行人脸识别，把抽中的预览画面中识别到的人脸位置坐标实时传输到上层；
（3）画面比对：将步骤（2）中获取的预览画面的人像轮廓与步骤（1）中的人像示廓图层进行叠加处理，计算出重叠部分与人像示廓图层的百分比是否符合要求；
（4）提醒判定：如果符合要求，返回到步骤（2）中；如果不符合要求，则回调上层触发提醒；定义连续s秒不符合要求，就回调上层触发提醒；在触发提醒的时候，把人像示阔图层再次打开，供预览画面的预览方进行调整。
2.根据权利要求1所述的一种基于视频通讯辅助头像校正的方法，其特征是，切线矩形指的是：将人脸以竖直正向的位置放置到一个矩形中，并且这个矩形的四条边紧贴人脸的边缘位置，即把人脸装下的最小矩形。
3.根据权利要求1所述的一种基于视频通讯辅助头像校正的方法，其特征是，在步骤（3）中，获取到了抽中预览画面的人像轮廓位置的矩形坐标，记作矩形A；获取到的人像示阔图层的矩形坐标，记作矩形B，面积记为S；把矩形A与矩形B进行叠加处理，计算出重叠部分的面积C，然后以矩形B为基准，计算出重叠部分面积占矩形B面积的百分比为C/S×100%；根据需要定义出一个基准值p%，经过计算得到的重叠部分百分比与基准值进行对比，可以知道当前视频帧是否符合要求。
CN201911359424.6A 2019-12-25 2019-12-25 一种基于视频通讯辅助头像校正的方法 Active CN111031272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911359424.6A CN111031272B (zh) 2019-12-25 2019-12-25 一种基于视频通讯辅助头像校正的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911359424.6A CN111031272B (zh) 2019-12-25 2019-12-25 一种基于视频通讯辅助头像校正的方法

Publications (2)

Publication Number Publication Date
CN111031272A CN111031272A (zh) 2020-04-17
CN111031272B true CN111031272B (zh) 2021-08-31

Family

ID=70213353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911359424.6A Active CN111031272B (zh) 2019-12-25 2019-12-25 一种基于视频通讯辅助头像校正的方法

Country Status (1)

Country Link
CN (1) CN111031272B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458219A (zh) * 2013-09-02 2013-12-18 小米科技有限责任公司 一种视频通话面部调整方法、装置及终端设备
CN105120167A (zh) * 2015-08-31 2015-12-02 广州市幸福网络技术有限公司 一种证照相机及证照拍摄方法
US9691152B1 (en) * 2015-08-14 2017-06-27 A9.Com, Inc. Minimizing variations in camera height to estimate distance to objects
CN109345558A (zh) * 2018-10-29 2019-02-15 网易（杭州）网络有限公司 图像处理方法、装置、介质和电子设备
CN109819208A (zh) * 2019-01-02 2019-05-28 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446454B2 (en) * 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
CN107317992A (zh) * 2017-07-19 2017-11-03 苏州三星电子电脑有限公司 视频通信控制装置与控制方法
CN108366220A (zh) * 2018-04-23 2018-08-03 维沃移动通信有限公司 一种视频通话处理方法及移动终端
CN110381281B (zh) * 2019-07-17 2022-01-25 维沃移动通信有限公司 一种提示方法及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458219A (zh) * 2013-09-02 2013-12-18 小米科技有限责任公司 一种视频通话面部调整方法、装置及终端设备
US9691152B1 (en) * 2015-08-14 2017-06-27 A9.Com, Inc. Minimizing variations in camera height to estimate distance to objects
CN105120167A (zh) * 2015-08-31 2015-12-02 广州市幸福网络技术有限公司 一种证照相机及证照拍摄方法
CN109345558A (zh) * 2018-10-29 2019-02-15 网易（杭州）网络有限公司 图像处理方法、装置、介质和电子设备
CN109819208A (zh) * 2019-01-02 2019-05-28 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法

Also Published As

Publication number Publication date
CN111031272A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
US8345082B2 (en) System and associated methodology for multi-layered site video conferencing
US7227567B1 (en) Customizable background for video communications
KR100834638B1 (ko) 영상 투사기의 영상 색상 조절 방법 및 그 장치
US8207999B2 (en) Method and apparatus for video telephony in mobile terminal
US8599236B2 (en) Utilizing a video image from a video communication session as contact information
US10887547B2 (en) Method and system for providing a visual indication that a video relay service call originates from an inmate at a corrections facility
WO2018120127A1 (zh) 虚拟现实设备及其来电管理方法
CN112380972A (zh) 一种应用于电视场景的音量调节方法
CN110677734A (zh) 视频合成方法、装置、电子设备及存储介质
EP3975043A1 (en) Image processing method, terminal, and storage medium
WO2017113695A1 (zh) 一种智能电视音视频通信的方法、终端设备及智能电视
US11348365B2 (en) Skin color identification method, skin color identification apparatus and storage medium
CN113676693B (zh) 画面呈现方法、视频会议系统及可读存储介质
CN111031272B (zh) 一种基于视频通讯辅助头像校正的方法
CN107105311B (zh) 直播方法及装置
CN111031273A (zh) 一种移动终端的语音视频通话广告管理系统
CN107025638B (zh) 图像处理的方法及装置
JP3062080U (ja) 画面付き電話装置
CN111263190A (zh) 视频处理方法及装置、服务器、存储介质
US20190333517A1 (en) Transcription of communications
CN110213531A (zh) 监控录像处理方法及装置
CN211457249U (zh) 用于视频会议的投影通话装置
JP2017103801A (ja) 通信端末、通信端末の制御方法、通信端末の制御プログラム
CN111295692B (zh) 一种立体水印贴纸实现方法、移动终端及存储介质
CN118552459A (zh) 一种图像处理方法、装置、电子设备、芯片及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant