CN108307076A - 一种移动智能终端视频去抖动方法 - Google Patents

一种移动智能终端视频去抖动方法 Download PDF

Info

Publication number
CN108307076A
CN108307076A CN201810198438.3A CN201810198438A CN108307076A CN 108307076 A CN108307076 A CN 108307076A CN 201810198438 A CN201810198438 A CN 201810198438A CN 108307076 A CN108307076 A CN 108307076A
Authority
CN
China
Prior art keywords
intelligent terminal
user
mobile intelligent
shake
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810198438.3A
Other languages
English (en)
Other versions
CN108307076B (zh
Inventor
郑紫微
潘洋
陈勇
吴明昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Class Cognition Artificial Intelligence Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201810198438.3A priority Critical patent/CN108307076B/zh
Publication of CN108307076A publication Critical patent/CN108307076A/zh
Application granted granted Critical
Publication of CN108307076B publication Critical patent/CN108307076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种移动智能终端视频去抖动方法，用于消除移动智能终端抖动对视频显示的影响，该移动智能终端视频去抖动方法利用所得纵向抖动位移因子、环境风力触控位移纵向影响因子、帧像素抖动指数、帧像素更迭指数及视觉疲劳指数处理得到移动智能终端针对待播放视频的帧画面纵向位移变化量，利用所得横向抖动位移因子、环境风力触控位移横向影响因子、帧像素抖动指数、帧像素更迭指数以及视觉疲劳指数处理得到移动智能终端针对待播放视频的帧画面横向位移变化量，可以分别有效地消除用户纵向手持抖动及环境风力所施加纵向抖动对视频帧画面的纵向位移影响，保证移动智能终端所播放视频的观看体验效果。

Description

一种移动智能终端视频去抖动方法
技术领域
本发明涉及移动终端领域，尤其涉及一种移动智能终端视频去抖动方法。
背景技术
随着智能终端软硬件技术的不断发展成熟，各式各样的移动智能终端相继涌现，并且被广大用户所接受，尤其是移动智能终端的视频播放功能更是深受用户的青睐。用户可以将自己喜欢的视频提前通过拷贝或者缓存的形式保存到自己的移动智能终端中，然后在需要观看视频时，利用移动智能终端中所安装的视频播放器播放这些视频即可。
然而，在利用移动智能终端播放视频的过程中，当用户利用手握持移动智能终端播放视频时，移动智能终端播放视频的过程中会受到用户手部抖动的影响，有时也会受到移动智能终端所处周围环境中风力的影响，这将使得当前所播放的视频会产生一定程度的抖动，对用户针对该视频的观察体验效果产生不好的影响。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种移动智能终端视频去抖动方法。
本发明解决上述技术问题所采用的技术方案为：一种移动智能终端视频去抖动方法，用于消除移动智能终端抖动对视频显示的影响，其特征在于，所述移动智能终端视频去抖动方法包括如下步骤1至步骤9：
步骤1，设置针对所述移动智能终端的第一预设时间段，由所述移动智能终端在第一预设时间段内获取其被合法用户握持时的用户手持抖动位移矢量数据，建立该移动智能终端被其合法用户握持时的用户手持抖动位移数据库；
其中，所述用户手持抖动位移矢量数据包括用户手持抖动纵向位移分量数据和用户手持抖动横向位移分量数据；所述用户手持抖动位移数据库包括用户手持抖动纵向位移数据库和用户手持抖动横向位移数据库；所述第一预设时间段标记为T1；所述用户手持抖动纵向位移数据库标记为ShakeUser,Y，用户手持抖动纵向位移数据库ShakeUser,Y内具有M个用户手持抖动纵向位移数据，用户手持抖动纵向位移数据库ShakeUser,Y内的第m个用户手持抖动纵向位移数据标记为shakeUser,Y,m；
所述用户手持抖动横向位移数据库标记为ShakeUser,X，用户手持抖动横向位移数据库ShakeUser,X具有M个用户手持抖动横向位移数据，用户手持抖动横向位移数据库ShakeUser,X内的第m个用户手持抖动横向位移数据标记为shakeUser,X,m；1≤m≤M；
步骤2，所述移动智能终端根据所得用户手持抖动位移数据库以及所述第一预设时间段，得到移动智能终端被其合法用户手持时的纵向抖动位移因子和横向抖动位移因子；其中，所述纵向抖动位移因子标记为εUser,Y，所述横向抖动位移因子标记为εUser,X：
步骤3，设置针对所述移动智能终端的第二预设时间段，由所述移动智能终端在第二预设时间段内获取其所承受周围环境风力的环境风力触控纵向位移数据库和环境风力触控横向位移数据库，并分别得到该移动智能终端所承受周围环境风力的环境风力触控位移纵向影响因子和环境风力触控位移横向影响因子；
其中，所述第二预设时间段标记为T2，所述环境风力触控纵向位移数据库标记为TouchWind,Y，环境风力触控纵向位移数据库TouchWind,Y内具有N个环境风力触控纵向位移数据，环境风力触控纵向位移数据库TouchWind,Y内的第n个环境风力触控纵向位移数据标记为touchWind,Y,n；
所述环境风力触控横向位移数据库标记为TouchWind,X，环境风力触控横向位移数据库TouchWind,X内具有N个环境风力触控横向位移数据，环境风力触控横向位移数据库TouchWind,X内的第n个环境风力触控横向位移数据标记为touchWind,X,n；1≤n≤N；
所述环境风力触控位移纵向影响因子标记为εWind,Y，所述环境风力触控位移横向影响因子标记为εWind,X：
步骤4，在所述移动智能终端内预先存储测试用视频数据并设置针对所述移动智能终端的第三预设时间段，由移动智能终端在第三预设时间段内播放所述测试用视频数据，并获取播放所述测试用视频数据的各帧画面所对应的像素值以及该移动智能终端自身屏幕的像素值，计算所述移动智能终端针对视频播放时的帧像素抖动指数；
其中，所述第三预设时间段标记为T3，所述测试用视频数据共包括有R个帧画面，第r个帧画面标记为Framer，帧画面Framer的像素值标记为，1≤r≤R；所述移动智能终端自身屏幕的像素值标记为LixMobile；所述帧像素抖动指数标记为σFrame：
其中，LixFrame,max表示R个帧画面像素值中的最大值；
步骤5，所述移动智能终端将所述测试用视频做分割处理，得到步骤4中所述数目的帧画面，并提取针对所述所有相邻帧画面之间的帧像素更迭指数；其中，所述帧像素更迭指数标记为
其中，LixFrame,max表示R个帧画面像素值中的最大值，LixFrame,min表示R个帧画面像素值中的最小值；
步骤6，设置针对移动智能终端的第四预设时间段，由所述移动智能终端在第四预设时间段内获取其合法用户的眨眼次数，并同时获取其合法用户针对移动智能终端屏幕的多个眉间距数据，得到其合法用户观察所述移动智能终端屏幕时的视觉疲劳指数；
其中，所述第四预设时间段标记为T4，所述移动智能终端的合法用户在该第四预设时间段内的眨眼次数标记为C，所述移动智能终端所获取的其合法用户的眉间距数据共有U个，第u个眉间距数据标记为EyebrowUser,u，1≤u≤U；所述视觉疲劳指数标记为ψ：
步骤7，所述移动智能终端根据所得纵向抖动位移因子、横向抖动位移因子、环境风力触控位移纵向影响因子、环境风力触控位移横向影响因子、帧像素抖动指数、帧像素更迭指数以及视觉疲劳指数，得到针对待播放视频的帧画面纵向位移变化量以及帧画面横向位移变化量；
其中，所述待播放视频的帧画面中任一像素点A的坐标标记为(xA,yA)，所述帧画面横向位移变化量标记为△X，所述帧画面纵向位移变化量标记为△Y：
步骤8，所述移动智能终端根据所得帧画面纵向位移变化量、帧画面横向位移变化量以及待播放视频中帧画面像素点坐标，得到去抖动处理后的帧画面像素点坐标；其中，所述去抖动处理后的帧画面像素点坐标标记为A'(xA',yA')：
xA'＝xA+△X，yA'＝yA+△Y；
步骤9，所述移动智能终端根据得到的所述去抖动处理后的帧画面像素点坐标，对所述待播放视频的各帧画面进行播放，消除移动智能终端抖动对视频显示的影响。
可选择地，在所述移动智能终端视频去抖动方法中，所述移动智能终端为智能手机或者平板电脑或者具有显示屏的智能穿戴设备。
优选地，在所述移动智能终端视频去抖动方法中，所述第一预设时间段与第二预设时间段相等。
进一步地，在所述移动智能终端视频去抖动方法中，所述第三预设时间段大于所述第一预设时间段。
优选地，在所述移动智能终端视频去抖动方法中，所述第四预设时间为60秒。
与现有技术相比，本发明的优点在于：
首先，本发明针对移动智能终端播放视频时的抖动问题，通过获取移动智能终端被其合法用户手持时的纵向抖动位移因子以及横向抖动位移因子，可以使得移动智能终端能够更准确地得到用户习惯性的操作对其所播放视频产生的影响程度，以为后续移动智能终端自动调整所播放视频的帧画面参数提供数据参考；
通过获取该移动智能终端所承受周围环境风力的环境风力触控位移纵向影响因子和环境风力触控位移横向影响因子，可以使得移动智能终端能够更准确地得到环境风力对其所播放视频产生的影响程度，以为后续移动智能终端自动调整所播放视频的帧画面参数提供另一类数据参考；
其次，本发明通过利用移动智能终端内所预存的测试用视频来得到移动智能终端针对视频播放时的帧像素抖动指数，并且因该帧像素抖动指数是基于所测试用视频各帧画面对应像素值以及移动智能终端自身屏幕像素值而融合处理得到，这样使得移动智能终端可以获取得到其播放视频时带给所播放视频的抖动影响情况，以为移动智能终端后续调整帧画面参数，避免所播放视频的帧画面像素抖动提供数据支撑；
再次，通过根据移动智能终端其合法用户针对屏幕的眨眼次数以及观看屏幕时对应的用户眉间距数据融合处理，得到其合法用户观察该移动智能终端屏幕时的视觉疲劳指数，以便于移动智能终端根据用户对其所播放当前视频时的视觉疲劳指数情况来调整针对当前视频抖动的去除消除，以符合移动智能终端其合法用户对当前所播放视频的兴趣重视程度；
最后，利用所得纵向抖动位移因子、环境风力触控位移纵向影响因子、帧像素抖动指数、帧像素更迭指数及视觉疲劳指数处理得到移动智能终端针对待播放视频的帧画面纵向位移变化量，利用所得横向抖动位移因子、环境风力触控位移横向影响因子、帧像素抖动指数、帧像素更迭指数以及视觉疲劳指数处理得到移动智能终端针对待播放视频的帧画面横向位移变化量，可以分别有效地消除用户纵向手持抖动及环境风力所施加纵向抖动对视频帧画面的纵向位移影响，保证移动智能终端所播放视频的观看体验效果。
附图说明
图1为本发明实施例中移动智能终端视频去抖动方法的流程示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示，本实施例中的移动智能终端视频去抖动方法，用于消除移动智能终端抖动对视频显示的影响，该移动智能终端视频去抖动方法包括如下步骤1至步骤9：
步骤1，设置针对移动智能终端的第一预设时间段，由移动智能终端在第一预设时间段内获取其被合法用户握持时的用户手持抖动位移矢量数据，建立该移动智能终端被其合法用户握持时的用户手持抖动位移数据库；
其中，第一预设时间段标记为T1；用户手持抖动位移矢量数据包括用户手持抖动纵向位移分量数据和用户手持抖动横向位移分量数据；对应地，本实施例中用户手持抖动位移数据库包括用户手持抖动纵向位移数据库和用户手持抖动横向位移数据库；
用户手持抖动纵向位移数据库标记为ShakeUser,Y，用户手持抖动纵向位移数据库ShakeUser,Y内具有M个用户手持抖动纵向位移数据，用户手持抖动纵向位移数据库ShakeUser,Y内的第m个用户手持抖动纵向位移数据标记为shakeUser,Y,m；
用户手持抖动横向位移数据库标记为ShakeUser,X，用户手持抖动横向位移数据库ShakeUser,X具有M个用户手持抖动横向位移数据，用户手持抖动横向位移数据库ShakeUser,X内的第m个用户手持抖动横向位移数据标记为shakeUser,X,m；1≤m≤M；也就是说，本实施例中的用户手持抖动纵向位移数据个数与用户手持抖动横向位移数据个数相同；
这里的移动智能终端为智能手机或者平板电脑或者具有显示屏的智能穿戴设备；
步骤2，移动智能终端根据所得用户手持抖动位移数据库以及第一预设时间段，得到移动智能终端被其合法用户手持时的纵向抖动位移因子和横向抖动位移因子；其中，纵向抖动位移因子标记为εUser,Y，横向抖动位移因子标记为εUser,X：
在用户平常使用移动智能终端的过程中，用户在操作自己移动智能终端时，用户握持该移动智能终端的姿势或者操作姿势都会有用户的特点操作习惯，具体会表现在移动智能终端被其合法用户所握持时的纵向抖动以及被其合法用户所握持时的横向抖动；而这种纵向抖动和横向抖动又会对移动智能终端正常播放视频产生不利影响，使得所播放的视频出现一定程度的抖动，影响视频观察效果。基于此，本实施例在该步骤2中通过获取该移动智能终端被其合法用户手持时的纵向抖动位移因子以及横向抖动位移因子，可以使得移动智能终端能够更准确地得到用户习惯性的操作对其所播放视频产生的影响程度，以为后续移动智能终端自动调整所播放视频的帧画面参数提供数据参考；
步骤3，设置针对移动智能终端的第二预设时间段，由移动智能终端在第二预设时间段内获取其所承受周围环境风力的环境风力触控纵向位移数据库和环境风力触控横向位移数据库，并分别得到该移动智能终端所承受周围环境风力的环境风力触控位移纵向影响因子和环境风力触控位移横向影响因子；
其中，第二预设时间段标记为T2，第一预设时间段T1与第二预设时间段T2优选设置为数值相等；环境风力触控纵向位移数据库标记为TouchWind,Y，环境风力触控纵向位移数据库TouchWind,Y内具有N个环境风力触控纵向位移数据，环境风力触控纵向位移数据库TouchWind,Y内的第n个环境风力触控纵向位移数据标记为touchWind,Y,n；
环境风力触控横向位移数据库标记为TouchWind,X，环境风力触控横向位移数据库TouchWind,X内具有N个环境风力触控横向位移数据，环境风力触控横向位移数据库TouchWind,X内的第n个环境风力触控横向位移数据标记为touchWind,X,n；1≤n≤N；
环境风力触控位移纵向影响因子标记为εWind,Y，环境风力触控位移横向影响因子标记为εWind,X：
在用户平常使用移动智能终端的过程中，由于移动智能终端处于一个更为真实的开放式环境，移动智能终端会受到周围环境中的空气流动的影响，也就是所处周围环境中的环境风力因素影响。这样，用户在操作自己移动智能终端时，该移动智能终端不仅会受到其合法用户操作习惯的影响，而且也会受到环境风力的影响。环境风力对移动智能终端的影响具体会表现在移动智能终端被其合法用户所握持时，环境风力会在纵向上吹动移动智能终端，同时，环境风力也会在横向上吹动移动智能终端，使得移动智能终端所播放的视频出现一定程度的抖动，影响视频观察效果。基于此，本实施例在该步骤3中通过获取该移动智能终端所承受周围环境风力的环境风力触控位移纵向影响因子和环境风力触控位移横向影响因子，可以使得移动智能终端能够更准确地得到环境风力对其所播放视频产生的影响程度，以为后续移动智能终端自动调整所播放视频的帧画面参数提供另一类数据参考；
步骤4，在移动智能终端内预先存储测试用视频数据并设置针对移动智能终端的第三预设时间段，由移动智能终端在第三预设时间段内播放该测试用视频数据，并获取播放测试用视频数据的各帧画面所对应的像素值以及该移动智能终端自身屏幕的像素值，计算移动智能终端针对视频播放时的帧像素抖动指数；
其中，第三预设时间段标记为T3，本实施例中的第三预设时间段T3大于第一预设时间段T1；该测试用视频数据共包括有R个帧画面，第r个帧画面标记为Framer，帧画面Framer的像素值标记为，1≤r≤R；移动智能终端自身屏幕的像素值标记为LixMobile；移动智能终端针对视频播放时的帧像素抖动指数标记为σFrame：
其中，LixFrame,max表示R个帧画面像素值中的最大值；
在该步骤4中，通过利用移动智能终端内所预存的测试用视频来得到移动智能终端针对视频播放时的帧像素抖动指数，并且因该帧像素抖动指数是基于所测试用视频各帧画面对应像素值以及移动智能终端自身屏幕像素值而融合处理得到，这样使得该移动智能终端可以获取得到其播放视频时带给所播放视频的抖动影响情况，以为移动智能终端后续调整帧画面参数，避免所播放视频的帧画面像素抖动提供数据支撑；
步骤5，移动智能终端将测试用视频做分割处理，得到步骤4中数目的帧画面，并提取针对所有相邻帧画面之间的帧像素更迭指数；其中，这里的帧像素更迭指数标记为
其中，LixFrame,max表示R个帧画面像素值中的最大值，LixFrame,min表示R个帧画面像素值中的最小值；
步骤6，设置针对移动智能终端的第四预设时间段，由移动智能终端在第四预设时间段内获取其合法用户的眨眼次数，并同时获取其合法用户针对移动智能终端屏幕的多个眉间距数据，得到其合法用户观察该移动智能终端屏幕时的视觉疲劳指数；
其中，第四预设时间段标记为T4，本实施例中的第四预设时间段设置为60秒；该移动智能终端的合法用户在该第四预设时间段T4内的眨眼次数标记为C，移动智能终端所获取的其合法用户的眉间距数据共有U个，第u个眉间距数据标记为EyebrowUser,u，1≤u≤U；移动智能终端其合法用户观察该移动智能终端屏幕时的视觉疲劳指数标记为ψ：
由于用户对不同视频所感兴趣的程度不同，那么用户对不同的视频就会表现为不同的注视程度或精力集中程度。例如，当所播放的视频为用户非常感兴趣的视频时，那么用户往往会精力集中，甚至目不转睛地去观看该视频，此时就需要这个视频发生较小程度地抖动，甚至避免抖动发生，以确保用户针对当前所感兴趣视频的观看体验效果；相反地，如果所播放视频并不是用户所感兴趣的视频，用户不会投入太多的精力去观看，所对应用户的眉间距也会变得较大，此时，移动智能终端就不需要过分地强调对抖动的消除处理效果，从而可以使得移动智能终端腾出更多的内存空间去处理移动智能终端的其他事务。所以，该步骤6通过根据移动智能终端其合法用户针对屏幕的眨眼次数以及观看屏幕时对应的用户眉间距数据融合处理，得到其合法用户观察该移动智能终端屏幕时的视觉疲劳指数，以便于移动智能终端根据用户对其所播放当前视频时的视觉疲劳指数情况来调整针对当前视频抖动的去除消除，以符合移动智能终端其合法用户对当前所播放视频的兴趣重视程度；
步骤7，移动智能终端根据所得纵向抖动位移因子εUser,Y、横向抖动位移因子εUser,X、环境风力触控位移纵向影响因子εWind,Y、环境风力触控位移横向影响因子εWind,X、帧像素抖动指数σFrame、帧像素更迭指数以及视觉疲劳指数ψ，得到针对待播放视频的帧画面纵向位移变化量以及帧画面横向位移变化量；
其中，该待播放视频的帧画面中任一像素点A的坐标标记为(xA,yA)，帧画面横向位移变化量标记为△X，帧画面纵向位移变化量标记为△Y：
由于该步骤7中所得到的针对待播放视频的帧画面纵向位移变化量△Y是基于所得纵向抖动位移因子εUser,Y、环境风力触控位移纵向影响因子εWind,Y、帧像素抖动指数σFrame、帧像素更迭指数以及视觉疲劳指数ψ处理得到，所以，此处的待播放视频的帧画面纵向位移变化量有效地消除了用户纵向手持抖动以及环境风力所施加纵向抖动对视频帧画面的纵向位移影响；同理地，针对待播放视频的帧画面横向位移变化量△X是基于所得横向抖动位移因子εUser,X、环境风力触控位移横向影响因子εWind,X、帧像素抖动指数σFrame、帧像素更迭指数以及视觉疲劳指数ψ处理得到，此处的待播放视频的帧画面横向位移变化量有效地消除了用户横向手持抖动以及环境风力所施加横向抖动对视频帧画面的横向位移影响；
步骤8，移动智能终端根据所得帧画面纵向位移变化量△Y、帧画面横向位移变化量△X以及待播放视频中帧画面像素点坐标，得到去抖动处理后的帧画面像素点坐标；其中，去抖动处理后的帧画面像素点坐标标记为A'(xA',yA')：
xA'＝xA+△X，yA'＝yA+△Y；
步骤9，移动智能终端根据得到的去抖动处理后的帧画面像素点坐标，对待播放视频的各帧画面进行播放，消除移动智能终端抖动对视频显示的影响。
尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种移动智能终端视频去抖动方法，用于消除移动智能终端抖动对视频显示的影响，其特征在于，所述移动智能终端视频去抖动方法包括如下步骤1至步骤9：
步骤1，设置针对所述移动智能终端的第一预设时间段，由所述移动智能终端在第一预设时间段内获取其被合法用户握持时的用户手持抖动位移矢量数据，建立该移动智能终端被其合法用户握持时的用户手持抖动位移数据库；
其中，所述用户手持抖动位移矢量数据包括用户手持抖动纵向位移分量数据和用户手持抖动横向位移分量数据；所述用户手持抖动位移数据库包括用户手持抖动纵向位移数据库和用户手持抖动横向位移数据库；所述第一预设时间段标记为T1；所述用户手持抖动纵向位移数据库标记为ShakeUser,Y，用户手持抖动纵向位移数据库ShakeUser,Y内具有M个用户手持抖动纵向位移数据，用户手持抖动纵向位移数据库ShakeUser,Y内的第m个用户手持抖动纵向位移数据标记为shakeUser,Y,m；
所述用户手持抖动横向位移数据库标记为ShakeUser,X，用户手持抖动横向位移数据库ShakeUser,X具有M个用户手持抖动横向位移数据，用户手持抖动横向位移数据库ShakeUser,X内的第m个用户手持抖动横向位移数据标记为shakeUser,X,m；1≤m≤M；
步骤2，所述移动智能终端根据所得用户手持抖动位移数据库以及所述第一预设时间段，得到移动智能终端被其合法用户手持时的纵向抖动位移因子和横向抖动位移因子；其中，所述纵向抖动位移因子标记为εUser,Y，所述横向抖动位移因子标记为εUser,X：
步骤3，设置针对所述移动智能终端的第二预设时间段，由所述移动智能终端在第二预设时间段内获取其所承受周围环境风力的环境风力触控纵向位移数据库和环境风力触控横向位移数据库，并分别得到该移动智能终端所承受周围环境风力的环境风力触控位移纵向影响因子和环境风力触控位移横向影响因子；
其中，所述第二预设时间段标记为T2，所述环境风力触控纵向位移数据库标记为TouchWind,Y，环境风力触控纵向位移数据库TouchWind,Y内具有N个环境风力触控纵向位移数据，环境风力触控纵向位移数据库TouchWind,Y内的第n个环境风力触控纵向位移数据标记为touchWind,Y,n；
所述环境风力触控横向位移数据库标记为TouchWind,X，环境风力触控横向位移数据库TouchWind,X内具有N个环境风力触控横向位移数据，环境风力触控横向位移数据库TouchWind,X内的第n个环境风力触控横向位移数据标记为touchWind,X,n；1≤n≤N；
所述环境风力触控位移纵向影响因子标记为εWind,Y，所述环境风力触控位移横向影响因子标记为εWind,X：
步骤4，在所述移动智能终端内预先存储测试用视频数据并设置针对所述移动智能终端的第三预设时间段，由移动智能终端在第三预设时间段内播放所述测试用视频数据，并获取播放所述测试用视频数据的各帧画面所对应的像素值以及该移动智能终端自身屏幕的像素值，计算所述移动智能终端针对视频播放时的帧像素抖动指数；
其中，所述第三预设时间段标记为T3，所述测试用视频数据共包括有R个帧画面，第r个帧画面标记为Framer，帧画面Framer的像素值标记为1≤r≤R；所述移动智能终端自身屏幕的像素值标记为LixMobile；所述帧像素抖动指数标记为σFrame：
其中，LixFrame,max表示R个帧画面像素值中的最大值；
步骤5，所述移动智能终端将所述测试用视频做分割处理，得到步骤4中所述数目的帧画面，并提取针对所述所有相邻帧画面之间的帧像素更迭指数；其中，所述帧像素更迭指数标记为θFrame：
其中，LixFrame,max表示R个帧画面像素值中的最大值，LixFrame,min表示R个帧画面像素值中的最小值；
步骤6，设置针对移动智能终端的第四预设时间段，由所述移动智能终端在第四预设时间段内获取其合法用户的眨眼次数，并同时获取其合法用户针对移动智能终端屏幕的多个眉间距数据，得到其合法用户观察所述移动智能终端屏幕时的视觉疲劳指数；
其中，所述第四预设时间段标记为T4，所述移动智能终端的合法用户在该第四预设时间段内的眨眼次数标记为C，所述移动智能终端所获取的其合法用户的眉间距数据共有U个，第u个眉间距数据标记为EyebrowUser,u，1≤u≤U；所述视觉疲劳指数标记为ψ：
步骤7，所述移动智能终端根据所得纵向抖动位移因子、横向抖动位移因子、环境风力触控位移纵向影响因子、环境风力触控位移横向影响因子、帧像素抖动指数、帧像素更迭指数以及视觉疲劳指数，得到针对待播放视频的帧画面纵向位移变化量以及帧画面横向位移变化量；
其中，所述待播放视频的帧画面中任一像素点A的坐标标记为(xA,yA)，所述帧画面横向位移变化量标记为△X，所述帧画面纵向位移变化量标记为△Y：
步骤8，所述移动智能终端根据所得帧画面纵向位移变化量、帧画面横向位移变化量以及待播放视频中帧画面像素点坐标，得到去抖动处理后的帧画面像素点坐标；其中，所述去抖动处理后的帧画面像素点坐标标记为A'(xA',yA')：
xA'＝xA+△X，yA'＝yA+△Y；
步骤9，所述移动智能终端根据得到的所述去抖动处理后的帧画面像素点坐标，对所述待播放视频的各帧画面进行播放，消除移动智能终端抖动对视频显示的影响。
2.根据权利要求1所述的移动智能终端视频去抖动方法，其特征在于，所述移动智能终端为智能手机或者平板电脑或者具有显示屏的智能穿戴设备。
3.根据权利要求1所述的移动智能终端视频去抖动方法，其特征在于，所述第一预设时间段与第二预设时间段相等。
4.根据权利要求3所述的移动智能终端视频去抖动方法，其特征在于，所述第三预设时间段大于所述第一预设时间段。
5.根据权利要求1所述的移动智能终端视频去抖动方法，其特征在于，所述第四预设时间为60秒。
CN201810198438.3A 2018-03-12 2018-03-12 一种移动智能终端视频去抖动方法 Active CN108307076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810198438.3A CN108307076B (zh) 2018-03-12 2018-03-12 一种移动智能终端视频去抖动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810198438.3A CN108307076B (zh) 2018-03-12 2018-03-12 一种移动智能终端视频去抖动方法

Publications (2)

Publication Number Publication Date
CN108307076A true CN108307076A (zh) 2018-07-20
CN108307076B CN108307076B (zh) 2020-05-19

Family

ID=62849729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810198438.3A Active CN108307076B (zh) 2018-03-12 2018-03-12 一种移动智能终端视频去抖动方法

Country Status (1)

Country Link
CN (1) CN108307076B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007085004A2 (en) * 2006-01-19 2007-07-26 Qualcomm Incorporated Hand jitter reduction for compensating for linear displacement
US7848541B2 (en) * 2007-03-05 2010-12-07 Science Applications International Corporation Differential phase correlation
EP2521091A1 (en) * 2011-05-03 2012-11-07 ST-Ericsson SA Estimation of picture motion blurriness
CN105323420A (zh) * 2014-07-29 2016-02-10 腾讯科技（深圳）有限公司 视频图像处理方法及装置
CN105374051A (zh) * 2015-10-29 2016-03-02 宁波大学 智能移动终端防镜头抖动视频运动目标检测方法
US20160125777A1 (en) * 2014-10-30 2016-05-05 Dell Products L.P. Image Sticking Prevention Using an Information Handling System Webcam
CN106101527A (zh) * 2016-06-03 2016-11-09 北京小米移动软件有限公司 减轻视频画面抖动的方法及装置
CN106331480A (zh) * 2016-08-22 2017-01-11 北京交通大学 基于图像拼接的视频稳像方法
CN106780365A (zh) * 2016-11-25 2017-05-31 阿依瓦（北京）技术有限公司 一种基于异构计算的图像去抖动系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007085004A2 (en) * 2006-01-19 2007-07-26 Qualcomm Incorporated Hand jitter reduction for compensating for linear displacement
US7848541B2 (en) * 2007-03-05 2010-12-07 Science Applications International Corporation Differential phase correlation
EP2521091A1 (en) * 2011-05-03 2012-11-07 ST-Ericsson SA Estimation of picture motion blurriness
CN105323420A (zh) * 2014-07-29 2016-02-10 腾讯科技（深圳）有限公司 视频图像处理方法及装置
US20160125777A1 (en) * 2014-10-30 2016-05-05 Dell Products L.P. Image Sticking Prevention Using an Information Handling System Webcam
CN105374051A (zh) * 2015-10-29 2016-03-02 宁波大学 智能移动终端防镜头抖动视频运动目标检测方法
CN106101527A (zh) * 2016-06-03 2016-11-09 北京小米移动软件有限公司 减轻视频画面抖动的方法及装置
CN106331480A (zh) * 2016-08-22 2017-01-11 北京交通大学 基于图像拼接的视频稳像方法
CN106780365A (zh) * 2016-11-25 2017-05-31 阿依瓦（北京）技术有限公司 一种基于异构计算的图像去抖动系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵婷,郑紫微,熊欧: "基于Android平台的防镜头抖动运动目标检测", 《数据通信》 *

Also Published As

Publication number Publication date
CN108307076B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
US10368123B2 (en) Information pushing method, terminal and server
CN110324662B (zh) 一种视频封面生成方法及装置
CN112259062B (zh) 特效展示方法、装置、电子设备及计算机可读介质
CN107948733B (zh) 视频图像处理方法及装置、电子设备
CN112182299B (zh) 一种视频中精彩片段的获取方法、装置、设备和介质
CN104469179A (zh) 一种将动态图片结合到手机视频中的方法
KR20190024249A (ko) 광고를 제공하는 방법 및 전자 장치
CN108074241B (zh) 目标图像的质量评分方法、装置、终端及存储介质
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN113870133A (zh) 多媒体显示及匹配方法、装置、设备及介质
WO2023040749A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN113055611A (zh) 图像处理方法及装置
JP2014041433A (ja) 表示装置、表示方法、テレビジョン受信機及び表示制御装置
CN104584536A (zh) 显示控制装置、显示控制系统以及显示控制方法
CN114630057A (zh) 确定特效视频的方法、装置、电子设备及存储介质
EP4360071A1 (en) Integrated system for detecting and correcting content
CN103609135B (zh) 图像输出装置、图像输出方法、及利用计算机程序进行图像输出的方法
CN114758027A (zh) 图像处理方法、装置、电子设备及存储介质
CN105635836B (zh) 一种视频分享方法和装置
CN108307076A (zh) 一种移动智能终端视频去抖动方法
CN115953504A (zh) 特效处理方法、装置、电子设备及存储介质
CN113409208A (zh) 图像处理方法、装置、设备及存储介质
CN113905177A (zh) 视频生成方法、装置、设备及存储介质
CN110769129B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113313790A (zh) 视频生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230727

Address after: 266000 Room 502, floor 5, building a, Shinan Software Park, No. 288, Ningxia road, Shinan District, Qingdao, Shandong

Patentee after: Qingdao class cognition artificial intelligence Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right