CN111683282A - 一种图像变形适配方法和装置 - Google Patents

一种图像变形适配方法和装置 Download PDF

Info

Publication number
CN111683282A
CN111683282A CN202010511471.4A CN202010511471A CN111683282A CN 111683282 A CN111683282 A CN 111683282A CN 202010511471 A CN202010511471 A CN 202010511471A CN 111683282 A CN111683282 A CN 111683282A
Authority
CN
China
Prior art keywords
image
display device
frame
display
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010511471.4A
Other languages
English (en)
Inventor
吴迪
黄思远
孙晔
李磊
邹烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202010511471.4A priority Critical patent/CN111683282A/zh
Publication of CN111683282A publication Critical patent/CN111683282A/zh
Priority to CN202011456034.3A priority patent/CN112367552B/zh
Priority to PCT/KR2021/018652 priority patent/WO2022124822A1/en
Priority to US18/199,127 priority patent/US20230289918A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种图像变形适配方法和装置，其中方法包括：对于当前需要显示的每帧图像，采用先旋转后剪裁的方式，对该帧图像进行处理，显示所述处理得到的图像；其中，图像的旋转角度为n×360°‑θ；θ为将显示设备从横向正立位置切换至当前位置需要旋转的角度，n≥0。采用本发明，在显示一帧图像前，采用先旋转后剪裁的方式，图像进行处理，使得无论显示设备是否正立，所显示的画面都能够与用户的视角相匹配，有效提高了用户观看体验。

Description

一种图像变形适配方法和装置
技术领域
本发明涉及计算机应用技术，特别是涉及一种图像变形适配方法和装置。
背景技术
传统的视频显示方案，通常是采用横向构图的方式，在显示设备上显示视频画面。但是，随着智能手机的普及，在智能手机所支持的竖向持握方式下，获得的竖向构图视频越来越多。例如，像当下流行的很多视频社交网站上，基本播放的视频都是竖向构图的视频。这种横向视频和竖向视频同时存在的现状，对传统的显示设备也提出了更多的要求，可旋转的显示设备由此诞生，比如可旋转的TV。
发明人在实现本发明的过程中发现，现有的可旋转显示设备存在：旋转过程中所显示的画面内容会随着显示器的旋转而旋转的问题，即在旋转过程中所显示的画面会随着显示器的旋转而不断地倾斜，这样，在显示设备旋转过程中，用户将会不由自主地随着画面的倾斜而歪着头观看画面，从而会降低用户的视频观看体验，尤其是大型的显示设备(如可旋转电视)旋转时由于旋转时长较为明显，旋转过程中观看体验不佳的问题更为明显。
针对上述问题，目前尚无有效的解决方案。
发明内容
有鉴于此，本发明的主要目的在于提供一种图像变形适配方法和装置，可以使得无论显示设备是否正立，所显示的画面都能够与用户的视角相匹配，提高用户观看体验。
为了达到上述目的，本发明提出的技术方案为：
一种图像变形适配方法，包括：
对于当前需要显示的每帧图像，采用先旋转后剪裁的方式，对该帧图像进行处理，显示所述处理得到的图像；
其中，图像的旋转角度为n×360°-θ；θ为将显示设备从横向正立位置切换至当前位置需要旋转的角度，n≥0。
较佳地，所述采用先旋转后剪裁的方式，对该帧图像进行处理包括：
根据当前的图像缩放比例，对该帧图像进行缩放处理；
将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像；
将所述转换得到的图像旋转所述角度n×360°-θ；
按照预设的第二尺寸规格，对所述旋转后的图像进行剪裁，得到具有所述第二尺寸规格的图像。
较佳地，所述转换为预设的第一尺寸规格的图像包括：
将所述缩放处理后的图像置于画面的中心区域；所述画面具有所述第一尺寸规格；
如果当前所述画面中存在空白区域，则对空白区域进行填充，得到具有所述第一尺寸规格的图像。
较佳地，所述方法进一步包括：
所述图像缩放比例的缺省值为预设的图像缩放比例范围的最大值；
当检测到用户的图像缩放指令时，根据所述图像缩放指令，在所述图像缩放比例范围内，对当前的所述图像缩放比例进行更新。
较佳地，根据公式
Figure BDA0002528464330000021
得到所述图像缩放比例范围的最大值Rmax；
根据公式
Figure BDA0002528464330000031
得到所述图像缩放比例范围的最小值Rmin；
其中，
Figure BDA0002528464330000032
α＝tan-1(H/W)；
W为显示设备的显示区域的宽；
H为显示设备的显示区域的高；
β＝tan-1(h/w)；
w为当前需要显示的所述帧图像的宽；
h为当前需要显示的所述帧图像的高。
较佳地，所述第一尺寸规格的宽为Wd，
Figure BDA0002528464330000033
所述第一尺寸规格的高为Hd，
Figure BDA0002528464330000034
α＝tan-1(H/W)，W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高；β＝tan-1(h/w)，w为当前需要显示的所述帧图像的宽，h为当前需要显示的所述帧图像的高。
较佳地，对所述旋转后的图像进行剪裁包括：
根据预设的剪裁策略，确定当前的剪裁中心；
根据所述剪裁中心，以所述第二尺寸规格作为图像剪裁尺寸，对所述旋转后的图像进行剪裁；所述第二尺寸规格为W×H；W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高。
较佳地，所述剪裁策略为以图像中心为剪裁中心；或者，根据预设的重点区域检测策略，检测出视频帧的图像的重点区域，以所检测出的重点区域为剪裁中心。
较佳地，所述方法进一步包括：
当所述显示设备检测到用户的显示方向切换请求时，判定当前需要旋转显示设备，并触发执行相应的显示设备旋转过程。
较佳地，所述方法进一步包括：
对于当前需要显示的每帧图像，判断当前所述显示设备的显示方向与当前经过t时间后需要显示的相应帧图像的图像显示方向是否一致，如果不一致，则判定需要旋转所述显示设备，并触发相应的旋转过程；所述t为所述显示设备完成所述旋转过程需要的时间。
一种图像变形适配装置，包括：处理器，所述处理器用于：
对于当前需要显示的每帧图像，采用先旋转后剪裁的方式，对该帧图像进行处理，显示所述处理得到的图像；
其中，图像的旋转角度为n×360°-θ；θ为将显示设备从横向正立位置切换至当前位置需要旋转的角度，n≥0。
较佳地，所述处理器，具体用于采用先旋转后剪裁的方式，对该帧图像进行处理，包括：
根据当前的图像缩放比例，对该帧图像进行缩放处理；
将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像；
将所述转换得到的图像旋转所述角度n×360°-θ；
按照预设的第二尺寸规格，对所述旋转后的图像进行剪裁，得到具有所述第二尺寸规格的图像。
较佳地，所述处理器，具体用于将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像，包括：
将所述缩放处理后的图像置于画面的中心区域；所述画面具有所述第一尺寸规格；
如果当前所述画面中存在空白区域，则对空白区域进行填充，得到具有所述第一尺寸规格的图像。
较佳地，所述图像缩放比例的缺省值为预设的图像缩放比例范围的最大值；
所述处理器，进一步用于当检测到用户的图像缩放指令时，根据所述图像缩放指令，在所述图像缩放比例范围内，对当前的所述图像缩放比例进行更新。
较佳地，根据公式
Figure BDA0002528464330000051
得到所述图像缩放比例范围的最大值Rmax；
根据公式
Figure BDA0002528464330000052
得到所述图像缩放比例范围的最小值Rmin；
其中，
Figure BDA0002528464330000053
α＝tan-1(H/W)；
W为显示设备的显示区域的宽；
H为显示设备的显示区域的高；
β＝tan-1(h/w)；
w为当前需要显示的所述帧图像的宽；
h为当前需要显示的所述帧图像的高。
较佳地，所述第一尺寸规格的宽为Wd，
Figure BDA0002528464330000061
所述第一尺寸规格的高为Hd，
Figure BDA0002528464330000062
α＝tan-1(H/W)，W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高；β＝tan-1(h/w)，w为当前需要显示的所述帧图像的宽，h为当前需要显示的所述帧图像的高。
较佳地，所述处理器，具体用于对所述旋转后的图像进行剪裁，包括：
根据预设的剪裁策略，确定当前的剪裁中心；
根据所述剪裁中心，以所述第二尺寸规格作为图像剪裁尺寸，对所述旋转后的图像进行剪裁；所述第二尺寸规格为W×H；W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高。
较佳地，所述剪裁策略为以图像中心为剪裁中心；或者，根据预设的重点区域检测策略，检测出视频帧的图像的重点区域，以所检测出的重点区域为剪裁中心。
较佳地，所述处理器，进一步用于当所述显示设备检测到用户的显示方向切换请求时，判定当前需要旋转显示设备，并触发执行相应的显示设备旋转过程。
较佳地，所述处理器，进一步用于对于当前需要显示的每帧图像，判断当前所述显示设备的显示方向与当前经过t时间后需要显示的相应帧图像的图像显示方向是否一致，如果不一致，则判定需要旋转所述显示设备，并触发相应的旋转过程；所述t为所述显示设备完成所述旋转过程需要的时间。
本申请还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的视频变形适配方法的步骤。
本申请还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
由上述技术方案可见，本发明提出的一种视频变形适配方法和装置，显示设备在显示每个视频帧之前，需要先采用先旋转后剪裁的方式，对该视频帧的图像进行变形处理，然后再显示处理后的图像，如此，可以确保图像的显示不受显示设备倾斜的影响，即不管显示设备当前是否处于正立状态，图像的显示都可以保持水平状态，从而可以与用户的视角相匹配，有效提高了用户观看体验。
附图说明
图1为本发明实施例的方法流程示意图；
图2为根据本发明的显示设备的显示方向切换实现示意图；
图3为根据本发明实施例的效果示意图；
图4为根据本发明的电子设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的图像变形适配方法流程示意图，如图1所示，该实施例主要包括：
步骤101、对于当前需要显示的每帧图像，采用先旋转后剪裁的方式，对该帧图像进行处理。
其中，图像的旋转角度为n×360°-θ；θ为将显示设备从横向正立(即横屏正立)位置切换至当前位置需要旋转的角度，n≥0。
上述步骤中，所述n为预设的旋转系数。较佳地，为了便于实现，n＝0，或n＝1。当n＝0时，图像的旋转角度为－θ；当n＝1时，图像的旋转角度为360°－θ。通过设置图像的旋转角度为n×360°-θ，可以确保图像的最终显示效果是水平的。
本步骤中，显示设备在显示每帧图像之前，通过采用先旋转后剪裁的方式，对该帧图像进行变形处理，可以使得所显示的图像不受显示设备当前所处的状态影响，无论显示设备是否处于正立状态，该帧图像的显示效果都会是水平的，从而可以与用户的视角相匹配，有效提高了用户观看体验。
步骤102、显示所述处理得到的图像。
较佳地，上述步骤101中具体可以采用下述方法采用先旋转后剪裁的方式，对该帧图像进行处理：
步骤1011、根据当前的图像缩放比例，对该帧图像进行缩放处理。
本步骤中，所述图像缩放比例的缺省值可以为预设的图像缩放比例范围的最大值。
较佳地，为了获得最大的显示画面，可以按照
Figure BDA0002528464330000081
设置图像缩放比例范围的最大值Rmax。
较佳地，为了获得较好的显示效果，可以按照公式
Figure BDA0002528464330000082
得到所述图像缩放比例范围的最小值Rmin。
其中，
Figure BDA0002528464330000091
α＝tan-1(H/W)；
W为显示设备的显示区域的宽；
H为显示设备的显示区域的高；
β＝tan-1(h/w)；
w为当前需要显示的所述帧图像的宽；
h为当前需要显示的所述帧图像的高；
θ为将显示设备从横向正立位置切换至当前位置需要旋转的角度。
较佳地，为了进一步提高图像显示控制的灵活性，用户可以通过输入图像缩放指令对当前的图像缩放比例进行更新，即：
当检测到用户的图像缩放指令时，根据所述图像缩放指令，在所述图像缩放比例范围内，对当前的所述图像缩放比例进行更新。
较佳的，在显示设备切换显示方式的旋转过程中，显示设备可以通过弹出图像缩放比例控制窗口，用户可以在该窗口内设置图像缩放比例控制参数(例如通过点击图像放大键和图像缩小键进行设置)，根据用户设置的图像缩放比例控制参数即可计算得到相应的图像缩放比例。具体计算方式如下：
显示设备计算从显示方向开始切换到当前时刻，用户累计点击放大键次数m，点击缩小键次数n，当前的图像缩放比例R的计算方式如下：
Rtemp＝Rmax×(1+0.1(m-n))；
Figure BDA0002528464330000092
其中，Rmax为上述图像缩放比例范围的最大值；
Figure BDA0002528464330000093
Rmin为图像缩放比例范围的最小值；
Figure BDA0002528464330000101
步骤1012、将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像。
较佳地，步骤1012中可以采用下述方法，将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像：
步骤10121、将所述缩放处理后的图像置于画面的中心区域；所述画面具有所述第一尺寸规格。
步骤10122、如果当前所述画面中存在空白区域，则对空白区域进行填充，得到具有所述第一尺寸规格的图像。
这里具体填充时可以采用平铺或者虚化填充等现有的填充方式实现，在此不再赘述。
较佳地，为了使得当前处理的一帧图像经过处理后可以显示出原图像的最大区域，可以按照
Figure BDA0002528464330000102
设置所述第一尺寸规格的宽，按照
Figure BDA0002528464330000103
设置所述第一尺寸规格的高Hd。
其中，α＝tan-1(H/W)，W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高；β＝tan-1(h/w)，w为当前需要显示的所述帧图像的宽，h为当前需要显示的所述帧图像的高。
步骤1013、将所述转换得到的图像旋转所述角度n×360°-θ。
这里，为了补偿显示设备倾斜对图像显示的视觉影响，在对图像进行显示前的处理时，需要将图像旋转n×360°-θ，以使得图像的最终显示效果与显示设备是否倾斜无关，是水平的，从而可以始终与用户的视角保持一致。
步骤1014、按照预设的第二尺寸规格，对所述旋转后的图像进行剪裁，得到具有所述第二尺寸规格的图像。
较佳地，本步骤可以采用下述方法对旋转后的图像进行剪裁：
根据预设的剪裁策略，确定当前的剪裁中心；
根据所述剪裁中心，以所述第二尺寸规格作为图像剪裁尺寸，对所述旋转后的图像进行剪裁。
这里，为了获得满屏的图像显示效果，所述第二尺寸规格可以设置为W×H；W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高。
在实际应用中，本领域技术人员可以根据实际需要设置剪裁策略。
较佳地，所述剪裁策略可以是以图像中心为剪裁中心；也可以是：根据预设的重点区域检测策略，检测出视频帧的图像的重点区域，以所检测出的重点区域为剪裁中心。
当以图像中心为剪裁中心时，可以获得最大的图像显示范围。
所述重点区域可以根据用户的实际需要灵活设置，例如可以以图像中的焦点所在位置为重点区域，从而可以把用户主要想看的给显示出来。
进一步地，在实际应用中，显示设备的旋转可以采用多种触发机制。
例如，显示设备可以根据用户的显示方向切换请求，触发设备进行相应的旋转，即：
当所述显示设备检测到用户的显示方向切换请求时，判定当前需要旋转显示设备，并触发执行相应的显示设备旋转过程。
显示设备旋转过程的具体执行方法为本领域技术人员所掌握，在此不再赘述。
较佳地，考虑到的实际应用中，一段视频可能同时存在横屏方向和竖屏方向的视频帧，为了获得更好地视频显示效果，显示设备可以采用下述方法自动触发执行相应的旋转：
对于当前需要显示的每帧图像，判断当前所述显示设备的显示方向与当前经过t时间后需要显示的相应帧图像的图像显示方向是否一致，如果不一致，则判定需要旋转所述显示设备，并触发相应的旋转过程；所述t为所述显示设备完成所述旋转过程需要的时间。
通过上述方法，在每显示一帧图像时，需要判断相应的时间t后帧的图像显示方向是否与当前所述显示设备的显示方向一致，如此，可以及时检测到不同显示方向的帧，并触发显示设备的显示方向的切换，从而可以使得显示设备的显示方向能够与待显示的帧图像的显示方向相匹配，因此可以进一步实现视频播放过程中视频显示方向的自适应，有效提高了视频播放效果。
上述显示设备的显示方向包括横屏方向(简称横向)和竖屏方向(简称竖向)两种。
在实际应用中，对于一个视频帧而言，其图像显示方向的判断可以采用现有方法实现，具体说明如下：
解析获得视频帧的宽w、高h以及旋转角度δ信息，当δ为0度或者180度时，如果w>h，则显示方向为横屏方向，否则，为竖屏方向；当δ为90度或者270度时，如果w>h，则显示方向为竖屏方向，否则，为横屏方向。
图2给出了在显示设备旋转实现方案中，将上述切换机制与上述每帧图像显示时的变形适配方法相结合的图像显示过程示意图。在该过程中，显示设备检测到用户的显示方向切换请求或者检测到当前满足自适应切换触发条件(当前帧和t秒后的图像显示方向不匹配)时，将会触发切换显示方向，在该切换过程中，需要对所显示的图像进行变形适配处理，直到显示方向切换完成，如此，可以确保在显示设备的显示方向切换过程中所显示的图像效果不受显示设备旋转的影响。
通过上述方法实施例可以看出应用上述方法实施例，可以确保图像的显示效果不受显示设备倾斜的影响，图3给出了将上述方法实施例应用于显示设备旋转过程中的效果示意图，简单起见，假设旋转过程中所显示的图像内容保持不变，从图3可以看出在显示设备旋转过程中所显示的内容始终是与用户视角一致的，即无论显示设备是否水平，所显示的“AA”都是水平的。
需要说明的是，上述方法实施例不仅可以应用于显示设备旋转的场景，还可以应用于显示设备静态显示的过程，无论显示设备在显示屏幕所在平面内处于怎样的状态，均可以使得其显示的图像与显示设备正立时所显示的图像在水平方向保持一致，从而自适应地优化了显示效果，增强了图像显示的稳定性，进而提高了用户观看图像的视觉体验。
与上述方法实施例相对应，本申请还提供一种图像变形适配装置实施例，该装置包括：处理器，所述处理器用于：
对于当前需要显示的每帧图像，采用先旋转后剪裁的方式，对该帧图像进行处理，显示所述处理得到的图像；
其中，图像的旋转角度为n×360°-θ；θ为将显示设备从横向正立位置切换至当前位置需要旋转的角度，n≥0。
较佳地，所述处理器，具体用于采用先旋转后剪裁的方式，对该帧图像进行处理，包括：
根据当前的图像缩放比例，对该帧图像进行缩放处理；
将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像；
将所述转换得到的图像旋转所述角度n×360°-θ；
按照预设的第二尺寸规格，对所述旋转后的图像进行剪裁，得到具有所述第二尺寸规格的图像。
较佳地，所述处理器，具体用于将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像，包括：
将所述缩放处理后的图像置于画面的中心区域；所述画面具有所述第一尺寸规格；
如果当前所述画面中存在空白区域，则对空白区域进行填充，得到具有所述第一尺寸规格的图像。
较佳地，所述图像缩放比例的缺省值为预设的图像缩放比例范围的最大值。
所述处理器，进一步用于当检测到用户的图像缩放指令时，根据所述图像缩放指令，在所述图像缩放比例范围内，对当前的所述图像缩放比例进行更新。
较佳地，根据公式
Figure BDA0002528464330000141
得到所述图像缩放比例范围的最大值Rmax；
根据公式
Figure BDA0002528464330000142
得到所述图像缩放比例范围的最小值Rmin；
其中，
Figure BDA0002528464330000143
α＝tan-1(H/W)；
W为显示设备的显示区域的宽；
H为显示设备的显示区域的高；
β＝tan-1(h/w)；
w为当前需要显示的所述帧图像的宽；
h为当前需要显示的所述帧图像的高。
较佳地，所述第一尺寸规格的宽为Wd，
Figure BDA0002528464330000144
所述第一尺寸规格的高为Hd，
Figure BDA0002528464330000145
α＝tan-1(H/W)，W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高；β＝tan-1(h/w)，w为当前需要显示的所述帧图像的宽，h为当前需要显示的所述帧图像的高。
较佳地，所述处理器，具体用于对所述旋转后的图像进行剪裁，包括：
根据预设的剪裁策略，确定当前的剪裁中心；
根据所述剪裁中心，以所述第二尺寸规格作为图像剪裁尺寸，对所述旋转后的图像进行剪裁；所述第二尺寸规格为W×H；W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高。
较佳地，所述剪裁策略为以图像中心为剪裁中心；或者，根据预设的重点区域检测策略，检测出视频帧的图像的重点区域，以所检测出的重点区域为剪裁中心。
较佳地，所述处理器，进一步用于当所述显示设备检测到用户的显示方向切换请求时，判定当前需要旋转显示设备，并触发执行相应的显示设备旋转过程。
较佳地，所述处理器，进一步用于对于当前需要显示的每帧图像，判断当前所述显示设备的显示方向与当前经过t时间后需要显示的相应帧图像的图像显示方向是否一致，如果不一致，则判定需要旋转所述显示设备，并触发相应的旋转过程；所述t为所述显示设备完成所述旋转过程需要的时间。
本申请还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的视频变形适配方法的步骤。
本申请还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
图4为根据本发明的电子设备结构图。
如图4所示，该电子设备包括：处理器401和存储器402；其中存储器402中存储有可被处理器401执行的应用程序，用于使得处理器401执行如上任一项所述的图像变形适配方法。
其中，存储器402具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器401可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本申请所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像变形适配方法，其特征在于，包括：
对于当前需要显示的每帧图像，采用先旋转后剪裁的方式，对该帧图像进行处理，显示所述处理得到的图像；
其中，图像的旋转角度为n×360°-θ；θ为将显示设备从横向正立位置切换至当前位置需要旋转的角度，n≥0。
2.根据权利要求1所述的方法，其特征在于，所述采用先旋转后剪裁的方式，对该帧图像进行处理包括：
根据当前的图像缩放比例，对该帧图像进行缩放处理；
将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像；
将所述转换得到的图像旋转所述角度n×360°-θ；
按照预设的第二尺寸规格，对所述旋转后的图像进行剪裁，得到具有所述第二尺寸规格的图像。
3.根据权利要求2所述的方法，其特征在于，所述转换为预设的第一尺寸规格的图像包括：
将所述缩放处理后的图像置于画面的中心区域；所述画面具有所述第一尺寸规格；
如果当前所述画面中存在空白区域，则对空白区域进行填充，得到具有所述第一尺寸规格的图像。
4.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
所述图像缩放比例的缺省值为预设的图像缩放比例范围的最大值；
当检测到用户的图像缩放指令时，根据所述图像缩放指令，在所述图像缩放比例范围内，对当前的所述图像缩放比例进行更新。
5.根据权利要求4所述的方法，其特征在于，
根据公式
Figure FDA0002528464320000021
得到所述图像缩放比例范围的最大值Rmax；
根据公式
Figure FDA0002528464320000022
得到所述图像缩放比例范围的最小值Rmin；
其中，
Figure FDA0002528464320000023
α＝tan-1(H/W)；
W为显示设备的显示区域的宽；
H为显示设备的显示区域的高；
β＝tan-1(h/w)；
w为当前需要显示的所述帧图像的宽；
h为当前需要显示的所述帧图像的高。
6.根据权利要求2所述的方法，其特征在于，所述第一尺寸规格的宽为Wd，
Figure FDA0002528464320000024
所述第一尺寸规格的高为Hd，
Figure FDA0002528464320000025
α＝tan-1(H/W)，W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高；β＝tan-1(h/w)，w为当前需要显示的所述帧图像的宽，h为当前需要显示的所述帧图像的高。
7.根据权利要求2所述的方法，其特征在于，对所述旋转后的图像进行剪裁包括：
根据预设的剪裁策略，确定当前的剪裁中心；
根据所述剪裁中心，以所述第二尺寸规格作为图像剪裁尺寸，对所述旋转后的图像进行剪裁；所述第二尺寸规格为W×H；W为所述显示设备的显示区域的宽，H为所述显示设备的显示区域的高。
8.根据权利要求7所述的方法，其特征在于，所述剪裁策略为以图像中心为剪裁中心；或者，根据预设的重点区域检测策略，检测出视频帧的图像的重点区域，以所检测出的重点区域为剪裁中心。
9.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当所述显示设备检测到用户的显示方向切换请求时，判定当前需要旋转显示设备，并触发执行相应的显示设备旋转过程。
10.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
对于当前需要显示的每帧图像，判断当前所述显示设备的显示方向与当前经过t时间后需要显示的相应帧图像的图像显示方向是否一致，如果不一致，则判定需要旋转所述显示设备，并触发相应的旋转过程；所述t为所述显示设备完成所述旋转过程需要的时间。
11.一种图像变形适配装置，其特征在于，包括：处理器，所述处理器用于：
对于当前需要显示的每帧图像，采用先旋转后剪裁的方式，对该帧图像进行处理，显示所述处理得到的图像；
其中，图像的旋转角度为n×360°-θ；θ为将显示设备从横向正立位置切换至当前位置需要旋转的角度，n≥0。
12.根据权利要求11所述的装置，其特征在于，所述处理器，具体用于采用先旋转后剪裁的方式，对该帧图像进行处理，包括：
根据当前的图像缩放比例，对该帧图像进行缩放处理；
将所述缩放处理后的图像，转换为预设的第一尺寸规格的图像；
将所述转换得到的图像旋转所述角度n×360°-θ；
按照预设的第二尺寸规格，对所述旋转后的图像进行剪裁，得到具有所述第二尺寸规格的图像。
13.根据权利要求12所述的装置，其特征在于，所述图像缩放比例的缺省值为预设的图像缩放比例范围的最大值；
所述处理器，进一步用于当检测到用户的图像缩放指令时，根据所述图像缩放指令，在所述图像缩放比例范围内，对当前的所述图像缩放比例进行更新。
14.根据权利要求13所述的装置，其特征在于，
根据公式
Figure FDA0002528464320000041
得到所述图像缩放比例范围的最大值Rmax；
根据公式
Figure FDA0002528464320000042
得到所述图像缩放比例范围的最小值Rmin；
其中，
Figure FDA0002528464320000043
α＝tan-1(H/W)；
W为显示设备的显示区域的宽；
H为显示设备的显示区域的高；
β＝tan-1(h/w)；
w为当前需要显示的所述帧图像的宽；
h为当前需要显示的所述帧图像的高。
15.根据权利要求11所述的装置，其特征在于，所述处理器，进一步用于对于当前需要显示的每帧图像，判断当前所述显示设备的显示方向与当前经过t时间后需要显示的相应帧图像的图像显示方向是否一致，如果不一致，则判定需要旋转所述显示设备，并触发相应的旋转过程；所述t为所述显示设备完成所述旋转过程需要的时间。
CN202010511471.4A 2020-06-08 2020-06-08 一种图像变形适配方法和装置 Pending CN111683282A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010511471.4A CN111683282A (zh) 2020-06-08 2020-06-08 一种图像变形适配方法和装置
CN202011456034.3A CN112367552B (zh) 2020-06-08 2020-12-10 一种图像变形适配方法和装置
PCT/KR2021/018652 WO2022124822A1 (en) 2020-06-08 2021-12-09 Image morphing adaption method and apparatus
US18/199,127 US20230289918A1 (en) 2020-06-08 2023-05-18 Image morphing adaption method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010511471.4A CN111683282A (zh) 2020-06-08 2020-06-08 一种图像变形适配方法和装置

Publications (1)

Publication Number Publication Date
CN111683282A true CN111683282A (zh) 2020-09-18

Family

ID=72454939

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010511471.4A Pending CN111683282A (zh) 2020-06-08 2020-06-08 一种图像变形适配方法和装置
CN202011456034.3A Active CN112367552B (zh) 2020-06-08 2020-12-10 一种图像变形适配方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011456034.3A Active CN112367552B (zh) 2020-06-08 2020-12-10 一种图像变形适配方法和装置

Country Status (3)

Country Link
US (1) US20230289918A1 (zh)
CN (2) CN111683282A (zh)
WO (1) WO2022124822A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124822A1 (en) * 2020-06-08 2022-06-16 Samsung Electronics Co., Ltd. Image morphing adaption method and apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114938469B (zh) * 2022-05-16 2024-08-06 深圳康佳电子科技有限公司 摄像头的图像处理方法、装置及摄像头和显示系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145291A (ja) * 2002-10-03 2004-05-20 Casio Comput Co Ltd 画像表示装置、画像表示方法及びプログラム
KR20140133363A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
CN103489155B (zh) * 2013-09-18 2016-10-05 厦门美图网科技有限公司 一种基于传感器的水平自动矫正的拍照方法
CN104866080B (zh) * 2014-02-24 2020-08-18 腾讯科技（深圳）有限公司 屏幕内容显示方法和系统
CN105100396A (zh) * 2015-05-21 2015-11-25 努比亚技术有限公司 一种移动终端及其旋转显示方法和装置
CN104935857A (zh) * 2015-06-10 2015-09-23 联想(北京)有限公司 一种视频处理方法和电子设备
CN109922204A (zh) * 2017-12-13 2019-06-21 中兴通讯股份有限公司 图像处理方法及终端
CN111679731A (zh) * 2019-03-11 2020-09-18 三星电子株式会社 显示装置及其控制方法
CN111010476A (zh) * 2019-11-13 2020-04-14 北京奇艺世纪科技有限公司 一种图像显示方法、装置、终端和可读存储介质
CN111683282A (zh) * 2020-06-08 2020-09-18 三星电子（中国）研发中心 一种图像变形适配方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124822A1 (en) * 2020-06-08 2022-06-16 Samsung Electronics Co., Ltd. Image morphing adaption method and apparatus

Also Published As

Publication number Publication date
CN112367552A (zh) 2021-02-12
WO2022124822A1 (en) 2022-06-16
US20230289918A1 (en) 2023-09-14
CN112367552B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
US9240056B2 (en) Video retargeting
US7424218B2 (en) Real-time preview for panoramic images
JP5906028B2 (ja) 画像処理装置、画像処理方法
US9396519B2 (en) Content aware video resizing
CN115052104B (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
KR20110091378A (ko) 카메라 동영상 처리 및 재생 방법 및 장치
CN106980510B (zh) 一种播放器的视窗自适应方法及装置
US10911677B1 (en) Multi-camera video stabilization techniques
JP2012532553A (ja) オーバーレイグラフィックによる画像のリターゲッティング
JP2012513719A (ja) 画像スケーリング曲線の生成
CN111683282A (zh) 一种图像变形适配方法和装置
WO2021227693A1 (zh) 拍摄方法、装置、移动终端及芯片系统
JP2009512381A (ja) デジタル画像形成における動き歪みを低減させるための方法及び装置
US8588550B2 (en) Virtual level for a digital camera
CN111240780A (zh) 图像显示方法、装置、显示终端以及可读存储介质
CN114222188A (zh) 基于旋转屏的全屏显示方法、装置、设备及存储介质
JP2008046608A (ja) ビデオウィンドウ検出器
WO2019184719A1 (zh) 一种拍照的方法和装置
CN111726666A (zh) 视频显示控制方法和装置
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端
US10891712B2 (en) Correcting image overlay
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN114938469B (zh) 摄像头的图像处理方法、装置及摄像头和显示系统
CN117170418B (zh) 云台控制方法、装置、设备以及存储介质
CN113361463B (zh) 最优显著区确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200918