CN112433599A - 显示方法、装置和计算机可读存储介质 - Google Patents

显示方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN112433599A
CN112433599A CN201910788617.7A CN201910788617A CN112433599A CN 112433599 A CN112433599 A CN 112433599A CN 201910788617 A CN201910788617 A CN 201910788617A CN 112433599 A CN112433599 A CN 112433599A
Authority
CN
China
Prior art keywords
display
content data
processed
display resolution
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910788617.7A
Other languages
English (en)
Inventor
廖可
宫卫涛
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201910788617.7A priority Critical patent/CN112433599A/zh
Publication of CN112433599A publication Critical patent/CN112433599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例提供显示方法、装置和计算机可读存储介质。根据本发明实施例所示的显示方法，包括：获取观测参数和待处理内容数据；至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。

Description

显示方法、装置和计算机可读存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种待处理内容数据显示方法、装置和计算机可读存储介质。
背景技术
待处理内容数据可以是诸如
Figure BDA0002178858770000011
之类的全景相机拍摄的360度全景图像或视频，也可以是通过诸如广角镜头所获取的二维的广角图像或广角视频。在待处理内容数据显示过程中，所获取的图像或视频可以经处理以投影方式或其他方式显示在屏幕上。此待处理内容数据的显示技术，尤其是全景图像或视频的显示技术可以应用到诸多沉浸式体验场景中，如沉浸式游戏、沉浸式健身、可穿戴设备互动等。用户可以借助这种显示技术获得各种逼真的沉浸式体验，此外，用户还可以结合做出的动作、所在的位置等因素与显示内容进行互动。
为了增强沉浸感，在用户进行沉浸式体验时，希望能够尽量观察到更加清晰、逼真的图像。由此，在显示时，希望不断提高待处理内容数据的显示分辨率，并尽量扩大所显示的视野范围。然而，考虑到系统性能，特别是系统的即时传输能力、渲染处理能力等，显示分辨率的提高和视野范围的扩大往往是不能兼得的，需要在实际应用中进行平衡。
因此，需要一种能够平衡待处理内容数据的显示分辨率和视野范围的显示方法和装置，以改善显示效果，增强用户体验。
发明内容
为解决上述技术问题，根据本发明的一个方面，提供了一种显示方法，包括：获取观测参数和待处理内容数据；至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
根据本发明的又一个方面，提供一种显示装置，包括：获取单元，配置为获取观测参数和待处理内容数据；划分单元，配置为至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；确定单元，配置为确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；处理单元，配置为利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
根据本发明的再一个方面，提供一种显示装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取观测参数和待处理内容数据；至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
根据本发明的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取观测参数和待处理内容数据；至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
根据本发明的上述待处理内容数据显示方法、装置和计算机可读存储介质，能够根据观测参数和人眼视觉属性对所获取的待处理内容数据进行划分，并根据所设置的待处理内容数据不同部分的不同显示分辨率，对所划分出的待处理内容数据进行处理并显示。这种待处理内容数据显示方法、装置和计算机可读存储介质能够有效平衡待处理内容数据的显示分辨率和视野范围等因素，进一步改善显示效果，增强用户体验。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出根据本发明一个实施例的显示方法的流程图；
图2示出根据本发明一个实施例的人眼视觉模型的示意图；
图3示出根据本发明一个实施例对第一部分和第二部分进行划分的示意图；
图4示出根据本发明实施例的不同形状屏幕的不同投影方式的示例；
图5(a)示出了根据本发明实施例，针对球面屏幕或曲面屏幕进行投影时，对应清晰区域的第一部分和对应模糊区域的第二部分的划分的示例；图5(b)示出了根据本发明实施例，针对平面屏幕或CAVE屏幕进行投影时，对应清晰区域的第一部分和对应模糊区域的第二部分的划分的示例；
图6示出了根据本发明一个实施例的在全景视频中所获取的当前帧的消失点的示例，及该当前帧相对应的显示数据的处理方式示意图；
图7示出了根据本发明一个实施例在用户感兴趣区域变化的过程中，相应的第一部分和第二部分的范围变化的示意图；
图8示出根据本发明一个实施例的显示装置的框图；
图9示出根据本发明一个实施例的显示装置的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的显示方法、装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
下面将参照图1描述根据本发明实施例的显示方法。本发明实施例的显示方法既可以应用于静态的二维图像(如二维的广角图像)或全景图像，也可以应用于二维视频(如二维的广角视频)或全景视频等，在此不做限制。图1示出该显示方法100的流程图。
如图1所示，在步骤S101中，获取观测参数和待处理内容数据。
在本步骤中，所获取的待处理内容数据可以是例如全景内容或广角内容等。其中，全景内容可以是由诸如理光
Figure BDA0002178858770000041
之类的全景相机所获取的全景图像，也可以是由运动对象(例如移动机器人、车辆等)配备的全景摄像机获取的全景视频，或者可以是由普通相机所获取的二维图像或视频所拼接成的全景图像或视频。广角内容可以是由广角镜头所获取的广角图像或广角视频。另外，观测参数可以是在观测过程中，与屏幕显示、用户行为中的至少一个相关的参数，例如可以是在沉浸式场景观测过程中，用户的人眼/脸部/头部的朝向、用户与用于显示的屏幕之间的相对距离、屏幕的尺寸中的一个或多个参数。这里的待处理内容数据和观测参数的说明仅为示例，在实际应用中，还可以采用任何其他参数作为观测参数，在此不做限制。
在步骤S102中，至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据。
在本步骤中，可选地，当所述待处理内容数据是全景图像或广角图像时，可以针对所述全景图像或广角图像进行划分，得到至少第一部分和第二部分；当所述待处理内容数据是全景视频或广角视频时，可以针对所述全景视频或广角视频的至少一帧进行划分，得到至少第一部分和第二部分。例如，在步骤S102中，可以将所述全景视频或广角视频的当前帧划分出至少第一部分和第二部分。
可选地，可以至少根据之前获取的观测参数，结合人眼视觉模型体现的人眼视觉属性，对待处理内容数据进行划分。在一个示例中，可以将待处理内容数据整体划分为第一部分和第二部分。在另一示例中，可以将待处理内容数据的一部分划分为第一部分和第二部分。可选地，第一部分和第二部分可以邻接且不重叠，例如，当第二部分的外围边界围成一个封闭图形时，第一部分可以是第二部分的外围边界所包围的区域之中的一部分，该包围的区域的其他部分则可以为第二部分；再例如，第一部分和第二部分也可以并非内外分布，而是共用一部分边界以并列排布。当然，可选地，第一部分也可以与第二部分不邻接，二者不存在共用的边界。上述第一部分和第二部分的划分方式仅为示例，在实际应用中，可以采用任何第一部分和第二部分的划分方式，在此不做限制。
图2示出根据本发明实施例的人眼视觉模型的示意图。如图2所示，人眼立体视觉视角在图2中右侧所示的正常视域60度的范围内时，对应于左侧的清晰区域124度的内圆，在此视域中，人眼成像是清晰的，因此一般需要对应较高的图像或视频清晰度，也即需要对应所显示的数据的较高显示分辨率。此外，在图2右侧所示的垂直视域140度之内(可以包括上方的65度视域以及下方的75度视域)和正常视域60度之外的范围，可以对应于左侧的模糊区域，及视域124度至188度的外侧圆环，在此视域中，人眼成像是模糊的，因此一般可以对应较低的图像或视频清晰度，也即可以对应所显示的数据的较低显示分辨率。这里清晰区域的视域范围和模糊区域的视域范围仅为示例，在实际应用中，可以采用任何适当的数值，在此不做限制。例如，图2右侧所示的垂直视域的取值也可以为142度，或145度等，其分别对应于不同范围的模糊区域的视域范围。
如果将图2所示的人眼视觉模型体现的人眼视觉属性，结合观测参数，应用到本发明实施例的场景中，则可以分别参考图2中的清晰区域124度视域，并进一步过渡到模糊区域188度视域的范围，来确定用户所观看的屏幕上的显示数据对应的清晰区域和模糊区域，以利于用户进行观看。在一个实施例中，如果在不考虑屏幕尺寸的情况下，可以根据用户的人眼/脸部/头部的朝向，结合用户与屏幕之间的相对距离，将待处理内容数据划分出与将要显示在内侧的124度视域的显示数据对应的第一部分，和与将要显示在外侧124度视域到188度视域的显示数据对应的第二部分。其中，第一部分对应清晰区域，可以具有较高的显示分辨率；第二部分对应模糊区域，可以具有较低的显示分辨率。第一部分和第二部分可以组成待显示内容数据。这样，就可以在尽量考虑系统性能的前提下，保证用户所能观看到的视野范围，并在相应的视野范围保证足够的显示分辨率，以改善显示效果，提高用户满意度。
在另一个实施例中，可选地，待处理内容数据在屏幕上整体的显示范围可以包括至少一部分前述对应模糊区域的显示范围。在此基础上，如果进一步考虑屏幕尺寸这一观测参数，则可以将待处理内容数据中不能够显示在屏幕上的部分剔除，以进一步节约系统资源。图3示出了根据本发明实施例，考虑人眼视觉属性并结合屏幕尺寸等观测参数以划分第一部分和第二部分的范围的示意图。如图3所示，在考虑屏幕尺寸的情况下，可以根据用户的人眼/脸部/头部的朝向，结合用户与屏幕之间的相对距离di和屏幕尺寸，将待处理内容数据划分出对应清晰区域的第一部分和对应模糊区域的第二部分。其中，与第一部分对应的显示数据的边界可以落在自视域中心向124度视域和屏幕边界处扩散的较小边界上，与第二部分对应的显示数据的边界可以落在自第一部分边界向188度视域和屏幕边界处扩散的较小边界上。例如，考虑到图3中124度视域的边界均位于屏幕边界内，因此与第一部分对应的显示数据可以对应于显示在图3左侧所示的半径为rc的圆的区域；考虑到图3中188度视域的边界位于屏幕边界之外，则与第二部分对应的显示数据可以对应于显示在图3左侧所示的自第一部分边界至屏幕边界之间的区域。与前述类似，第一部分可以具有较高的显示分辨率；第二部分可以具有较低的显示分辨率。第一部分和第二部分可以组成待显示内容数据。在后续步骤中，可以对所述第一部分和第二部分组成的待显示内容数据进行处理，以生成显示数据并在屏幕上显示。
在本发明另一实施例中，当待处理内容数据为全景内容时，所述待显示内容数据还可以进一步根据屏幕的投影方式进行划分。在本发明实施例中，针对全景内容进行投影的屏幕可以具有不同的尺寸、形状并相应可以选择不同的投影方式，适当的投影方式可以尽可能地减少畸变，更好地对全景内容进行展示，改善用户体验。图4示出了当待处理内容数据为全景内容时，根据本发明实施例的不同形状屏幕的不同投影方式的示例。如图4所示，可选地，对于平面屏幕可以采用平面投影；对于洞穴(CAVE)屏幕可以采用立方体投影；对于球面屏幕可以采用球面投影；对于曲面屏幕可以采用圆柱立体投影。上述各种投影方式仅为可选择的示例，在实际应用中，可以根据不同的应用场景任意选择投影方式，在此不做限制。针对图4所示的不同的屏幕，相应的对应清晰区域的第一部分和对应模糊区域的第二部分的划分方式也会不尽相同。图5(a)示出了针对球面屏幕或曲面屏幕进行投影时，对应清晰区域的第一部分和对应模糊区域的第二部分的划分的示例，其中第一部分和第二部分分别在屏幕上投影为一处或多处弧形区域，di为用户与屏幕之间的相对距离。图5(b)示出了针对例如平面屏幕或CAVE屏幕进行平面投影时，对应清晰区域的第一部分和对应模糊区域的第二部分的划分的示例，此时第一部分和第二部分分别在屏幕上投影为一处或多处平面区域，di为用户与屏幕之间的相对距离。其中，图5(b)右上角示出了用户正对的屏幕上能够显示完整的第一部分的示例，此时第一部分投影为用户正对屏幕中心的平面区域，第二部分占据了用户正对屏幕上的两侧区域和两侧的屏幕区域。图5(b)右下角示出了用户正对的屏幕上不能够显示完整的第一部分的示例，此时第一部分投影到用户正对屏幕的所有区域以及两侧的屏幕的部分区域，第二部分则占据了两侧的屏幕的其他区域。当然，图5(a)所示的球面屏幕或曲面屏幕、图5(b)所示的平面屏幕或CAVE屏幕等，不仅可以针对待处理内容数据为全景内容时的示例，也可以针对待处理内容数据为广角内容(如广角图像或广角视频)的示例。例如，广角内容也可以经处理并投影到曲面屏幕或平面屏幕上，并根据不同的视域需求在屏幕的不同位置投影第一部分和第二部分中的至少一个。
在本发明再一实施例中，待显示内容数据还可以进一步根据所述显示数据的显示放大率划分，其中所述显示放大率由所述观测参数和用于获取所述待处理内容数据时的拍摄参数确定。在沉浸式体验中，为了使得效果更加逼真，因此希望用户所观看的在屏幕上所投影的物体尺寸与实际场景中物体的尺寸保持一致，在这一前提下，希望针对所显示的显示数据利用显示放大率进行相应的放大或缩小操作，以进一步提高显示效果，改善用户体验。可选地，显示放大率ω可以和用户与屏幕之间的相对距离di、用于获取待处理内容数据时的拍摄参数，例如相机的焦距f等确定。在一个示例中，显示放大率ω可以与相对距离di与焦距f的比值(di/f)成比例，也就是显示放大率ω可以与相对距离di成正比，与相机的焦距f成反比。上述确定显示放大率的方式仅为示例，在实际应用中，可以根据其他参数采用其他方式来确定所述显示放大率，在此不做限制。
当显示放大率ω被确定之后，考虑到显示放大率的影响，可以根据所述显示数据的显示放大率来划分形成待显示内容数据的第一部分和第二部分对应的区域。例如，当显示数据需要放大时，考虑到人眼视觉模型中人的视域保持不变，可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地减少，从而保证第一部分和第二部分在显示数据中经放大后，所对应的视域能够与人眼视觉模型的要求一致。当显示数据需要缩小时，同样考虑到人眼视觉模型中人的视域保持不变，可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地增加，从而保证第一部分和第二部分在显示数据中经缩小后，所对应的视域也能够与人眼视觉模型的要求一致。
此外，考虑到前述实施例中显示放大率ω和用户与屏幕之间的相对距离di成正比的关系，当用户与屏幕之间的相对距离di增加时，即表示显示数据需要放大，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地减少，从而保证第一部分和第二部分在显示数据中经放大后，所对应的视域能够与人眼视觉模型的要求一致。此外，当用户与屏幕之间的相对距离di减小时，显示数据需要缩小，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地增加，从而保证第一部分和第二部分在显示数据中经缩小后，所对应的视域也能够与人眼视觉模型的要求一致。
在本发明又一实施例中，待显示内容数据还可以进一步根据所述待处理内容数据中参考对象的移动方向进行划分。具体地，当待处理内容数据是全景视频或广角视频时，可以在待处理内容数据中选取适当的参考对象，并且判断此参考对象的移动方向，随后，可以在显示时，根据用户的人眼/脸部/头部的朝向等，对所显示的显示数据进行调整，例如，在一个示例中，可以使得所选择的参考对象的移动方向与用户的朝向保持一致，从而进一步改善用户体验。以下以待处理内容数据为全景视频为例，来说明根据本发明实施例的具体操作方式。可选地，根据本发明一个实施例，可以将全景视频的显示应用于沉浸式跑步机的体验中，此时，可以尽量保持所显示的显示数据中，参考对象(例如摄像机)的移动方向与用户跑步或面向的方向一致。例如，当全景视频是通过在移动的车辆/行人上安装的摄像机拍摄的时候，可以通过上述方法使得用户跑步的方向与全景视频中车辆/行人行进方向一致，从而使得用户通过观看车辆/行人行进时摄像机所拍摄的场景，能够感觉到自身是在车辆/行人所在的道路上奔跑，以增强用户的沉浸感。
可选地，在针对全景视频进行初始显示时，可以结合所述全景视频的一个或多个先前帧，确定全景视频的当前帧的参考对象的移动方向，并将全景视频的当前帧划分出至少第一部分和第二部分。可选地，参考对象的移动方向可以通过多种方式获取，例如，可以通过全景视频中至少两个先前帧，判断全景视频当前帧的消失点位置，并判断当前帧中参考对象的移动方向；再例如，也可以根据全景视频中至少一个先前帧和全景视频的当前帧，判断全景视频当前帧的消失点位置，并判断当前帧中参考对象的移动方向。图6示出了根据本发明实施例的在全景视频中所获取的当前帧的消失点的示例，及该当前帧相对应的显示数据的处理方式示意图。在本实施例中，可以首先通过图像识别或神经网络训练等方式，识别全景视频至少两帧中的一个或多个静态物体(例如路标、建筑物、树木等)，如前所述，这里的至少两帧，既可以是全景视频中至少两个先前帧，也可以是全景视频中至少一个先前帧以及全景视频的当前帧，在此不做限制；然后，通过对该一个或多个静态物体进行跟踪，可以得到该一个或多个静态物体在全景视频当前帧中分别对应的移动向量，例如，移动向量可以为光流，用于表示全景视频当前帧中像素点的瞬时速度；随后，可以对所获取的这些移动向量进行降噪并聚类，从而根据全景视频当前帧中，处理后的一个或多个移动向量所在的直线的方向，确定至少一个消失点的位置。在确定消失点之后，可以根据所确定的消失点，判断全景视频当前帧中参考对象的移动方向。如图6所示，其右侧全景图中两个箭头指示的向量，可以表示经处理得到的当前帧中两个移动向量的示例。此时，根据这两个移动向量，可以获得至少一个消失点的位置，例如，图6中的A点可以为根据此两个移动向量所获得的一个消失点的示例。一般来说，全景视频上的消失点可以为两个，一个可以位于参考对象面对的移动方向上，一个则可以位于参考对象背对的方向上。在图6中，可以认为A点位于面对参考对象的移动方向上，并且可以根据A点的位置，判断在全景视频当前帧中，参考对象是将从其当前位置向A点运动的。
在根据消失点确定了参考对象的移动方向之后，可以将所显示的显示数据中参考对象的移动方向保持与用户的朝向相一致。此时，可能需要相应地确定待显示内容数据中第一部分和第二部分的位置，以使得所显示的由用户朝向确定的感兴趣区域保持较高的显示分辨率，以改善用户体验。例如，在图6中，可选地，可以将第一部分确定为以图6中的A点为视域中心的124度视域的清晰区域。此外，还可以进一步根据第一部分和第二部分的相对位置关系，确定作为模糊区域的第二部分。并且，在确定第一部分和第二部分时，还可以如前述考虑放大率、屏幕尺寸等各因素的影响，从而得到综合的结果。上述参考对象移动方向的确定方式和第一、第二部分划分的方式仅为示例，在实际应用中，可以采用任何参考对象移动方向的确定方式和第一、第二部分的划分方式，在此不做限制。
此外，在随后的全景视频后续播放过程中，可以持续进行针对每一播放的当前帧确定参考对象的移动方向的操作，并且结合用户当前的人眼/脸部/头部的朝向等，来不断更新全景视频中当前帧的至少第一部分和第二部分。
上述参考对象移动方向的判断和第一、第二部分的划分方式均为针对全景视频的操作。在针对待处理内容数据中广角视频的操作中，也可以采用相类似的方法实施，在此不再赘述。
在步骤S103中，确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率。
在本步骤中，考虑到第一部分可以具有较高的显示分辨率；第二部分可以具有较低的显示分辨率，结合关于视力敏感度的人眼视觉模型，可以分别确定第一部分和第二部分对应的显示分辨率。其中，第一部分对应的清晰区域的视力敏感度大致可以为1arc min，即相当于要求在每1/60度能够看到一个像素，其所对应的第一显示分辨率例如可以为2K-4K、4K-8K或2K-8K。针对第二部分所对应的模糊区域，则可以根据不同的待处理内容数据、应用场景、用户需求等灵活确定，例如，第二部分的第二显示分辨率可以与第一显示分辨率不同，例如可以为480P-2K、2K-4K或480P-4K，并且保证第二显示分辨率低于第一显示分辨率。以上对第一显示分辨率和第二显示分辨率的确定方式仅为示例，在实际应用中，可以针对第一显示分辨率和第二显示分辨率选取任意数值，只要保证第二显示分辨率低于第一显示分辨率即可，在此不做限定。
在步骤S104中，利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
在本步骤中，可以利用之前确定的第一部分对应的第一显示分辨率和所述第二部分对应的第二显示分辨率，对第一部分和第二部分分别进行处理，以将待处理内容数据或其至少一部分生成显示数据，在屏幕上进行显示。其中，显示时可以综合考虑不同屏幕形状的投影方式，显示数据的显示放大率、参考对象的移动方向等，以获得较好的显示效果。
在本发明的一个实施例中，可选地，所述方法还可以包括：获取更新的观测参数；根据更新的观测参数，更新所述待处理内容数据的第一部分和第二部分中的至少一个。如前所述，观测参数可以是用户的人眼/脸部/头部的朝向、用户与用于显示的屏幕之间的相对距离、屏幕的尺寸中的一个或多个参数。当观测参数发生变化时，待处理内容数据中相应划分出的第一部分和第二部分也可能会发生变化。
在一个示例中，观测参数的变化可以是用户与用于显示的屏幕之间的相对距离di发生了变化，相应地，相对距离的变化可能会影响显示数据的显示放大率的变化。如之前所讨论的，当用户与屏幕之间的相对距离di增加时，显示数据需要放大，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地减少，从而保证第一部分和第二部分在显示数据中经放大后，所对应的视域能够与人眼视觉模型的要求一致。此外，当用户与屏幕之间的相对距离di减小时，显示数据需要缩小，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地增加，从而保证第一部分和第二部分在显示数据中经缩小后，所对应的视域也能够与人眼视觉模型的要求一致。
在另一个示例中，观测参数的变化也可能是由于用户的人眼/脸部/头部的朝向变化等导致的用户感兴趣区域的变化。可选地，可以通过持续跟踪用户的人眼/脸部/头部的朝向等参数，判断用户的感兴趣区域是否发生变化，例如，可以通过跟踪用户的视线方向，来获取用户视线所注视的感兴趣区域，以判断感兴趣区域是否发生变化，或者可以进一步判断感兴趣区域发生变化的时间或区域范围参数。如果感兴趣区域发生变化时，可以根据更新的观测参数来更新所述待处理内容数据的第一部分和第二部分中的至少一个。
图7示出了根据本发明一个实施例在用户感兴趣区域变化的过程中，相应的第一部分和第二部分的范围变化的示意图。其中，在用户感兴趣区域从区域M向区域N变化的变化时间较短(0-t1)，例如可以为0-0.5s或者0-1s，或者进一步地，用户针对区域N观看的内容并没有确定的方向或者对象时，用户有可能很快将感兴趣区域回复到之前的感兴趣区域M范围内，此时，可以不对所述待处理内容数据的第一部分或第二部分进行更新，而是继续保持第一部分对应的显示数据的显示区域为区域M，具有较高的第一显示分辨率，其余的第二部分具有较低的第二显示分辨率。此后，如果用户将感兴趣区域转换至区域N并保持注视的持续时间超过时间阈值t1且未达t2(t2可以例如为2-3s)时，可以对所述待处理内容数据的第一部分或第二部分进行更新，例如，可以将之前的区域M和当前的区域N都更新为与具有较高的第一显示分辨率的第一部分对应的显示数据的显示区域，而将其他区域划分为与具有较低的第二显示分辨率的第二部分对应的显示数据的显示区域。这样，既可以保证用户在感兴趣区域从区域M变化至区域N时能够观看到较为清晰的显示内容，又能够保证一旦用户恢复到之前的感兴趣区域M时，也同样能够立即观看到较为清晰的显示内容。再之后，如果用户一直保持注视区域N超过时间阈值t2，且小于t3(t3可以例如为3-4s)时，可以仅使得当前的区域N对应于与第一部分对应的显示数据的显示区域，而其他区域，包括之前的区域M，均可以对应于与第二部分对应的显示数据的显示区域，以尽量降低系统的功耗，避免无谓的系统计算量。在t3时刻过后至t4(t4可以例如为5-6s)之间，如果用户恢复然注视区域M，则可以将与第一部分对应的显示数据的显示区域更新为包括区域M和区域N二者，并在随后用户注视区域M直至超过时刻t4时，可以将与第一部分对应的显示数据的显示区域更新为仅包括区域M，而不再包括区域N，区域N恢复为对应于与第二部分对应的显示数据的显示区域。上述根据时间阈值更新第一部分和第二部分的范围的方式，以及各个时间阈值t1-t4的取值范围均为示例，在实际应用中，可以根据具体的使用场景和用户需求进行调整，在此不做限制。经过上述操作，可以根据用户感兴趣区域的实时变化最大限度地满足用户的不同需求，并尽可能降低系统的功耗，进一步提升用户体验。
根据本发明实施例的上述显示方法，能够根据观测参数和人眼视觉属性对所获取的待处理内容数据进行划分，并根据所设置的待处理内容数据不同部分的不同显示分辨率，所划分出的待处理内容数据进行处理并显示。这种待处理内容数据显示方法能够有效平衡待处理内容数据的显示分辨率和视野范围等因素，进一步改善显示效果，增强用户体验。
下面，参照图8来描述根据本发明实施例的显示装置。图8示出了根据本发明实施例的显示装置800的框图。如图8所示，显示装置800包括获取单元810、划分单元820、确定单元830和处理单元840。除了这些单元以外，显示装置800还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的显示装置800执行的下述操作的具体细节与在上文中参照图1-图7描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
获取单元810获取观测参数和待处理内容数据。
获取单元810所获取的待处理内容数据例如全景内容或广角内容等。其中，全景内容可以是可以是由诸如理光
Figure BDA0002178858770000121
之类的全景相机所获取的全景图像，也可以是由运动对象(例如移动机器人、车辆等)配备的全景摄像机获取的全景视频或者可以是由普通相机所获取的二维图像或视频所拼接成的全景图像或视频。广角内容可以是由广角镜头所获取的广角图像或广角视频。另外，观测参数可以是在观测过程中，与屏幕显示、用户行为中的至少一个相关的参数，例如可以是在沉浸式场景观测过程中，用户的人眼/脸部/头部的朝向、用户与用于显示的屏幕之间的相对距离、屏幕的尺寸中的一个或多个参数。这里的待处理内容数据和观测参数的说明仅为示例，在实际应用中，还可以采用任何其他参数作为观测参数，在此不做限制。
划分单元820至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据。
可选地，当所述待处理内容数据是全景图像或广角图像时，划分单元820可以针对所述全景图像或广角图像进行划分，得到至少第一部分和第二部分；当所述待处理内容数据是全景视频或广角视频时，可以针对所述全景视频或广角视频的至少一帧进行划分，得到至少第一部分和第二部分。例如，划分单元820可以将所述全景视频或广角视频的当前帧划分出至少第一部分和第二部分。
可选地，可以至少根据之前获取的观测参数，结合人眼视觉模型体现的人眼视觉属性，对待处理内容数据进行划分。在一个示例中，可以将待处理内容数据整体划分为第一部分和第二部分。在另一示例中，可以将待处理内容数据的一部分划分为第一部分和第二部分。可选地，第一部分和第二部分可以邻接且不重叠，例如，当第二部分的外围边界围成一个封闭图形时，第一部分可以是第二部分的外围边界所包围的区域之中的一部分，该包围的区域的其他部分则可以为第二部分；再例如，第一部分和第二部分也可以并非内外分布，而是共用一部分边界以并列排布。当然，可选地，第一部分也可以与第二部分不邻接，二者不存在共用的边界。上述第一部分和第二部分的划分方式仅为示例，在实际应用中，可以采用任何第一部分和第二部分的划分方式，在此不做限制。
图2示出根据本发明实施例的人眼视觉模型的示意图。如图2所示，人眼立体视觉视角在图2中右侧所示的正常视域60度的范围内时，对应于左侧的清晰区域124度的内圆，在此视域中，人眼成像是清晰的，因此一般需要对应较高的图像或视频清晰度，也即需要对应所显示的数据的较高显示分辨率。此外，在图2右侧所示的垂直视域140度之内(可以包括上方的65度视域以及下方的75度视域)和正常视域60度之外的范围，可以对应于左侧的模糊区域，及视域124度至188度的外侧圆环，在此视域中，人眼成像是模糊的，因此一般可以对应较低的图像或视频清晰度，也即可以对应所显示的数据的较低显示分辨率。这里清晰区域的视域范围和模糊区域的视域范围仅为示例，在实际应用中，可以采用任何适当的数值，在此不做限制。例如，图2右侧所示的垂直视域的取值也可以为142度，或145度等，其分别对应于不同范围的模糊区域的视域范围。
如果将图2所示的人眼视觉模型体现的人眼视觉属性，结合观测参数，应用到本发明实施例的场景中，则划分单元820可以分别参考图2中的清晰区域124度视域，并进一步过渡到模糊区域188度视域的范围，来确定用户所观看的屏幕上的显示数据对应的清晰区域和模糊区域，以利于用户进行观看。在一个实施例中，如果在不考虑屏幕尺寸的情况下，划分单元820可以根据用户的人眼/脸部/头部的朝向，结合用户与屏幕之间的相对距离，将待处理内容数据划分出与将要显示在内侧的124度视域的显示数据对应的第一部分，和与将要显示在外侧124度视域到188度视域的显示数据对应的第二部分。其中，第一部分对应清晰区域，可以具有较高的显示分辨率；第二部分对应模糊区域，可以具有较低的显示分辨率。第一部分和第二部分可以组成待显示内容数据。这样，就可以在尽量考虑系统性能的前提下，保证用户所能观看到的视野范围，并在相应的视野范围保证足够的显示分辨率，以改善显示效果，提高用户满意度。
在另一个实施例中，可选地，待处理内容数据在屏幕上整体的显示范围可以包括至少一部分前述对应模糊区域的显示范围。在此基础上，如果进一步考虑屏幕尺寸这一观测参数，则划分单元820可以将待处理内容数据中不能够显示在屏幕上的部分剔除，以进一步节约系统资源。图3示出了根据本发明实施例，考虑人眼视觉属性并结合屏幕尺寸等观测参数以划分第一部分和第二部分的范围的示意图。如图3所示，在考虑屏幕尺寸的情况下，可以根据用户的人眼/脸部/头部的朝向，结合用户与屏幕之间的相对距离di和屏幕尺寸，将待处理内容数据划分出对应清晰区域的第一部分和对应模糊区域的第二部分。其中，与第一部分对应的显示数据的边界可以落在自视域中心向124度视域和屏幕边界处扩散的较小边界上，与第二部分对应的显示数据的边界可以落在自第一部分边界向188度视域和屏幕边界处扩散的较小边界上。例如，考虑到图3中124度视域的边界均位于屏幕边界内，因此与第一部分对应的显示数据可以对应于显示在图3左侧所示的半径为rc的圆的区域；考虑到图3中188度视域的边界位于屏幕边界之外，则与第二部分对应的显示数据可以对应于显示在图3左侧所示的自第一部分边界至屏幕边界之间的区域。与前述类似，第一部分可以具有较高的显示分辨率；第二部分可以具有较低的显示分辨率。第一部分和第二部分可以组成待显示内容数据。在后续步骤中，可以对所述第一部分和第二部分组成的待显示内容数据进行处理，以生成显示数据并在屏幕上显示。
在本发明另一实施例中，当待处理内容数据为全景内容时，划分单元820还可以进一步根据屏幕的投影方式对待显示内容数据进行划分。在本发明实施例中，针对全景内容进行投影的屏幕可以具有不同的尺寸、形状并相应可以选择不同的投影方式，适当的投影方式可以尽可能地减少畸变，更好地对全景内容进行展示，改善用户体验。图4示出了当待处理内容数据为全景内容时，根据本发明实施例的不同形状屏幕的不同投影方式的示例。如图4所示，可选地，对于平面屏幕可以采用平面投影；对于洞穴(CAVE)屏幕可以采用立方体投影；对于球面屏幕可以采用球面投影；对于曲面屏幕可以采用圆柱立体投影。上述各种投影方式仅为可选择的示例，在实际应用中，可以根据不同的应用场景任意选择投影方式，在此不做限制。针对图4所示的不同的屏幕，相应的对应清晰区域的第一部分和对应模糊区域的第二部分的划分方式也会不尽相同。图5(a)示出了针对球面屏幕或曲面屏幕进行投影时，对应清晰区域的第一部分和对应模糊区域的第二部分的划分的示例，其中第一部分和第二部分分别在屏幕上投影为一处或多处弧形区域，di为用户与屏幕之间的相对距离。图5(b)示出了针对例如平面屏幕或CAVE屏幕进行平面投影时，对应清晰区域的第一部分和对应模糊区域的第二部分的划分的示例，此时第一部分和第二部分分别在屏幕上投影为一处或多处平面区域，di为用户与屏幕之间的相对距离。其中，图5(b)右上角示出了用户正对的屏幕上能够显示完整的第一部分的示例，此时第一部分投影为用户正对屏幕中心的平面区域，第二部分占据了用户正对屏幕上的两侧区域和两侧的屏幕区域。图5(b)右下角示出了用户正对的屏幕上不能够显示完整的第一部分的示例，此时第一部分投影到用户正对屏幕的所有区域以及两侧的屏幕的部分区域，第二部分则占据了两侧的屏幕的其他区域。当然，图5(a)所示的球面屏幕或曲面屏幕、图5(b)所示的平面屏幕或CAVE屏幕等，不仅可以针对待处理内容数据为全景内容时的示例，也可以针对待处理内容数据为广角内容(如广角图像或广角视频)的示例。例如，广角内容也可以经处理并投影到曲面屏幕或平面屏幕上，并根据不同的视域需求在屏幕的不同位置投影第一部分和第二部分中的至少一个。
在本发明再一实施例中，划分单元820还可以进一步根据所述显示数据的显示放大率对待显示内容数据划分，其中所述显示放大率由所述观测参数和用于获取所述待处理内容数据时的拍摄参数确定。在沉浸式体验中，为了使得效果更加逼真，因此希望用户所观看的在屏幕上所投影的物体尺寸与实际场景中物体的尺寸保持一致，在这一前提下，希望针对所显示的显示数据利用显示放大率进行相应的放大或缩小操作，以进一步提高显示效果，改善用户体验。可选地，显示放大率ω可以与用户与屏幕之间的相对距离di、用于获取待处理内容数据时的拍摄参数，例如相机的焦距f等确定。在一个示例中，显示放大率ω可以与相对距离di与焦距f的比值(di/f)成比例，也就是显示放大率ω可以与相对距离di成正比，与相机的焦距f成反比。上述确定显示放大率的方式仅为示例，在实际应用中，可以根据其他参数采用其他方式来确定所述显示放大率，在此不做限制。
当显示放大率ω被确定之后，考虑到显示放大率的影响，划分单元820可以根据所述显示数据的显示放大率来划分形成待显示内容数据的第一部分和第二部分对应的区域。例如，当显示数据需要放大时，考虑到人眼视觉模型中人的视域保持不变，可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地减少，从而保证第一部分和第二部分在显示数据中经放大后，所对应的视域能够与人眼视觉模型的要求一致。当显示数据需要缩小时，同样考虑到人眼视觉模型中人的视域保持不变，可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地增加，从而保证第一部分和第二部分在显示数据中经缩小后，所对应的视域也能够与人眼视觉模型的要求一致。
此外，考虑到前述实施例中显示放大率ω和用户与屏幕之间的相对距离di成正比的关系，当用户与屏幕之间的相对距离di增加时，即表示显示数据需要放大，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地减少，从而保证第一部分和第二部分在显示数据中经放大后，所对应的视域能够与人眼视觉模型的要求一致。此外，当用户与屏幕之间的相对距离di减小时，显示数据需要缩小，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地增加，从而保证第一部分和第二部分在显示数据中经缩小后，所对应的视域也能够与人眼视觉模型的要求一致。
在本发明又一实施例中，划分单元820还可以进一步根据所述待处理内容数据中参考对象的移动方向对待显示内容数据进行划分。具体地，当待处理内容数据是全景视频或广角视频时，可以在待处理内容数据中选取适当的参考对象，并且判断此参考对象的移动方向，随后，可以在显示时，根据用户的人眼/脸部/头部的朝向等，对所显示的显示数据进行调整，例如，在一个示例中，可以使得所选择的参考对象的移动方向与用户的朝向保持一致，从而进一步改善用户体验。以下以待处理内容数据为全景视频为例，来说明根据本发明实施例的具体操作方式。可选地，根据本发明一个实施例，可以将全景视频的显示应用于沉浸式跑步机的体验中，此时，可以尽量保持所显示的显示数据中，参考对象(例如摄像机)的移动方向与用户跑步或面向的方向一致。例如，当全景视频是通过在移动的车辆/行人上安装的摄像机拍摄的时候，可以通过上述方法使得用户跑步的方向与全景视频中车辆/行人行进方向一致，从而使得用户通过观看车辆/行人行进时摄像机所拍摄的场景，能够感觉到自身是在车辆/行人所在的道路上奔跑，以增强用户的沉浸感。
可选地，在针对全景视频进行初始显示时，划分单元820可以结合所述全景视频的一个或多个先前帧，确定全景视频的当前帧的参考对象的移动方向，并将全景视频的当前帧划分出至少第一部分和第二部分。可选地，参考对象的移动方向可以通过多种方式获取，例如，可以通过全景视频中至少两个先前帧，判断全景视频当前帧的消失点位置，并判断当前帧中参考对象的移动方向；再例如，也可以根据全景视频中至少一个先前帧和全景视频的当前帧，判断全景视频当前帧的消失点位置，并判断当前帧中参考对象的移动方向。图6示出了根据本发明实施例的在全景视频中所获取的当前帧的消失点的示例，及该当前帧相对应的显示数据的处理方式示意图。在本实施例中，划分单元820可以首先通过图像识别或神经网络训练等方式，识别全景视频至少两帧中的一个或多个静态物体(例如路标、建筑物、树木等)，如前所述，这里的至少两帧，既可以是全景视频中至少两个先前帧，也可以是全景视频中至少一个先前帧以及全景视频的当前帧，在此不做限制；然后，通过对该一个或多个静态物体进行跟踪，可以得到该一个或多个静态物体在全景视频当前帧中分别对应的移动向量，例如，移动向量可以为光流，用于表示全景视频当前帧中像素点的瞬时速度；随后，可以对所获取的这些移动向量进行降噪并聚类，从而根据全景视频当前帧中，处理后的一个或多个移动向量所在的直线的方向，确定至少一个消失点的位置。在确定消失点之后，可以根据所确定的消失点，判断全景视频当前帧中参考对象的移动方向。如图6所示，其右侧全景图中两个箭头指示的向量，可以表示经处理得到的当前帧中两个移动向量的示例。此时，根据这两个移动向量，可以获得至少一个消失点的位置，例如，图6中的A点可以为根据此两个移动向量所获得的一个消失点的示例。一般来说，全景视频上的消失点可以为两个，一个可以位于参考对象面对的移动方向上，一个则可以位于参考对象背对的方向上。在图6中，可以认为A点位于面对参考对象的移动方向上，并且可以根据A点的位置，判断在全景视频当前帧中，参考对象是将从其当前位置向A点运动的。
在根据消失点确定了参考对象的移动方向之后，可以将所显示的显示数据中参考对象的移动方向保持与用户的朝向相一致。此时，划分单元820可能需要相应地确定待显示内容数据中第一部分和第二部分的位置，以使得所显示的由用户朝向确定的感兴趣区域保持较高的显示分辨率，以改善用户体验。例如，在图6中，可选地，可以将第一部分确定为以图6中的A点为视域中心的124度视域的清晰区域。此外，还可以进一步根据第一部分和第二部分的相对位置关系，确定作为模糊区域的第二部分。并且，在确定第一部分和第二部分时，还可以如前述考虑放大率、屏幕尺寸等各因素的影响，从而得到综合的结果。上述参考对象移动方向的确定方式和第一、第二部分划分的方式仅为示例，在实际应用中，可以采用任何参考对象移动方向的确定方式和第一、第二部分的划分方式，在此不做限制。
此外，在随后的全景视频后续播放过程中，划分单元820可以持续进行针对每一播放的当前帧确定参考对象的移动方向的操作，并且结合用户当前的人眼/脸部/头部的朝向等，来不断更新全景视频中当前帧的至少第一部分和第二部分。
上述参考对象移动方向的判断和第一、第二部分的划分方式均为针对全景视频的操作。在针对待处理内容数据中广角视频的操作中，也可以采用相类似的方法实施，在此不再赘述。
确定单元830确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率。
考虑到第一部分可以具有较高的显示分辨率；第二部分可以具有较低的显示分辨率，结合关于视力敏感度的人眼视觉模型，确定单元830可以分别确定第一部分和第二部分对应的显示分辨率。其中，第一部分对应的清晰区域的视力敏感度大致可以为1arc min，即相当于要求在每1/60度能够看到一个像素，其所对应的第一显示分辨率例如可以为2K-4K、4K-8K或2K-8K。针对第二部分所对应的模糊区域，则可以根据不同的待处理内容数据、应用场景、用户需求等灵活确定，例如，第二部分的第二显示分辨率可以与第一显示分辨率不同，例如可以为480P-2K、2K-4K或480P-4K，并且保证第二显示分辨率低于第一显示分辨率。以上对第一显示分辨率和第二显示分辨率的确定方式仅为示例，在实际应用中，可以针对第一显示分辨率和第二显示分辨率选取任意数值，只要保证第二显示分辨率低于第一显示分辨率即可，在此不做限定。
处理单元840利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
处理单元840可以利用之前确定的第一部分对应的第一显示分辨率和所述第二部分对应的第二显示分辨率，对第一部分和第二部分分别进行处理，以将待处理内容数据或其至少一部分生成显示数据，在屏幕上进行显示。其中，显示时可以综合考虑不同屏幕形状的投影方式，显示数据的显示放大率、参考对象的移动方向等，以获得较好的显示效果。
在本发明的一个实施例中，可选地，所述装置还可以包括：更新单元(未示出)，配置为获取更新的观测参数；根据更新的观测参数，更新所述待处理内容数据的第一部分和第二部分中的至少一个。如前所述，观测参数可以是用户的人眼/脸部/头部的朝向、用户与用于显示的屏幕之间的相对距离、屏幕的尺寸中的一个或多个参数。当观测参数发生变化时，待处理内容数据中相应划分出的第一部分和第二部分也可能会发生变化。
在一个示例中，观测参数的变化可以是用户与用于显示的屏幕之间的相对距离di发生了变化，相应地，相对距离的变化可能会影响显示数据的显示放大率的变化。如之前所讨论的，当用户与屏幕之间的相对距离di增加时，显示数据需要放大，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地减少，从而保证第一部分和第二部分在显示数据中经放大后，所对应的视域能够与人眼视觉模型的要求一致。此外，当用户与屏幕之间的相对距离di减小时，显示数据需要缩小，此时可以将第一部分和第二部分在待处理内容数据中所覆盖的区域相应地增加，从而保证第一部分和第二部分在显示数据中经缩小后，所对应的视域也能够与人眼视觉模型的要求一致。
在另一个示例中，观测参数的变化也可能是由于用户的人眼/脸部/头部的朝向变化等导致的用户感兴趣区域的变化。可选地，可以通过持续跟踪用户的人眼/脸部/头部的朝向等参数，判断用户的感兴趣区域是否发生变化，例如，可以通过跟踪用户的视线方向，来获取用户视线所注视的感兴趣区域，以判断感兴趣区域是否发生变化，或者可以进一步判断感兴趣区域发生变化的时间或区域范围参数。如果感兴趣区域发生变化时，可以根据更新的观测参数来更新所述待处理内容数据的第一部分和第二部分中的至少一个。
图7示出了根据本发明一个实施例在用户感兴趣区域变化的过程中，相应的第一部分和第二部分的范围变化的示意图。其中，在用户感兴趣区域从区域M向区域N变化的变化时间较短(0-t1)，例如可以为0-0.5s或者0-1s，或者进一步地，用户针对区域N观看的内容并没有确定的方向或者对象时，用户有可能很快将感兴趣区域回复到之前的感兴趣区域M范围内，此时，可以不对所述待处理内容数据的第一部分或第二部分进行更新，而是继续保持第一部分对应的显示数据的显示区域为区域M，具有较高的第一显示分辨率，其余的第二部分具有较低的第二显示分辨率。此后，如果用户将感兴趣区域转换至区域N并保持注视的持续时间超过时间阈值t1且未达t2(t2可以例如为2-3s)时，可以对所述待处理内容数据的第一部分或第二部分进行更新，例如，可以将之前的区域M和当前的区域N都更新为与具有较高的第一显示分辨率的第一部分对应的显示数据的显示区域，而将其他区域划分为与具有较低的第二显示分辨率的第二部分对应的显示数据的显示区域。这样，既可以保证用户在感兴趣区域从区域M变化至区域N时能够观看到较为清晰的显示内容，又能够保证一旦用户恢复到之前的感兴趣区域M时，也同样能够立即观看到较为清晰的显示内容。再之后，如果用户一直保持注视区域N超过时间阈值t2，且小于t3(t3可以例如为3-4s)时，可以仅使得当前的区域N对应于与第一部分对应的显示数据的显示区域，而其他区域，包括之前的区域M，均可以对应于与第二部分对应的显示数据的显示区域，以尽量降低系统的功耗，避免无谓的系统计算量。在t3时刻过后至t4(t4可以例如为5-6s)之间，如果用户恢复注视区域M，则可以将与第一部分对应的显示数据的显示区域更新为包括区域M和区域N二者，并在随后用户注视区域M直至超过时刻t4时，可以将与第一部分对应的显示数据的显示区域更新为仅包括区域M，而不再包括区域N，区域N恢复为对应于与第二部分对应的显示数据的显示区域。上述根据时间阈值更新第一部分和第二部分的范围的方式，以及各个时间阈值t1-t4的取值范围均为示例，在实际应用中，可以根据具体的使用场景和用户需求进行调整，在此不做限制。经过上述操作，可以根据用户感兴趣区域的实时变化最大限度地满足用户的不同需求，并尽可能降低系统的功耗，进一步提升用户体验。
根据本发明实施例的上述显示装置，能够根据观测参数和人眼视觉属性对所获取的待处理内容数据进行划分，并根据所设置的待处理内容数据不同部分的不同显示分辨率，所划分出的待处理内容数据进行处理并显示。这种待处理内容数据显示方法能够有效平衡待处理内容数据的显示分辨率和视野范围等因素，进一步改善显示效果，增强用户体验。
下面，参照图9来描述根据本发明实施例的显示装置。图9示出了根据本发明实施例的显示装置900的框图。如图9所示，该装置900可以是计算机或服务器。
如图9所示，显示装置900包括一个或多个处理器910以及存储器920，当然，除此之外，显示装置900还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图9所示的显示装置900的组件和结构只是示例性的，而非限制性的，根据需要，显示装置900也可以具有其他组件和结构。
处理器910可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器920中所存储的计算机程序指令以执行期望的功能，可以包括：获取观测参数和待处理内容数据；至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
存储器920可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器910可以运行所述程序指令，以实现上文所述的本发明的实施例的显示装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的显示方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取观测参数和待处理内容数据；至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。
可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。
结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软盘等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不希望被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不希望将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种显示方法，包括：
获取观测参数和待处理内容数据；
至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；
确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；
利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
2.如权利要求1所述的方法，其中，
所述待显示内容数据根据所述屏幕的投影方式划分。
3.如权利要求1所述的方法，其中，
所述待显示内容数据根据所述显示数据的显示放大率划分，其中所述显示放大率由所述观测参数和用于获取所述待处理内容数据时的拍摄参数确定。
4.如权利要求1所述的方法，其中，
所述待显示内容数据根据所述待处理内容数据中参考对象的移动方向划分。
5.如权利要求1所述的方法，其中，所述方法还包括：
获取更新的观测参数；
根据更新的观测参数，更新所述待处理内容数据的第一部分和第二部分中的至少一个。
6.如权利要求5所述的方法，其中，所述基于更新的观测参数，更新所述待处理内容数据的第一部分和第二部分中的至少一个包括：
根据更新的观测参数，获取感兴趣区域变化的持续时间；
当所述感兴趣区域变化的持续时间超出预设时间阈值时，更新所述待处理内容数据的所述第一部分和所述第二部分的至少一个。
7.如权利要求1-6中任一项所述的方法，其中，
所述第一显示分辨率大于所述第二显示分辨率；
所述待处理内容数据的第二部分与所述待处理内容数据的第一部分邻接且不重叠。
8.一种显示装置，包括：
获取单元，配置为获取观测参数和待处理内容数据；
划分单元，配置为至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；
确定单元，配置为确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；
处理单元，配置为利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
9.一种显示装置，包括：
处理器；
和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取观测参数和待处理内容数据；
至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；
确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；
利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：
获取观测参数和待处理内容数据；
至少根据所述观测参数和人眼视觉属性，将所述待处理内容数据划分出至少第一部分和第二部分，所述第一部分和第二部分组成待显示内容数据；
确定所述第一部分对应的第一显示分辨率，以及所述第二部分对应的与第一显示分辨率不同的第二显示分辨率；
利用所述第一部分对应的第一显示分辨率，和所述第二部分对应的第二显示分辨率，对所述第一部分和第二部分进行处理，生成显示数据以在屏幕上显示。
CN201910788617.7A 2019-08-26 2019-08-26 显示方法、装置和计算机可读存储介质 Pending CN112433599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910788617.7A CN112433599A (zh) 2019-08-26 2019-08-26 显示方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910788617.7A CN112433599A (zh) 2019-08-26 2019-08-26 显示方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112433599A true CN112433599A (zh) 2021-03-02

Family

ID=74689862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910788617.7A Pending CN112433599A (zh) 2019-08-26 2019-08-26 显示方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112433599A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9118513D0 (en) * 1991-08-29 1991-10-16 British Aerospace An eye-slaved panoramic display apparatus
CN106935224A (zh) * 2017-05-12 2017-07-07 京东方科技集团股份有限公司 显示装置及其驱动方法和驱动电路
US20170223395A1 (en) * 2016-01-29 2017-08-03 Cable Television Laboratories, Inc Systems and methods for video delivery based upon saccadic eye motion
CN107809641A (zh) * 2017-11-13 2018-03-16 北京京东方光电科技有限公司 图像数据传输方法、处理方法及图像处理设备、显示设备
US20180095531A1 (en) * 2016-10-05 2018-04-05 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Non-uniform image resolution responsive to a central focus area of a user
US20180192058A1 (en) * 2016-12-29 2018-07-05 Sony Interactive Entertainment Inc. Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking
US20180330648A1 (en) * 2017-05-12 2018-11-15 Hangzhou Yiyuqianxiang Technology Co., Ltd. Multi-window smart content rendering and optimizing method and projection method based on cave system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9118513D0 (en) * 1991-08-29 1991-10-16 British Aerospace An eye-slaved panoramic display apparatus
US20170223395A1 (en) * 2016-01-29 2017-08-03 Cable Television Laboratories, Inc Systems and methods for video delivery based upon saccadic eye motion
US20180095531A1 (en) * 2016-10-05 2018-04-05 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Non-uniform image resolution responsive to a central focus area of a user
US20180192058A1 (en) * 2016-12-29 2018-07-05 Sony Interactive Entertainment Inc. Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking
CN106935224A (zh) * 2017-05-12 2017-07-07 京东方科技集团股份有限公司 显示装置及其驱动方法和驱动电路
US20180330648A1 (en) * 2017-05-12 2018-11-15 Hangzhou Yiyuqianxiang Technology Co., Ltd. Multi-window smart content rendering and optimizing method and projection method based on cave system
CN107809641A (zh) * 2017-11-13 2018-03-16 北京京东方光电科技有限公司 图像数据传输方法、处理方法及图像处理设备、显示设备

Similar Documents

Publication Publication Date Title
CN109242943B (zh) 一种图像渲染方法、装置及图像处理设备、存储介质
CN109792562B (zh) 视频数据的基于内容的流分割
CN108289220B (zh) 虚拟图像处理方法、图像处理系统及存储介质
US20160301868A1 (en) Automated generation of panning shots
KR102535947B1 (ko) 이미지를 생성하기 위한 장치 및 방법
KR101831516B1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
CN108319362B (zh) 一种全景信息显示方法、电子设备和计算机存储介质
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
US9734551B1 (en) Providing depth-of-field renderings
KR102531767B1 (ko) 이미지를 생성하기 위한 장치 및 방법
US20220182595A1 (en) Optical flow based omnidirectional stereo video processing method
US11094125B2 (en) Storage medium, and method and system for simulating photography in virtual reality scene
US20140078170A1 (en) Image processing apparatus and method, and program
Turban et al. Extrafoveal video extension for an immersive viewing experience
CN115712351B (zh) 一种面向多人远程混合现实共享场景的分级渲染与交互方法和系统
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
CN113286138A (zh) 一种全景视频显示方法及显示设备
Avraham et al. Ultrawide foveated video extrapolation
CN112433599A (zh) 显示方法、装置和计算机可读存储介质
JP6663491B2 (ja) 画像処理装置、画像処理プログラム、および記録媒体
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
Khoenkaw et al. Automatic pan-and-scan algorithm for heterogeneous displays
GB2563275B (en) Image processing device and system
US20180190005A1 (en) Audio processing
CN112437248B (zh) 全景视频处理方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination