CN108628436A - 电子装置、显示方法以及非暂态计算机可读取储存媒体 - Google Patents

电子装置、显示方法以及非暂态计算机可读取储存媒体 Download PDF

Info

Publication number
CN108628436A
CN108628436A CN201810036654.8A CN201810036654A CN108628436A CN 108628436 A CN108628436 A CN 108628436A CN 201810036654 A CN201810036654 A CN 201810036654A CN 108628436 A CN108628436 A CN 108628436A
Authority
CN
China
Prior art keywords
scene
concern
electronic device
block
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810036654.8A
Other languages
English (en)
Other versions
CN108628436B (zh
Inventor
张智威
黄亮纲
陈智旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN108628436A publication Critical patent/CN108628436A/zh
Application granted granted Critical
Publication of CN108628436B publication Critical patent/CN108628436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种电子装置、显示方法以及非暂态计算机可读取储存媒体。电子装置包含显示器、图形处理电路、多个感测器以及控制电路。显示器用于显示虚拟实境场景或是扩增实境场景。图形处理电路耦接于显示器,图形处理电路是用于计算虚拟实境场景或扩增实境场景内的多个场景区块。感测器用于收集多个关注参数。控制电路耦接于感测器以及图形处理电路,控制电路适于依据关注参数产生关注地图,关注地图记录场景区块的优先次序。控制电路进一步依据优先次序在多个场景区块之间分配图形处理电路的运算资源分布。图形处理电路依据运算资源分布而差别地计算场景区块。借此,电子装置基于使用者可能的关注目标而动态分配运算资源,提高运算上的效率。

Description

电子装置、显示方法以及非暂态计算机可读取储存媒体
技术领域
本揭露文件是有关于一种虚拟实境或扩增实境系统,特别是有关于一种在虚拟实境或扩增实境系统当中运算资源的管理系统与方法。
背景技术
在虚拟实境(VR)与扩增实境(AR)系统中,头部移动与头戴式显示器(HDM)上对应屏幕更新之间的延迟,是提供虚拟实境或扩增实境场景的身临其境的体验最关键的参数之一。倘若延迟相对严重(例如,超过20毫秒),则佩戴头戴式显示器的使用者,可能会因为屏幕上的抖动而感到头晕。或者在使用者的头部位置变化之后,可能因为屏幕上的画面更新延迟而感到困惑。
为了防止屏幕上的抖动并且避免使用者头晕,虚拟实境/扩增实境系统必需在一个相当短的延迟的内呈现内容,通常是小于20毫秒。
发明内容
本揭露文件提供一种电子装置,电子装置包含一显示器、一图形处理电路、多个感测器以及一控制电路。显示器用于显示一虚拟实境场景或是一扩增实境场景。图形处理电路耦接于显示器,图形处理电路是用于计算虚拟实境场景或扩增实境场景内的多个场景区块。感测器用于收集多个关注参数。控制电路耦接于感测器以及图形处理电路,控制电路适于依据关注参数产生一关注地图,关注地图记录场景区块的优先次序。控制电路进一步用以依据优先次序,在场景区块之间分配图形处理电路的运算资源分布。场景区块是依据运算资源分布被差别地计算。
于一实施例中,所述多个关注参数包含一外部参数以及一内部参数,该外部参数是与该虚拟实境场景或该扩增实境场景中的所述多个场景区块的一变化有关,该内部参数是与该电子装置的一使用者的一视线、一姿势或一移动有关。
于一实施例中,该关注地图是为一即时关注分布或是一潜在关注预测,该关注地图是依据该外部参数以及该内部参数的一组合而产生。
于一实施例中,所述多个感测器包含一照相机,该照相机用于拍摄该电子装置周围的一真实物件的一移动状态或一外观,所述多个关注参数包含该真实物件的该移动状态或该外观。
于一实施例中,所述多个感测器包含一麦克风,该麦克风用于接收该电子装置周围的一声音,所述多个关注参数包含该声音的一起始点或是一方向性。
于一实施例中,所述多个感测器包含一仿生嗅觉感测器,该仿生嗅觉感测器用于感测该电子装置周围的一气味,所述多个关注参数包含该气味的一起始点或是一方向性。
于一实施例中,所述多个感测器包含一景像记录器,该景像记录器用于记录该虚拟实境场景或该扩增实境场景当中的一可视部分的一连续播放景像,所述多个关注参数包含该可视部分的一位置。
于一实施例中,所述多个感测器包含一头戴式照相机,用于拍摄该电子装置的一使用者前方的一景像,所述多个关注参数包含出现于该景像内的一真实物件或是该头戴式照相机的一拍摄姿势。
于一实施例中,所述多个感测器包含一视线追踪器,用于侦测该电子装置的一使用者的一眼睛注视路径,所述多个关注参数包含该眼睛注视路径中的一注视点或是一注视时间段。
于一实施例中,依据该运算资源分布,所述多个场景区块的其中一者具有一第一优先次序是由该图形处理电路以一增强级别计算,或者所述多个场景区块的另外一者具有一第二优先次序是由该图形处理电路以一降低级别计算,该第一优先次序高于该第二优先次序。
于一实施例中,该增强级别或是该降低级别,是有关于呈现、辨识或重建该虚拟实境场景或该扩增实境场景中的所述多个场景区块时所使用的一纹理品质、一取样节点数量、一搜寻范围或是一焦点窗口。
本揭露文件提供一种显示方法,用以显示一虚拟实境场景或是一扩增实境场景,显示方法包含下列操作。收集多个关注参数。产生一关注地图被依据关注参数,关注地图记录虚拟实境场景或是扩增实境场景内的场景区块的优先次序。依据关注地图内的场景区块的优先次序,分配多个场景区块之间的一运算资源分布。依据运算资源分布,差别地计算多个场景区块。
本揭露文件提供一种非暂态计算机可读取储存媒体,具有一计算机程序以执行一方法,方法包含下列操作。收集多个关注参数。依据关注参数而产生一关注地图,关注地图记录虚拟实境场景或是扩增实境场景内的场景区块的优先次序。依据关注地图内的场景区块的优先次序,在多个场景区块之间分配运算资源分布。依据运算资源分布差别地计算场景区块。
本揭露文件中基于关注目标而动态分配运算资源的方案,依据外部以及内部参数来划分关注参数的类型。外部参数包含(但不限于)物件的移动状态、物件是否显眼、物件的声音以及气味,内部参数包含(但不限于)使用者的头部移动以及眼睛注视路径。借此,在个别时间点分别推导出关注地图以优先化运算资源的分配。通过分析环境属性以及使用者的关注行为,这种基于使用者关注目标而动态分配运算资源的方案,有助于提高虚拟实境与扩增实境系统的效率与性能。
附图说明
为让本揭露的上述和其他目的、特征、优点与实施例能更明显易懂,所附附图的说明如下:
图1是为依据本揭露的一实施例的一电子装置的示意图;
图2是为依据本揭露的一实施例的一方法的流程图;
图3A是为依据一实施例的一虚拟实境/扩增实境场景的示意图;
图3B是为图3A的虚拟实境/扩增实境场景的一可视部分的一实施例的示意图;
图4绘示由关注参数所产生的一关注地图的示意图;
图5绘示由关注参数所产生的另一关注地图的示意图;
图6绘示由关注参数所产生的又一关注地图的示意图;以及
图7绘示由关注参数所产生的再一关注地图的示意图。
具体实施方式
以下将以附图及详细说明阐述本发明的精神,任何所属技术领域中具有通常知识者在了解本发明的较佳实施例后,当可由本发明所教示的技术,加以改变及修饰,其并不脱离本发明的精神与范围。
请参照图1,图1是为依据本揭露的一实施例的一电子装置100的示意图。如图1所示,电子装置100包含显示器120、图形处理电路140、多个感测器160以及控制电路180。于一些实施例中,电子装置100可以是装载虚拟实境(VR)系统或扩增实境(AR)系统的一装置。显示器120可以是一头戴式显示器(HDM),其是被设置于电子装置100之上。当一使用者佩戴电子装置100时,显示器120将会覆盖使用者的视域,并且显示器120是用于向使用者显示虚拟实境场景或扩增实境场景。
图形处理电路140是耦接于显示器120。图形处理电路140是用以处理将在显示器120上显示的虚拟实境(或扩增实境)场景的影像/视频数据。虚拟实境/扩增实境场景可包含数个场景区块,例如项目(如时钟、门、桌子、椅子、产品等)、物件(人物、动物、自行车等)及/或背景特征(墙壁、云、阴影、天气、交通等)。
当电子装置100正在显示虚拟实境场景时,场景区块是从预先定义的虚拟实境模型创造。图形处理电路140执行计算以呈现场景区块,并且将这些场景区块结合在一起,以形成虚拟实境场景。
当电子装置100正在显示扩增实境场景时,场景区块可以包含存在于电子装置100周围的环境中的真实物件,及/或从预先定义的虚拟实境模型所创造的真实区块。图形处理电路140执行用于辨识真实物件的计算,重建对应于这些真实物件的场景模型,呈现这些场景区块(包含真实场景模型以及预先定义的虚拟实境模型),并且将这些场景区块结合在一起,以形成扩增实境场景。
为了要显示高品质(例如,高解析度、高色彩深度、及/或高更新率)的虚拟实境或扩增实境场景,需要大量的图形处理电路140的运算资源,以呈现、辨识、重建虚拟实境或扩增实境场景中的场景区块。另一方面,为了防止屏幕上的抖动并且避免使用者头晕,图形处理电路140必需在每次显示器120更新显示数据时,于一有限的延迟内完成计算。例如,图形处理电路140可具有每秒90帧(fps)的更新率。
因为图形处理电路140的运算资源是为有限的,若要在有限的时间内(满足低延迟的需要)并以高品质完成所有场景区块的计算是相当困难。于一实施例中,电子装置100提供基于关注目标而动态分配运算资源的方案,来最佳化图形处理电路140的运算资源分布。
多个感测器160是用于收集关注参数。控制电路180是耦接至多个感测器160以及化图形处理电路140,控制电路180适于依据多个感测器160所收集的关注参数产生一关注地图。关注地图记录场景区块的优先次序。控制电路180更进一步用以依据优先次序在多个场景区块之间分配图形处理电路140的运算资源分布。依据上述分配后的运算资源分布,由图形处理电路140差别地计算场景区块。关注参数以及关注地图的进一步细节,将在以下段落中揭露。
请参照图2,图2是为依据本揭露的一实施例的一显示方法200的流程图。显示方法200可以用在图1所示的电子装置100,显示方法200用于显示虚拟实境/扩增实境场景。请参照图3A,图3A是为依据一实施例的虚拟实境/扩增实境场景SCN的示意图。如图3A所示的实施例,虚拟实境/扩增实境场景SCN可以包含具有围绕佩戴着电子装置100的使用者的球形虚拟实境/扩增实境场景的影像数据。本揭露并不限于球形的虚拟实境/扩增实境场景。于另一实施例中,虚拟实境/扩增实境场景SCN可以包含具有半球形虚拟实境/扩增实境场景、圆环形虚拟实境/扩增实境场景或其他等同形状的影像数据。
由于人类视觉的可视领域有其局限性,使用者无法看到整个虚拟实境/扩增实境场景SCN,本实施例中显示器120用以显示虚拟实境/扩增实境场景SCN中的可视部分SCNv。于一实施例中,电子装置100包含动态感测器(未显示于图中)用于侦测使用者的移动状态。可视部分SCNv是依据使用者本身的移动而动态地相应改变。例如,当使用者抬头时,可视部分SCNv将被向上移动。类似地,当使用者将他/她的头部或身体旋转至右侧时,可视部分SCNv将相应地被移到右边。请参照图3B,图3B是为图3A的虚拟实境/扩增实境场景SCN的可视部分SCNv的一实施例的示意图。
如图1与图2所示,显示方法200执行操作S202,由多个感测器160收集多个关注参数。在图1所示的实施例中,多个感测器160可以包含照相机161、麦克风162、仿生嗅觉感测器163、景象记录器164、视线追踪器165以及头戴式照相机166。然而,本揭露的感测器160并不限于包含图1所示的所有感测器。于另一实施例中,这些感测器160可以为一组合,包含照相机161、麦克风162与仿生嗅觉感测器163其中至少一者,以及景象记录器164、视线追踪器165与头戴式照相机166其中至少一者。例如,多个感测器160可以包含照相机161、麦克风162、景象记录器164以及视线追踪器165。
如图3B所示的示范性例子当中,可视部分SCNv包含场景区块SEG1-SEG9。场景区块SEG1-SEG9为可视部分SCNv内的物体、物件或背景特征。例如,场景区块SEG1为位于使用者前方的一自动门,场景区块SEG2及SEG3是放置在展示架(场景区块SEG9)上不同位置的产品,场景区块SEG4是一个人物,场景区块SEG5是一个扬声器。场景区块SEG6-SEG8是虚拟实境/扩增实境场景SCN的可视部分SCNv中的背景特征。在这种情况下,场景区块SEG6是天花板,场景区块SEG7是地板,场景区块SEG8是一侧壁。
关注参数可包含至少一外部参数以及至少一内部参数。于本揭露文件中所谓的外部参数是与虚拟实境/扩增实境场景中的其中一个场景区块的一变化有关,所谓的内部参数是与电子装置100其使用者的姿势或移动有关。
如图1与如第3B所示,照相机161是用于拍摄电子装置100周围的真实物件,例如,人物(如场景区块SEG4)、一只猫、一辆车、产品(如场景区块SEG2或SEG3等)的移动状态或外观。由照相机161所收集的关注参数EF1可包含真实物件的移动状态(如场景区块SEG1-SEG4的移动模式或移动速度)或是外观(如场景区块SEG1-SEG9的形状、纹理或颜色)。
于一实施例中,照相机161可被附接在电子装置100的头戴式显示器(HMD)头盔上。在这种情况下,照相机161和头戴式照相机166可以通过安装在头戴式显示器头盔上的单个相机,或是安装在头戴式显示器头盔的不同位置上的两个不同相机来实现。
于另一实施例中,照相机161可以为一独立的相机,以有线或无线的方式与控制电路180通信。在这种情况下,照相机161独立于电子装置100的头戴式显示器头盔之外。
麦克风162是用于接收电子装置100周围的一声音(如电话铃声、广播讯息、来自他人的呼叫、声音、来自狗的吠叫声、由扬声器播放的音乐等)。在这种情况下,由麦克风162所收集的关注参数EF2可包含声音的起始点(如声音来源相对于电子装置100的的起始坐标)或是声音的方向性(如声音相对于电子装置100的语音发射角度)。
仿生嗅觉感测器163是用于感测电子装置100周围的气味。在这种情况下,由仿生嗅觉感测器163所收集的关注参数EF3可包含气味的起始点(如气味来源相对于电子装置100的起始坐标)或是气味的一朝向(如气味相对于电子装置100的来源方向角)。
关注参数EF1、EF2及EF3被视为与虚拟实境/扩增实境场景中的场景区块的变化有关的外部参数。
景象记录器164是用于记录虚拟实境/扩增实境场景SCN中的可视部分SCNv的连续播放景像(参考第3图)。由景象记录器164所拍摄的连续播放景像,记录在整个虚拟实境/扩增实境场景SCN当中的使用者可视区域的即时景象或是历史景象。由景像记录器164所收集的关注参数包含可视部分SCNv的位置。此位置代表了可视部分SCNv的即时坐标,或是于一段时间内可视部分SCNv的移动模式。
视线追踪器165是用于侦测电子装置100使用者的眼睛注视路径。由视线追踪器165所收集的关注参数可包含,眼睛注视路径中的注视点(如使用者注视的地方),或是注视时间段(如使用者的眼睛在每个注视点停留多久)。
头戴式照相机166是用于拍摄电子装置100使用者前方的一景像。由头戴式照相机166所收集的关注参数IF3,可包含使用者前方景象内出现的真实物件或者头戴式照相机166的拍摄姿势(如头戴式照相机166目前是否倾斜或是头戴式照相机166相对水平线的旋转角度大小)。
关注参数IF1、IF2及IF3是用以评估与电子装置100的使用者的视线、姿势或移动有关的内部参数。
如图1与图2所示,显示方法200执行操作S204以依据多个关注参数产生一关注地图。关注地图记录虚拟实境/扩增实境场景SCN的可视部分SCNv中的场景区块SEG1-SEG9的优先次序。于一实施例中,关注参数EF1、EF2及EF3是被控制电路180的一外部参数分析器182所分析。关注参数IF1、IF2及IF3是被控制电路180的一内部参数分析器184所分析。外部参数分析器182及内部参数分析器184的分析结果是被一关注地图产生器186所组合评估,以产生关注地图。控制电路180可为一处理器、一图形处理单元或是一处理集成电路。外部参数分析器182、内部参数分析器184与地图产生器186可为被控制电路180执行的软件程序。
关注地图产生以标示使用者关注的一即时关注分布,或是标示使用者关注的一潜在关注预测。
控制电路180基于关注参数EF1-EF3与IF1-EF3的特征,来决定关注地图中场景区块SEG1-SEG9的优先次序。
关注参数EF1包含场景区块SEG1-SEG9的外观及移动状态。倘若场景区块SEG1-SEG9其中一者在颜色、纹理或花纹上与其他场景区块有所不同,则此一场景区块可能容易引起使用者的注意。此一场景区块将具有一相对较高的优先次序。倘若场景区块SEG1-SEG4其中一者正在虚拟实境/扩增实境场景SCN的可视部分SCNv内移动(在图3B所示的例子中,场景区块SEG5-SEG9通常是为固定),场景区块SEG1-SEG4中任一者若正在移动,则很可能引起使用者的注意。场景区块SEG1-SEG4正在移动的场景区块将具有一相对较高的优先次序。
请参照图4,图4绘示了由关注参数EF1-EF3与IF1-EF3所产生的关注地图AM1的示意图。在图3B与图4所示的例示中,人物正在移动(图3B中的场景区块SEG4),因此在关注地图AM1中的相应位置被标记为第一优先次序RK1,其为最高优先次序。在这种情况下,场景区块SEG1及场景区块SEG5是位于移动的场景区块SEG4周围,因此在关注地图AM1中的相应位置被标记为第二优先次序RK2,其为次高优先次序。场景区块SEG7及SEG8是为移动的场景区块SEG4周围的背景特征,因此在关注地图AM1中的相应位置被标记为第三优先次序RK3。场景区块SEG2、SEG3及SEG9是远离移动的场景区块SEG4,因此在关注地图AM1中的相应位置被标记为第四优先次序RK4。场景区块SEG6是为远离移动的场景区块SEG4的背景特征,因此在关注地图AM1中的一相应位置被标记为第五优先次序RK5,其为最低优先次序。
关注地图AM1可为二维的关注地图或是三维的关注地图。在二维的关注地图中,虚拟实境/扩增实境场景SCN的可视部分SCNv中的每个像素根据吸引使用者注意的可能性分配各自的关注概率,或者,在可视部分SCNv中相对于使用者的不同方向分配各自的关注概率。在三维的关注地图中,可以针对可视部分SCNv中的每个立体物件顶点(vertex)根据吸引使用者注意的可能性分配各自的关注概率,或者针对可视部分SCNv中的每个立体物件分配各自的关注概率。
关注参数EF2包含声音的起始点(如图3B中的场景区块SEG5)或是声音的方向性。倘若场景区块SEG5正在广播此声音,某一特定的声音源(场景区块SEG5)可能引起使用者的注意。在这种情况下,场景区块SEG5将具有一相对较高的优先次序。
请参照图5,图5是为由关注参数EF1-EF3与IF1-EF3所产生的一关注地图AM2的另一例示。在图3B与图5所示的例示中,扬声器(场景区块SEG5)正在广播一声音,因此在关注地图AM2中的一相应位置被标记为第一优先次序RK1,其为最高优先次序。在这种情况下,场景区块SEG1是位于与场景区块SEG5相邻的位置,因此在关注地图AM2中的一相应位置被标记为第二优先次序RK2。场景区块SEG4也与场景区块SEG5接近,因此在关注地图AM2中的一相应位置被标记为第三优先次序RK3。场景区块SEG2、SEG3及SEG9是远离场景区块SEG5,因此在关注地图AM2中的相应位置被标记为第四优先次序RK4。场景区块SEG6是为远离场景区块SEG5的一背景特征,因此在关注地图AM2中的一相应位置被标记为第五优先次序RK5,其为最低优先次序。
关注参数EF3包含气味的起始点或是气味的方向性。如果人物(场景区块SEG4)有搽香水,并且香水的香味被侦测到,则某一特定的气味源(场景区块SEG4)可能引起使用者的注意。在这种情况下,场景区块SEG4将具有一相对较高的优先次序。在这种情况下,关注地图的结果可能与图4所示的关注地图AM1类似。
由景象记录器164所收集的关注参数IF1包含可视部分SCNv的位置。位置可被记录为可视部分SCNv的即时坐标,或是于一段时间内可视部分SCNv的移动模式。通常,场景区块位于较靠近可视部分SCNv的中心者,具有较高的概率吸引使用者的注意。关注参数IF1提供了有关于吸引使用者注意的可视部分SCNv的一部分的粗略提示。
关注参数IF3包含使用者前方景象内出现的真实物件或拍摄姿势。值得注意的是,头戴式照相机并不适合于侦测仅存在于虚拟实境/扩增实境场景SCN内的一虚拟物件。因此之故,当电子装置100提供纯虚拟实境场景而没有任何实体物件时,关注参数IF3将不会影响关注地图。由图1的头戴式照相机166所记录的关注参数IF3提供了有关于吸引使用者注意的可视部分SCNv的一部分的粗略提示。通常来说,位于使用者前方且较靠近可视部分SCNv的中心者的场景区块,具有较高的概率吸引使用者的注意。
关注参数IF2包含眼睛注视路径中的注视点(如使用者注视的地方)或是注视时间段(如使用者的眼睛在每个注视点停留多久)。相较于前述的关注参数IF1及IF3,关注参数IF2提供了有关于可视部分SCNv中可能吸引使用者注意的物件的较精确提示。当使用者的视线在注视点在对应注视点的场景区块SEG1-SEG9其中一者的位置上停留一特定时间段(例如3秒)时,此一特定的场景区块将被视为具有一较高的概率吸引使用者的注意。
请参照图6,图6是为由关注参数EF1-EF3与IF1-EF3所产生的一关注地图AM3的又一例示。在图3B与图6所示的例示中,使用者的视线停留在产品,例如使用者的视线在场景区块SEG3的注视点GZ上停留了3秒钟,因此在关注地图AM3中的相应位置被标记为第一优先次序RK1,其为最高优先次序。在这种情况下,场景区块SEG2也是产品,其为与场景区块SEG3相同种类的物件,因此在关注地图AM3中的相应位置被标记为第二优先次序RK2。场景区块SEG9是承载产品(场景区块SEG2及SEG3)的架子,并且也接近场景区块SEG3,因此在关注地图AM3中的相应位置被标记为第三优先次序RK3。场景区块SEG1与SEG4是远离场景区块SEG3,因此在关注地图AM3中的相应位置被标记为第四优先次序RK4。场景区块SEG6-SEG8是为远离场景区块SEG3的背景特征,并且场景区块SEG5也是一个远离的小物件,因此在关注地图AM3中的相应位置被标记为第五优先次序RK5,其为最低优先次序。
在上述图6所示的例示中,关注地图AM3是有关注视点GZ的例子,是依据使用者的注视点GZ其即时关注状态的分布所产生,但本揭露并不限于此。关注地图可以标示使用者关注的潜在关注预测。请参照图7,图7是为由关注参数EF1-EF3与IF1-EF3所产生的一关注地图AM4的再一例示。在图3B与图7所示的例示中,注视点GZ是先在场景区块SEG3上停留一相对较短的时间段(例如0.3秒),并且注视点GZ现在向朝着场景区块SEG2的方向移动。因此之故,潜在关注预测可推测场景区块SEG2将吸引使用者的注意,因此在关注地图AM4中的一相应位置被标记为第一优先次序RK1,如图7所示。在这种情况下,关注地图AM4是相应于与注视点GZ相关的一预测而产生。
上述图4、图5、图6及图7所示的例子是用以展示关注地图AM1-AM4的一些可能情况。于一实施例中,每一个关注地图并不是依据关注参数EF1-EF3与IF1-EF3中的单一关注参数计算而得。每一个关注地图是由关注因子EF1-EF3与IF1-IF3的加权计算的总和或倍数计算而得。
要采用加权计算的总和还是采用倍数计算来整合外部参数与内部参数的加权比例或倍数是根据实际应用状态而定。无论使用者原本对某些物件是否感兴趣,具有特定条件的外部参数的物件(例如有一个物件突然之间进到可视范围内且快速移动,由此物件的外部参数如速度与位置等可以判断)很可能吸引使用者的注意,在这种情况下,整合外部参数与内部参数的函数可能是加权总和。另一方面,一些外部参数只有当使用者对与其有关的内容感兴趣时,才可能引起使用者的注意。例如,即使一本书具有一独特的外观,如果使用者目前正在寻找食物,使用者仍然不太会关注这本有独特外观的书籍。在这种情况下,组合外部参数与内部参数的函数可以采用倍数计算。
如图1、图2与图3B所示,当关注地图被产生后,显示方法200的操作S206被控制电路180执行,以依据关注地图(参照图4至图6中的AM1-AM3)中场景区块SEG1-SEG9的优先次序(参照图4至图6中的RK1-RK5),在场景区块SEG1-SEG9间分配图形处理电路140的运算资源分布。
依据运算资源分布,于一实施例中,具有较高优先次序的其中一个场景区块之一,是被图形处理电路140以增强级别来计算。或者,具有较低优先次序的另外一个场景区块,由图形处理电路140以一降低级别来进行计算。于一实施例中,增强级别或降低级别是有关于呈现、辨识或重建虚拟实境场景或扩增实境场景中的场景区块时使用的纹理品质、一取样节点数量、一搜寻范围或是一焦点窗口。
例如,具有较高优先次序的一场景区块,由图形处理电路140以一较高的解析度呈现,以较多的取样节点辨识,或是以一较精细的缩放器来重建,以定位此场景区块。另一方面,具有较低优先次序的另一场景区块,由图形处理电路140以一较低的解析度呈现,以较少的取样节点辨识,或是以一较粗的缩放器来重建,以定位此场景区块。
基于上述的运算资源分布,图形处理电路140可更加关注于使用者所注意的场景区块。至于不被使用者注意的场景区块,则可以较低的标准(例如,较低的解析度、较低的采样率或粗略的定位)更快地计算,而不会造成图形处理电路140的负载过重。
如图1、图2与图3B所示,显示方法200的操作S208被图形处理电路140执行,以依据在关注地图(参照图4至图6中的关注地图AM1-AM3)中所定义的运算资源分布,差别计算场景区块SEG1-SEG9。显示器120可依据图形处理电路140的计算结果,显示虚拟实境场景或扩增实境场景。
基于上述的实施例,本揭露文件提供了基于关注目标而动态分配运算资源的方案,来最佳化图形处理电路的运算资源分布,以于扩增实境(AR)或虚拟实境(VR)场景中,识别场景区块(例如物体、物件或背景特征)的优先次序。由基于上述关注目标排序所推导的优先次序,用以分配用于处理、呈现、辨识及/或重建上述物体、物件或背景特征时的运算资源分布。具有较高优先次序的场景区块以较多的运算资源处理,以达到比较好的呈现品质以及具有较短的更新延迟。另一方面,具有较低优先次序的场景区块以较少的运算资源处理。在这种情况下,有限运算资源的大部分将分配给较有可能性吸引使用者注意的场景区块。
本揭露文件的另一实施例是一种非暂态计算机可读取储存媒体其具有一计算机程序,以执行图2所示的显示方法200。
本揭露文件中基于关注目标而动态分配运算资源的方案,依据外部以及内部参数来划分关注参数的类型。外部参数包含(但不限于)物件的移动状态、物件是否显眼、物件的声音以及气味,内部参数包含(但不限于)使用者的头部移动以及眼睛注视路径。借此,在个别时间点分别推导出关注地图以优先化运算资源的分配。通过分析环境属性以及使用者的关注行为,这种基于使用者关注目标而动态分配运算资源的方案,有助于提高虚拟实境与扩增实境系统的效率与性能。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何熟悉此技艺者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰,因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (13)

1.一种电子装置,其特征在于,该电子装置包含:
一显示器,用以显示一虚拟实境场景或是一扩增实境场景;
一图形处理电路,耦接于该显示器,该图形处理电路用以计算该虚拟实境场景或该扩增实境场景内的多个场景区块;
多个感测器,用于收集多个关注参数;以及
一控制电路耦接于所述多个感测器以及该图形处理电路,该控制电路用以:
依据所述多个关注参数产生一关注地图,该关注地图记录所述多个场景区块的优先次序;以及
依据该关注地图内的所述多个场景区块的所述优先次序,在所述多个场景区块之间分配该图形处理电路的一运算资源分布,其中该图形处理电路依据该运算资源分布而差别地计算所述多个场景区块。
2.根据权利要求1所述的电子装置,其特征在于,所述多个关注参数包含一外部参数以及一内部参数,该外部参数是与该虚拟实境场景或该扩增实境场景中的所述多个场景区块的一变化有关,该内部参数是与该电子装置的一使用者的一视线、一姿势或一移动有关。
3.根据权利要求2所述的电子装置,其特征在于,该关注地图是为一即时关注分布或是一潜在关注预测,该关注地图是依据该外部参数以及该内部参数的一组合而产生。
4.根据权利要求1所述的电子装置,其特征在于,所述多个感测器包含一照相机,该照相机用于拍摄该电子装置周围的一真实物件的一移动状态或一外观,所述多个关注参数包含该真实物件的该移动状态或该外观。
5.根据权利要求1所述的电子装置,其特征在于,所述多个感测器包含一麦克风,该麦克风用于接收该电子装置周围的一声音,所述多个关注参数包含该声音的一起始点或是一方向性。
6.根据权利要求1所述的电子装置,其特征在于,所述多个感测器包含一仿生嗅觉感测器,该仿生嗅觉感测器用于感测该电子装置周围的一气味,所述多个关注参数包含该气味的一起始点或是一方向性。
7.根据权利要求1所述的电子装置,其特征在于,所述多个感测器包含一景像记录器,该景像记录器用于记录该虚拟实境场景或该扩增实境场景当中的一可视部分的一连续播放景像,所述多个关注参数包含该可视部分的一位置。
8.根据权利要求1所述的电子装置,其特征在于,所述多个感测器包含一头戴式照相机,用于拍摄该电子装置的一使用者前方的一景像,所述多个关注参数包含出现于该景像内的一真实物件或是该头戴式照相机的一拍摄姿势。
9.根据权利要求1所述的电子装置,其特征在于,所述多个感测器包含一视线追踪器,用于侦测该电子装置的一使用者的一眼睛注视路径,所述多个关注参数包含该眼睛注视路径中的一注视点或是一注视时间段。
10.根据权利要求1所述的电子装置,其特征在于,依据该运算资源分布,所述多个场景区块的其中一者具有一第一优先次序是由该图形处理电路以一增强级别计算,或者所述多个场景区块的另外一者具有一第二优先次序是由该图形处理电路以一降低级别计算,该第一优先次序高于该第二优先次序。
11.根据权利要求10所述的电子装置,其特征在于,该增强级别或是该降低级别,是有关于呈现、辨识或重建该虚拟实境场景或该扩增实境场景中的所述多个场景区块时所使用的一纹理品质、一取样节点数量、一搜寻范围或是一焦点窗口。
12.一种显示方法,用以显示一虚拟实境场景或是一扩增实境场景,其特征在于,该显示方法包含:
收集多个关注参数;
依据所述多个关注参数产生一关注地图,该关注地图记录该虚拟实境场景或是该扩增实境场景内的所述多个场景区块的优先次序;
依据该关注地图内的所述多个场景区块的所述优先次序,分配所述多个场景区块之间的一运算资源分布;以及
依据该运算资源分布而差别地计算所述多个场景区块。
13.一种非暂态计算机可读取储存媒体,具有一计算机程序以执行一方法,其特征在于,其中该方法包含:
收集多个关注参数;
依据所述多个关注参数产生一关注地图,该关注地图记录该虚拟实境场景或是该扩增实境场景内的所述多个场景区块的优先次序;
依据该关注地图内的所述多个场景区块的所述优先次序,在所述多个场景区块之间分配一运算资源分布;以及
依据该运算资源分布而差别地计算所述多个场景区块。
CN201810036654.8A 2017-03-23 2018-01-15 电子装置、显示方法以及非暂态计算机可读取储存媒体 Active CN108628436B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/468,096 2017-03-23
US15/468,096 US10366540B2 (en) 2017-03-23 2017-03-23 Electronic apparatus and method for virtual reality or augmented reality system

Publications (2)

Publication Number Publication Date
CN108628436A true CN108628436A (zh) 2018-10-09
CN108628436B CN108628436B (zh) 2021-01-29

Family

ID=63581196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810036654.8A Active CN108628436B (zh) 2017-03-23 2018-01-15 电子装置、显示方法以及非暂态计算机可读取储存媒体

Country Status (3)

Country Link
US (1) US10366540B2 (zh)
CN (1) CN108628436B (zh)
TW (1) TWI665603B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI802859B (zh) * 2020-04-01 2023-05-21 巨大機械工業股份有限公司 自行車適配方法、設備和非暫時性電腦可讀取儲存媒體

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP2020017206A (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理装置、行動決定方法及びプログラム
JP7093418B2 (ja) * 2018-09-20 2022-06-29 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US11221487B2 (en) 2019-03-26 2022-01-11 Kevin Chew Figueroa Method and device of field sequential imaging for large field of view augmented/virtual reality
KR20210014819A (ko) * 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 가상 현실 표시 시스템
GB2612335A (en) * 2021-10-28 2023-05-03 Sphere Res Ltd Tracking user focus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742325A (zh) * 2008-11-11 2010-06-16 北京中星微电子有限公司 一种视频编码的方法和编码器
US20140247277A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Foveated image rendering
CN104508711A (zh) * 2013-03-14 2015-04-08 梦工厂动画公司 用于渲染计算机生成动画的资源分区
CN104679509A (zh) * 2015-02-06 2015-06-03 腾讯科技(深圳)有限公司 一种渲染图形的方法和装置
CN106228591A (zh) * 2016-07-12 2016-12-14 江苏奥格视特信息科技有限公司 虚拟现实超高速实时渲染方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2306180A4 (en) * 2008-06-23 2016-03-09 Atonarp Inc SYSTEM FOR MANAGING INFORMATION RELATING TO CHEMICALS
AU2009298428B2 (en) 2008-10-03 2013-03-14 3M Innovative Properties Company Systems and methods for optimizing a scene
JP5456791B2 (ja) * 2009-01-26 2014-04-02 トビー・テクノロジー・アーベー 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法
US10585472B2 (en) * 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
ES2633016T3 (es) * 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
KR20150084200A (ko) 2014-01-13 2015-07-22 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
KR102433291B1 (ko) 2014-07-31 2022-08-17 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
TW201640280A (zh) 2015-05-15 2016-11-16 承風創意整合有限公司 物品導向的擴增實境運作方法、系統以及電腦可讀取儲存媒體
CN106296828B (zh) 2016-07-20 2019-03-26 深圳市杰尔斯展示股份有限公司 一种实现虚拟场景分层次建模的方法与系统
CN106354251B (zh) 2016-08-17 2019-04-02 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742325A (zh) * 2008-11-11 2010-06-16 北京中星微电子有限公司 一种视频编码的方法和编码器
US20140247277A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Foveated image rendering
CN104508711A (zh) * 2013-03-14 2015-04-08 梦工厂动画公司 用于渲染计算机生成动画的资源分区
CN104679509A (zh) * 2015-02-06 2015-06-03 腾讯科技(深圳)有限公司 一种渲染图形的方法和装置
CN106228591A (zh) * 2016-07-12 2016-12-14 江苏奥格视特信息科技有限公司 虚拟现实超高速实时渲染方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI802859B (zh) * 2020-04-01 2023-05-21 巨大機械工業股份有限公司 自行車適配方法、設備和非暫時性電腦可讀取儲存媒體
US11878214B2 (en) 2020-04-01 2024-01-23 Giant Manufacturing Co., Ltd. Methods and systems for bicycle fitting

Also Published As

Publication number Publication date
US10366540B2 (en) 2019-07-30
TW201835750A (zh) 2018-10-01
CN108628436B (zh) 2021-01-29
US20180276894A1 (en) 2018-09-27
TWI665603B (zh) 2019-07-11

Similar Documents

Publication Publication Date Title
CN108628436A (zh) 电子装置、显示方法以及非暂态计算机可读取储存媒体
US11669152B2 (en) Massive simultaneous remote digital presence world
US10948982B2 (en) Methods and systems for integrating virtual content into an immersive virtual reality world based on real-world scenery
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
KR102185804B1 (ko) 혼합 현실 필터링
EP3258671B1 (en) System and method for augmented and virtual reality
CN112154405B (zh) 三维推送通知
US11256091B2 (en) Dynamic objects in virtual reality environments
KR20190080530A (ko) 가상현실 영화의 적극적 인터랙션 시스템 및 방법
US20220148253A1 (en) Image rendering system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant