CN107436683B - 显示控制器、电子装置和虚拟现实装置 - Google Patents

显示控制器、电子装置和虚拟现实装置 Download PDF

Info

Publication number
CN107436683B
CN107436683B CN201710372801.4A CN201710372801A CN107436683B CN 107436683 B CN107436683 B CN 107436683B CN 201710372801 A CN201710372801 A CN 201710372801A CN 107436683 B CN107436683 B CN 107436683B
Authority
CN
China
Prior art keywords
image
frame
reference image
display controller
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710372801.4A
Other languages
English (en)
Other versions
CN107436683A (zh
Inventor
林奎泰
车致镐
曹和铉
高允浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160079305A external-priority patent/KR20170134147A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107436683A publication Critical patent/CN107436683A/zh
Application granted granted Critical
Publication of CN107436683B publication Critical patent/CN107436683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136—Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供显示控制器、电子装置和虚拟现实装置。所述显示控制器包括：帧速率转换器，基于第一参考图像创建具有比第一参考图像的第一帧速率高的第二帧速率的第二参考图像；缓冲器，存储第二参考图像；图像处理器，通过选择第二参考图像的至少一部分来创建输出图像。

Description

显示控制器、电子装置和虚拟现实装置
本申请要求于2016年5月27日在韩国知识产权局提交的第10-2016-0065657号韩国专利申请和2016年6月24日提交的第10-2016-0079305号韩国专利申请的优先权，所述韩国专利申请的公开内容通过引用全部包含于此。
技术领域
与示例实施例一致的方法和设备涉及显示控制器、电子装置和虚拟现实装置。
背景技术
由于虚拟现实装置已经得到广泛使用，因此已经研究了向用户提供更逼真的虚拟现实服务的技术。虚拟现实装置可以包括可以佩戴在用户的头部上的头戴式显示装置等。虚拟现实装置具有基本显示功能并输出图像。与传统的显示装置不同，虚拟现实装置接近于用户的眼睛显示图像。因此，需要使诸如疲劳或眩晕的不良反应最小化的技术。
发明内容
一个或更多个示例实施例提供一种显示控制器、电子装置和虚拟现实装置，以能够减少用户的疲劳或眩晕。
根据示例实施例的一个方面，提供一种显示控制器，所述显示控制器包括：帧速率转换器，被配置为基于第一参考图像创建具有比第一参考图像的第一帧速率高的第二帧速率的第二参考图像；缓冲器，被配置为存储第二参考图像；图像处理器，被配置为通过选择第二参考图像的至少一部分来创建输出图像。
根据另一示例实施例的一个方面，提供一种电子装置，所述电子装置包括：应用处理器；传感器，被配置为通过检测用户移动来生成移动信息；显示控制器，包括被配置为存储参考图像的缓冲器，所述显示控制器被配置为通过增大原始图像的帧速率来生成参考图像，并且基于移动信息通过选择参考图像的至少一部分来创建输出图像；显示装置，包括显示面板和被配置为使用显示面板来显示输出图像的显示驱动器。
根据又一示例实施例的一个方面，提供一种虚拟现实装置，所述虚拟现实装置包括：框架，被配置为佩戴在用户的头部上；传感器，被配置为通过检测用户移动来生成移动信息；显示控制器，包括被配置为存储参考图像的缓冲器，所述显示控制器被配置为通过增大原始图像的帧速率来生成参考图像，并且基于移动信息通过选择参考图像的至少一部分来创建输出图像；显示装置，安装在框架上，并且被配置为显示输出图像。
根据再一示例实施例的一个方面，提供一种生成输出图像的方法，所述方法包括：接收包括第一图像帧和第二图像帧的第一参考图像，第一参考图像具有第一帧速率；基于第一参考图像生成第二参考图像，第二参考图像具有比第一帧速率高的第二帧速率；感测用户移动；基于第二参考图像和感测到的用户移动来生成输出图像。
根据另一示例实施例的一个方面，提供一种显示控制器，所述显示控制器包括：帧速率转换器，被配置为接收具有第一帧速率的第一参考图像并生成具有第二帧速率的第二参考图像；图像处理器，被配置为接收传感器信号，接收第二参考图像，基于传感器信号确定第二参考图像的输出部分，并且基于输出部分生成输出图像。
附图说明
当结合附图时，通过下面的详细描述，以上和其它方面、特征和优点将被更加清楚地理解，在附图中：
图1和图2是根据一个或更多个示例实施例的虚拟现实装置的视图；
图3和图4是根据一个或更多个示例实施例的显示控制器的图；
图5是根据示例实施例的电子装置的框图；
图6和图7是示出根据一个或更多个示例实施例的显示控制器的操作的图；
图8是根据示例实施例的能够使用虚拟现实装置工作的图像装置的视图；
图9至图17是示出根据一个或更多个示例实施例的显示控制器的操作的图。
具体实施方式
在下文中，将参照附图详细描述示例实施例。
图1和图2是根据一个或更多个示例实施例的虚拟现实装置的视图。
参照图1，根据示例实施例的虚拟现实装置10可以是用户可以在他或她的头上佩戴的头戴式显示器(HMD)。虚拟现实装置10可以具有安装在其中以向用户显示图像的电子装置18。电子装置18可以安装在虚拟现实装置10的容纳空间中。当电子装置18是可以附着到虚拟现实装置10或从虚拟现实装置10拆卸的装置时，诸如智能电话等的智能装置可以被用作电子装置18。
虚拟现实装置10可以包括固定部11、框架12、操作构件13和14、连接器15、盖16和光学部17。固定部11可以设置为将虚拟现实装置10安装在用户的头部上，并可以包括诸如带(例如，由弹性构件形成的皮带)、镜腿或头盔的固定构件。用户可以通过将他或她的头部置于固定部11内来使用虚拟现实装置10，因此框架12的一部分可以与用户的眼睛的周围区域紧密接触。为了减少用户的疲劳，框架12可以在框架12的可以与用户的眼睛的周围区域紧密接触的部分中包括弹性材料。
框架12可以包括用于容纳电子装置18的空间。如上所述，电子装置18可以是可以附着到框架12或从框架12拆卸的单独的装置。框架12可以包括设置在电子装置18与用户的眼睛之间的光学部17，光学部17可以包括透镜。电子装置18可以设置在光学部17的前面，盖16可以设置在电子装置18的后面。
连接器15可以电连接到电子装置18，以向电子装置18发送控制信号以及从电子装置18接收控制信号。具体地，当电子装置18是可以附着到框架12或者从框架12拆卸的装置时，连接器15可以连接到电子装置18的连接器。在示例实施例中，当电子装置18是智能装置时，连接器15可以连接到智能装置中包括的符合各种标准的连接器，诸如通用串行总线(USB)、微型USB或照明终端。
操作构件13和14可以包括触摸面板或/和机械轮。用户可以通过操作构件13和14执行诸如图像回放、暂停、图像视点移动或音量调整的功能。操作构件13可以是触摸面板，操作构件14可以是轮。轮14可以被设置为输入与触摸面板13的功能不同的功能，例如，设置为调整光学部17的焦距。除了触摸面板13和轮14之外，虚拟现实装置10还可以包括各种其它操作器件。
参照图2，根据示例实施例的虚拟现实装置20可以是能够向用户提供虚拟现实服务而不与单独的电子装置18组合的独立装置。在图2中示出的示例实施例中，类似于图1中示出的示例实施例，虚拟现实装置20可以包括固定部21、框架22以及操作构件23和24。在图2中示出的示例实施例中，虚拟现实装置20中不容纳单独的电子装置，并且可以去除诸如连接器或盖的构造。生成图像的显示装置和光学部可以设置在用户的注视可以到达的框架22的内部空间中。
同时，根据示例实施例，设置为独立装置的虚拟现实装置20可以连接到诸如台式个人计算机(PC)或膝上型PC的外部主机，以从外部主机接收电力或/和用于虚拟现实的数据。如图2中所示出的，虚拟现实装置20可以通过布线连接到主机。以不同的方式，虚拟现实装置20可以无线地连接到主机。
用户通过虚拟现实装置10或20观看的图像可以是静止图像或视频。当提供虚拟现实服务时，用户观看的图像可以根据佩戴虚拟现实装置10或20的用户的移动而改变。因此，为了自然地显示图像，会需要一种尽管用户突然移动但是以短的延迟时间从原始图像检索到用户期望观看的图像的区域的方法。
可以每秒连续地显示几十个静止图像，因此用户可以将连续显示的静止图像识别为视频。例如，用户观看的图像可以每秒被改变几十次。用户通过虚拟现实装置10或20观看的图像可以非常接近用户的眼睛，当指示每秒显示的静止图像的数量的帧速率(framerate)或每秒帧数(FPS)低时，用户会识别到图像中断。此外，在视频中，需要在用户移动时以较短的延迟时间从原始图像检索到需要实际显示的区域的方法。
在视频的情况下，可以强制增大帧速率。然而，在这种情况下，处理器会需要处理大量的计算，导致处理器的功耗的增大或处理器的制造成本的增大。具体地，因为虚拟现实装置10或20可以通常被提供在移动环境中，所以处理器的功耗的增大会导致虚拟现实装置10或20的使用时间的减少，从而引起用户的不便。
根据示例实施例，显示控制器可以通过从原始图像选择特定区域来创建参考图像，可以增大参考图像的帧速率，并可以将参考图像存储在缓冲器中。参考图像可以包括由佩戴虚拟现实装置10或20的用户观看的输出图像。例如，参考图像可以具有与输出图像的尺寸相同的尺寸或比输出图像的尺寸大的尺寸。当用户移动时，显示控制器可以选择并输出存储在缓冲器中的参考图像的一部分。因此，可以以高帧速率提供流畅的移动图像，可以以短的延迟时间改变输出图像。因此，即使当用户移动时，也可以流畅地滚动和显示图像。因此，可以向用户提供更逼真的虚拟现实服务。
图3和图4是根据一个或更多个示例实施例的显示控制器的图。
参照图3，根据示例实施例的显示控制器100可以包括帧速率转换器(FRC)110、缓冲器120和图像处理器130。显示控制器100可以从原始图像处理器210接收参考图像，并可以基于接收的参考图像生成输出图像。输出图像可以被发送到显示驱动器(DDI)220。DDI220可以包括时序控制器、栅极驱动器和源极驱动器。根据示例实施例，输入图像也可以通过绕过FRC 110而被直接发送到缓冲器120。
当虚拟现实装置10利用可以附着到虚拟现实装置10或从虚拟现实装置10拆卸的电子装置18提供虚拟现实服务时，原始图像处理器210、DDI 220和显示控制器100中的至少部分可以包括在电子装置18中。作为示例，原始图像处理器210和显示控制器100中的至少一个可以被设置为具有控制电子装置18的执行处理器(例如，应用处理器)的单个模块。同时，独立的虚拟现实装置20可以具有设置在其中的显示控制器100、原始图像处理器210和DDI 220。在这种情况下，原始图像处理器210和DDI 220中的至少部分以及显示控制器100可以被实现为单个模块。
原始图像处理器210可以从外部源接收原始图像，并可以从接收的原始图像创建第一参考图像。原始图像处理器210可以从外部成像装置等接收原始图像，或者可以检索存储在存储器等中的图像数据作为原始图像。原始图像处理器210可以实现为具有电子装置18的应用处理器或独立虚拟现实装置20的主处理器的单个模块。在示例实施例中，当原始图像处理器210接收具有视频格式的原始图像时，原始图像可以是具有小于或等于30FPS的帧速率的视频。
虚拟现实装置10或20可以以非常接近用户的眼睛的距离来显示输出图像。因此，与为了远程观看的目的而提供的智能装置、电视机和投影仪不同，用户会根据输出图像的质量而容易感觉到疲劳。在原始图像具有低帧速率的情况下，当虚拟现实装置10或20照原样输出原始图像时，会增大用户的疲劳程度。在一般情况下，可以采用通过增大原始图像的帧速率并且通过包括在主处理器或应用处理器中的原始图像处理器210输出原始图像来减少用户疲劳的方法。
当原始图像处理器210增大原始图像的帧速率时，会增大由主处理器或应用处理器消耗的功率，因为虚拟现实装置10或20可以主要用于手持环境中，因此会减少虚拟现实装置10或20的使用时间。此外，当原始图像的分辨率高时，需要由原始图像处理器210处理的计算量会增大，原始图像处理器210的性能要求会更高，因此导致诸如主处理器或应用处理器的制造成本增大的问题。
根据各种示例实施例，显示控制器100可以调整由原始图像处理器210输出的第一参考图像的帧速率，同时通过使用各种图像处理方法来解决可能发生在虚拟现实服务中的抖动等的问题。
同时，虚拟现实装置10或20可以检测用户移动以控制用户观看的图像。在示例实施例中，当佩戴虚拟现实装置10或20的用户在诸如上、下、右或左的各个方向上移动用户的头部或眼睛时，传感器230可以检测用户移动以生成移动信息。虚拟现实装置10或20可以基于生成的移动信息来改变用户观看的图像。当根据用户移动的图像滚动没有被流畅地执行时，用户会识别到图像中断，使得容易感觉到眩晕或疲劳。
根据各种示例实施例，显示控制器100可以将包括比用户观看的图像的区域大的区域的参考图像存储在缓冲器120中。当检测到用户移动时，图像处理器130可以根据用户移动从存储在缓冲器120中的参考图像选择并输出需要显示的图像。因此，可以减少根据用户移动改变图像所需的延迟时间，以提供流畅的图像滚动，并且给用户更方便和逼真的虚拟现实服务。
接下来参照图4，在根据示例实施例的显示控制器100A中，图像处理器130A可以包括区域计算器131和分辨率转换器132，并还可以包括图像失真器。区域计算器131可以选择存储在缓冲器120中的第二参考图像的至少一部分，并可以与根据图3中所示的示例实施例的图像处理器130类似地操作。分辨率转换器132或图像失真器可以使由区域计算器131输出的图像的特征(例如，图像的分辨率)失真，以通过光学部17产生失真图像或倒像。此外，分辨率转换器132或图像失真器可以增大由区域计算器131输出的图像的分辨率。
当发送到原始图像处理器210的原始图像的分辨率高时，FRC 110需要增大第一参考图像的帧速率的计算量会增大。此外，因为由FRC 110输出的第二参考图像的体积大，所以缓冲器120的所需容量也会增大。在示例实施例中，为了减少FRC 110的计算负担和缓冲器120的容量，原始图像处理器210可以通过降低原始图像的分辨率来生成第一参考图像。
因为由虚拟现实装置10或20输出的图像可以在非常接近用户眼睛的位置处显示，所以当输出图像的分辨率低时，像素数据的断裂、相邻像素之间的边界等会被用户识别。因此，可以通过降低原始图像的分辨率来生成第一参考图像，分辨率转换器132可以设置在区域计算器131的输出端处，以便向DDI 220发送分辨率与原始图像的分辨率近似或高于原始图像的分辨率的输出图像。可以降低第一参考图像的分辨率，因此缓冲器120的容量和FRC110的计算负担可以减小。输出图像可以在分辨率上反复地增大，并被发送到DDI 220，以向用户提供具有高分辨率的输出图像。
图5是根据示例实施例的电子装置的框图。
参照图5，根据示例实施例的电子装置300可以包括应用处理器310、传感器模块320、显示控制器330、显示装置340、存储器350和通信模块360。包括在电子装置300中的各自的组件可以通过数据总线370彼此交换数据。
应用处理器310可以是用于控制电子装置300的整体操作的执行处理器。当将电子装置300安装在虚拟现实装置10上以用于提供虚拟现实服务时，应用处理器310可以通过通信模块360从外部成像装置接收原始图像，或者可以检索存储在存储器350中的图像数据，以使用检索到的图像数据作为原始图像。在示例实施例中，应用处理器310可以包括参考图3和图4描述的原始图像处理器210。
传感器模块320可以具有至少一个传感器，具体地，可以包括检测用户移动的运动传感器。当将电子装置300安装在虚拟现实装置10上并且虚拟现实装置10被用户佩戴时，用户的头部或眼睛的移动可以由传感器模块320检测。基于由传感器模块320检测到的用户移动，可以改变向用户显示的用于虚拟现实服务的图像。
在示例实施例中，显示控制器330可以包括FRC、缓冲器和图像处理器。显示控制器330可以增大用于向用户提供虚拟现实服务的原始图像的帧速率，并可以将原始图像存储在缓冲器中。此外，显示控制器330可以基于由传感器模块320检测到的用户移动，通过选择存储在缓冲器中的图像的至少一部分来生成输出图像。
由显示控制器330生成的输出图像可以通过显示装置340显示给用户。显示装置340可以包括显示面板和DDI。DDI可以包括时序控制器、栅极驱动器和数据驱动器。在示例实施例中，显示控制器330可以被实现为具有DDI或应用处理器310的单个模块。
图6和图7是示出根据一个或更多个示例实施例的显示控制器的操作的图。为了便于描述，在下文中将参照图3描述根据示例实施例的显示控制器的操作。
首先参照图6，原始图像410可以是具有第一帧速率的视频。假设第一帧速率为24FPS，例如，在原始图像410中连续显示的第一图像帧411与第二图像帧412之间可以存在1/24秒或约41.7毫秒。因为由人眼观看的图像从视神经传送到大脑然后被人识别的时间非常短，所以当具有24FPS的原始图像410照原样输出时，用户会识别到图像中断。在原始图像410具有30FPS(其中，在第一图像帧411与第二图像帧412之间存在大约33.3毫秒的时间)的情况下，用户仍然会识别到图像中断。
在示例实施例中，显示控制器100可以增大原始图像410的帧速率以生成输出图像。参照图3和图6，原始图像处理器210可以处理原始图像410以生成第一参考图像420。包括在第一参考图像420中的第一图像帧421和第二图像帧422可以是从包括在原始图像410中的第一图像帧411和第二图像帧412选择的部分。第一参考图像420可以具有与原始图像410的帧速率相同的帧速率。此外，第一参考图像420的尺寸可以为原始图像410的尺寸。
第一参考图像420可以被发送到显示控制器100。FRC 110可以接收第一参考图像420以生成第二参考图像430。第二参考图像430可以包括第一图像帧431、第二图像帧432以及在第一图像帧431与第二图像帧432之间插入的第一附加图像帧433至第三附加图像帧435。第一图像帧431和第二图像帧432可以分别与包括在第一参考图像420中的第一图像帧421和第二图像帧422相同。
第一附加图像帧433至第三附加图像帧435可以通过FRC 110插入。在示例实施例中，第一附加图像帧433至第三附加图像帧435可以与第一图像帧431或第二图像帧432相同。当原始图像410具有30FPS的帧速率时，通过插入第一附加图像帧433至第三附加图像帧435而生成的第二参考图像430可以具有120FPS的帧速率。第二参考图像430可以存储在缓冲器120中。
图像处理器130可以选择存储在缓冲器120中的第二参考图像430中包括的第一附加图像帧433至第三附加图像帧435的至少部分，以生成输出图像440。参照图6，输出图像440可以具有与第二参考图像430的帧速率相同的帧速率。包括在输出图像440中的第一图像帧441、第二图像帧442和第一附加图像帧443至第三附加图像帧445可以分别具有比包括在第二参考图像430中的第一图像帧431、第二图像帧432和第一附加图像帧433至第三附加图像帧435的尺寸小的尺寸。
包括在输出图像440中的第一图像帧441、第二图像帧442和第一附加图像帧443至第三附加图像帧445可以是可以由佩戴虚拟现实装置10或20的用户的眼睛观看的图像。包括在输出图像440中的第一图像帧441、第二图像帧442和第一附加图像帧443至第三附加图像帧445可以分别表示从包括在第二参考图像430中的第一图像帧431、第二图像帧432以及第一附加图像帧433至第三附加图像帧435选择的部分。在示例实施例中，可以通过检测用户的眼睛或头部的移动并从包括在第二参考图像430中的第一图像帧431、第二图像帧432和第一附加图像帧433至第三附加图像帧435中选择部分来生成包括在输出图像440中的第一图像帧441、第二图像帧442和第一附加图像帧443至第三附加图像帧445。
参照图7，不使用根据示例实施例的显示控制器100增大帧速率而接收的通用输出图像450可以允许在第一图像帧451之后立即显示第二图像帧452。第一图像帧451与第二图像帧452之间可以存在大约1/30秒的时间，因此第一图像帧451与第二图像帧452之间的位移差会被用户识别。因此，当用户通过虚拟现实装置10或20观看通用输出图像450时，用户会识别到图像中断或图像的特定部分的瞬间移动，而感觉到疲劳或眩晕。
参照图7，与通用输出图像450不同，通过根据示例实施例的显示控制器100生成的输出图像440可以包括插入在第一图像帧441和第二图像帧442之间的第一附加图像帧443至第三附加图像帧445。因此，输出图像440的帧速率可以增大到120FPS，可以不允许用户识别到图像中断，因此防止疲劳或眩晕。
此外，可以基于用户的眼睛或头部的移动来生成第一附加图像帧443至第三附加图像帧445。包括在输出图像440中的第一附加图像帧443至第三附加图像帧445可以被定义为输出图像440的与用户的眼睛或头部针对在第一图像帧441和第二图像帧442之间的时间间隔的移动对应的部分。例如，第一附加图像帧443至第三附加图像帧445可以是输出图像440的在第一图像帧441与第二图像帧442之间的部分。因此，虚拟现实装置10或20可以连续地显示第一图像帧441、第一附加图像帧443、第二附加图像帧444、第三附加图像帧445和第二图像帧442，因此为用户提供可以无缝且自然地滚动的输出图像440。
如上所述，第二参考图像430可以存储在缓冲器120中，图像处理器130可以通过考虑到用户的眼睛或头部的移动仅从存储在缓冲器120中的第二参考图像430选择部分来生成第一附加图像帧433至第三附加图像帧435。因此，可以减少生成第一附加图像帧443至第三附加图像帧445所需的延迟时间，并可以增大虚拟现实装置10或20的根据用户移动的响应速率。
图8是根据示例实施例的能够使用虚拟现实装置工作的成像装置的视图。
参照图8，根据示例实施例的成像装置30可以包括照相机31、壳体32和支撑部33。照相机31可以包括至少一个透镜和图像传感器以及从由图像传感器产生的信号生成图像的图像处理器。在示例实施例中，成像装置30可以基于成像装置30捕获360度环绕图像。在这种情况下，包括在照相机31中的至少一个透镜可以是可以允许立即捕获广角图像的鱼眼镜头。为了立即捕获360度环绕图像，照相机31可以包括设置在照相机31的不同位置上的多个鱼眼镜头，至少一个图像传感器可以设置为多个图像传感器。
由成像装置30生成的图像可以作为原始图像被发送到虚拟现实装置10或20。虚拟现实装置10或20和成像装置30可以通过有线或无线通信协议彼此连接，用户可以佩戴虚拟现实装置10或20以实时观看由成像装置30发送的原始图像。在除了独立的虚拟现实装置之外的虚拟现实装置10的情况下，电子装置18可以通过输出由成像装置30发送的原始图像来向用户提供虚拟现实服务。
图9至图16是示出根据各种示例实施例的显示控制器的操作的图。以下，将参照图9至图11描述当原始图像是360度图像时根据各种示例实施例的显示控制器的操作。
参照图9，基于根据图8中所示的示例实施例的成像装置30，可以通过捕获成像装置30的360度周围来获得原始图像500。考虑到由传感器230检测的用户移动或用户眼睛的位移，原始图像处理器210可以通过从原始图像500选择并切割一部分来生成第一参考图像510。第一参考图像510可以具有与原始图像500的帧速率相同的帧速率。如图9中所示出的，第一参考图像510可以是从原始图像500选择的一部分，并可以大于实际向用户显示的输出图像。
如上面参照图3所描述的，显示控制器100可以包括FRC 110、缓冲器120和图像处理器130。FRC 110可以增大由原始图像处理器210生成的第一参考图像510的帧速率。第一参考图像510可以具有与原始图像500的帧速率相同的帧速率，在示例实施例中，当第一参考图像510的帧速率为30FPS时，FRC 110可以将第一参考图像510的帧速率增大到120FPS以生成第二参考图像520，并可以将第二参考图像520存储在缓冲器120中。第二参考图像520可以具有与第一参考图像510相同的尺寸或/和分辨率。
当不采用根据示例实施例的显示控制器100时，输出图像530可以允许第一图像帧531和第二图像帧532连续地显示，如图10中所示。输出图像530可以具有与原始图像500和第一参考图像510的帧速率相同的帧速率，并且在第一图像帧531和第二图像帧532之间会存在1/30秒的时间。因此，由于在第一图像帧531之后根据用户的眼睛或头部的移动显示第二图像帧532，所以用户会识别到输出图像530的缓冲和缓慢的图像转换。这会导致用户的疲劳或眩晕。
参照图11，根据示例实施例的包括在显示控制器100中的图像处理器130可以从存储在缓冲器120中的第二参考图像520生成实际向用户显示的输出图像530。与图10中不同，输出图像530可以包括插入在第一图像帧531和第二图像帧532之间并且顺序地显示的多个附加图像帧533至535。因此，如图11中所示，可以在1/30秒期间还向用户显示三个附加图像帧533至535以防止用户识别到输出图像530的缓冲或缓慢的图像转换，从而减少用户的疲劳和眩晕。
在示例实施例中，图像处理器130可以根据由传感器230检测到的用户的头部或眼睛的移动来生成附加图像帧533至535。例如，在示例实施例中，图像处理器130可以从传感器230接收检测信息，并可以通过仅选择存储在缓冲器120中的第二参考图像520中包括的图像帧的部分来生成附加图像帧533至535。因此，可以减少需要生成用于增大输出图像530的帧速率所需的附加图像帧533至535的时间，因此抑制抖动现象的发生。考虑到目标输出图像的帧速率和用户移动或用户眼睛的位移的速度，可以适当地改变附加图像帧533至535的数量。
接下来参照图12至图14，当原始图像是游戏图像时，将描述根据示例实施例的显示控制器的操作。例如，在图12至图14中所示的示例实施例中，虚拟现实装置10或20可以向用户提供基于虚拟现实服务的游戏功能。图12至图14示出了作为示例的赛车游戏，但是也可以提供与赛车游戏的游戏功能不同的各种类型的游戏功能。
首先参照图12，显示控制器100的FRC 110可以生成比包括在实际向游戏用户显示的输出图像中的图像帧610和620大的第二参考图像600，并可以将第二参考图像600存储在缓冲器120中。第二参考图像600可以具有与由原始图像处理器210发送的第一参考图像的尺寸基本相同的尺寸，并可以具有比由游戏程序提供的原始图像的帧速率高的帧速率。FRC110可以增大由原始图像处理器210发送的第一参考图像的帧速率以生成第二参考图像600，并可以将第二参考图像600存储在缓冲器120中。
例如，当游戏运行时，显示控制器100的FRC 110可以将帧速率比原始图像的帧速率高的第二参考图像600存储在缓冲器120中。同时，游戏用户可以玩游戏同时实际观看包括在输出图像中的作为第二参考图像600的部分的图像帧610和620。
可以从玩游戏的游戏用户的第一人称的视角来玩基于虚拟现实服务的游戏。为了以快速响应速率提供自然的游戏图像，包括在输出图像中的图像帧610和620的部分可以在玩游戏时比图像帧的其它部分相对小地变化。在赛车游戏的情况下，根据图12至图14中所示的示例实施例，示出假定有游戏用户坐在其中的车辆的前景图像610A可以仅包括游戏用户玩赛车游戏时车辆的方向盘或车轮的移动的变化或者通过车辆的侧视镜反射的图像的变化。
参照图13，可以顺序地显示包括在输出图像中的第一图像帧610和第二图像帧620，并可以根据赛车游戏中的由游戏用户控制的车辆的驱动方向来确定第一图像帧610和第二图像帧620。第二图像帧620可以相对于第一图像帧610而位于第一图像帧610的右上端上，当游戏用户通过控制方向盘和加速器踏板向右驱动车辆时，可以在第一图像帧610之后显示第二图像帧620。通常，游戏图像可以具有30FPS的帧速率，第一图像帧610与第二图像帧620之间的时间间隔可以是大约1/30秒。因此，游戏用户会感测到第一图像帧610与第二图像帧620之间的转换或时间间隔，这会导致游戏用户的眩晕或疲劳。
在示例实施例中，如图14中所示，可以在第一图像帧610和第二图像帧620之间插入多个附加图像帧611至613。附加图像帧611至613可以是从第二参考图像600选择的部分。显示控制器100的图像处理器130可以选择存储在缓冲器120中的第二参考图像600中包括的图像帧的部分以生成附加图像帧611至613。在示例实施例中，考虑到由游戏用户输入的控制指令以及游戏用户的眼睛或头部的移动方向和移动速率，图像处理器130可以生成附加图像帧611至613。
如上所述，存储在缓冲器120中的第二参考图像600可以具有比由游戏程序提供的原始图像的帧速率高的帧速率。在示例实施例中，当由游戏程序提供的原始图像具有30FPS的帧速率时，存储在缓冲器120中的第二参考图像600可以具有120FPS的帧速率。例如，可以以每1/120秒显示存储在缓冲器120中的第二参考图像600中包括的图像帧。
在示例实施例中，插入在第一图像帧610与第二图像帧620之间的附加图像帧611至613可以是从包括在第二参考图像600中的图像帧选择的部分，输出图像也可以具有如在第二参考图像600中的120FPS的帧速率，。因此，可以减少游戏用户的疲劳和抖动现象。此外，在不通过原始图像处理器210处理的情况下，仅存储在缓冲器120中的第二参考图像600的所选部分允许要生成附加图像帧611至613，从而减少生成附加图像帧611至613所需的时间。
如上所述，在从游戏用户的第一人称视角玩游戏的情况下，第一图像帧610的部分可以包括前景图像610A，包括在输出图像中的附加图像帧611至613和第二图像帧620可以仅包括前景图像610A中相对小的变化。在赛车游戏的情况下，前景图像610A可以包括其中假设游戏用户正在驾驶车辆的车辆图像，并且可以仅包括车辆的方向盘或车轮的移动的变化以及由车辆的侧视镜反射的图像的变化。
在示例实施例中，图像处理器130可以单独处理前景图像610A和背景图像，以便提高计算的效率。通过划分和单独处理包括相对小的变化的前景图像610A和具有相对大的变化的背景图像，可以减少图像处理器130的计算量，可以增大图像处理器130的计算速率，从而缩短生成包括在输出图像中的第一图像帧610、附加图像帧611至613和第二图像帧620所需的时间。在示例实施例中，前景图像610A和背景图像可以被原始图像处理器210每帧划分，可以被发送到显示控制器100，并可以被单独存储在缓冲器120中。
接下来参照图15和图16，当用户使用虚拟现实装置10或20观看诸如电影或戏剧的视频时，将描述根据示例实施例的显示控制器的操作。
包括在电影中的原始图像可以具有24FPS的帧速率。因此，当用户使用可以接近用户的眼睛显示图像的虚拟现实装置10或20来观看电影时，用户会容易感觉到图像帧之间的缓冲或间隔，这会作为增加用户的眩晕或疲劳的主要原因。在示例实施例中，可以在包括在电影中的原始图像中每1/24秒提供的图像帧之间适当地插入附加图像帧，以增大原始图像的帧速率，从而减少用户的疲劳和眩晕。
参照图15，包括在电影中的原始图像可以允许每1/24秒显示单个图像。可以顺序地显示图15中所示的原始图像的第一图像帧710和第二图像帧720。在这种情况下，第一图像帧710和第二图像帧720之间的差异会被用户识别为图像缓冲。参照图15，人的位置可以从第一位置M1移动到第二位置M2，并且移动可能花费1/24秒，例如，大约42ms。用户会将移动识别为瞬间跳跃移动而不是自然移动，因此会产生干扰舒适的电影观看的因素。
参照图16中示出的示例实施例，根据示例实施例的显示控制器100可以在第一图像帧710和第二图像帧720之间插入适当的附加图像帧711至714。附加图像帧711至714的数量可以根据向用户输出图像的目标帧速率适当地改变。附加图像帧711至714可以由FRC110生成，FRC 110可以使用运动估计(ME)技术或运动补偿(MC)技术来生成附加图像帧711至714。参照图16，附加图像帧711至714中的人的位置M1-1至M1-4中的每个可以是在第一位置M1与第二位置M2之间的位置。因此，用户可以将出现在输出图像中的人的移动识别为无缝且自然的移动。
参照图9至图16描述的各种示例实施例可以应用到图4中示出的显示控制器100A和图3中示出的显示控制器100。
图17是示出根据示例实施例的显示控制器的操作的图。在下文中，为了便于描述，将参照图4中所示的显示控制器100A来描述根据示例实施例的显示控制器的操作。
如图17中所示，可以通过原始图像处理器210从原始图像生成第二参考图像800。第二参考图像800可以大于实际向用户显示的输出图像。此外，第二参考图像800可以具有比实际向用户显示的输出图像的分辨率低的分辨率。第二参考图像800可以存储在缓冲器120中。
从第二参考图像800选择的第一区域810可以是作为第一帧向用户显示的输出图像。根据由传感器230检测到的用户的移动信息，图像处理器130A的区域计算器131可以确定在第一帧之后需要显示的第二帧。传感器230可以感测用户的眼睛或头部的移动以生成移动信息。
首先，当用户移动的程度最低时，区域计算器131可以将第二区域820确定为第二帧。区域计算器131可以从存储在缓冲器120中的第二参考图像800选择第二区域820，并且可以将选择的第二区域820作为第二帧输出。
当用户移动的程度高于其最低程度时，区域计算器131可以将第三区域830确定为第二帧。根据用户移动，可以在第二帧之后将可不包括在第二参考图像800中的区域显示为输出图像。在这种情况下，原始图像处理器210可以从原始图像生成新的第二参考图像，并且可以将生成的新的第二参考图像存储在缓冲器120中。例如，根据用户移动，原始图像处理器210可以从原始图像生成新的第二参考图像，并且可以将生成的新的第二参考图像存储在缓冲器120中。
在由于用户移动程度非常高而将第四区域840确定为第二帧的情况下，确定为第二帧的第四区域840可以不包括在第二参考图像800中。在这种情况下，原始图像处理器210可以立即从原始图像选择第四区域840，并且可以将选择的第四区域840直接发送到DDI220，从而显著地减少在图像转换期间可能发生的延迟现象。当第四区域840被显示为第二帧时，原始图像处理器210可以从原始图像选择新的第二参考图像，并且可以将选择的新的第二参考图像发送到FRC 110。参照图17描述的示例实施例可以应用于根据图3的示例实施例的显示控制器100。
如上所述，根据示例实施例，显示控制器可以将具有低帧速率的图像数据转换为具有相对高的帧速率的图像数据。具体地，可以通过在增大图像数据的帧速率的过程中反映用户移动或前后图像帧来向使用虚拟现实装置或显示装置的用户提供自然图像。此外，具有高帧速率的图像可以预先存储在缓冲器中，并且可以参考存储的图像和用户移动来生成要输出给用户的图像，以显著减少延迟，从而减少用户的疲劳或眩晕，并极大地减少图像中断现象。
如发明构思的领域中传统的，在功能块、单元和/或模块方面，描述了并在附图中示出了示例实施例。本领域技术人员将理解的是，这些块、单元和/或模块通过诸如逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、布线连接等的电子(或光学)电路来物理地实现，这些可以使用基于半导体的制造技术或其它制造技术来形成。在块、单元和/或模块通过微处理器或类似物来实现的情况下，它们可以使用软件(例如，微代码)来编程，以执行这里讨论的各种功能，并且可以可选地由固件和/或软件驱动。可选择地，每个块、单元和/或模块可以由专用硬件来实现，或者作为专用硬件的组合来执行一些功能，以及作为处理器(例如，一个或更多个编程的微处理器和相关联的电路)来执行其它功能。另外，在不脱离发明构思的范围的情况下，示例实施例的每个块、单元和/或模块可以物理上分为两个或更多个交互和离散块、单元和/或模块。此外，在不脱离发明构思的范围的情况下，示例实施例的块、单元和/或模块可以物理上组合成更复杂的块、单元和/或模块。
虽然以上示出和描述了示例实施例，但是对于本领域技术人员将清楚的是，在不脱离由所附权利要求限定的本发明构思的范围的情况下，可以进行修改和变化。

Claims (22)

1.一种显示控制器，所述显示控制器包括：
帧速率转换器，被配置为基于第一参考图像创建具有比第一参考图像的第一帧速率高的第二帧速率的第二参考图像，第二参考图像包括第一参考图像的第一图像帧、第一参考图像的第二图像帧以及插入在第一图像帧与第二图像帧之间的多个附加图像帧，所述多个附加图像帧中的每个对应于第一图像帧和第二图像帧中的一个；
缓冲器，被配置为存储第二参考图像；以及
图像处理器，被配置为通过选择第二参考图像的至少一部分来创建输出图像，
其中，图像处理器还被配置为通过增大第二参考图像的所述至少一部分的分辨率来创建输出图像。
2.根据权利要求1所述的显示控制器，其中，第一参考图像通过选择原始图像的一部分来创建。
3.根据权利要求2所述的显示控制器，其中，图像处理器还被配置为基于用户移动通过选择第一图像帧、第二图像帧和所述多个附加图像帧中的每个附加图像帧的部分来创建输出图像。
4.根据权利要求2所述的显示控制器，其中，原始图像的所述一部分基于用户移动来选择。
5.根据权利要求2所述的显示控制器，其中，从360度照相机接收原始图像，第一参考图像和第二参考图像中的每个参考图像具有比原始图像的尺寸小的尺寸。
6.根据权利要求2所述的显示控制器，其中，原始图像是游戏图像，第一参考图像和第二参考图像中的每个参考图像具有比原始图像的尺寸小的尺寸。
7.根据权利要求6所述的显示控制器，其中，图像处理器还被配置为将第二参考图像划分为第一区域和比第一区域大的第二区域。
8.根据权利要求7所述的显示控制器，其中，图像处理器还被配置为基于用户移动通过选择第一图像帧、第二图像帧和所述多个附加图像帧中的每个附加图像帧的至少部分来确定第二区域。
9.根据权利要求8所述的显示控制器，其中，图像处理器还被配置为通过将第一区域和第二区域组合来创建输出图像。
10.根据权利要求1所述的显示控制器，其中，第一参考图像的尺寸为原始图像的尺寸。
11.根据权利要求10所述的显示控制器，其中，帧速率转换器还被配置为通过使用运动估计技术和运动补偿技术之中的至少一种技术来创建所述多个附加图像帧。
12.根据权利要求1所述的显示控制器，其中，第一参考图像和第二参考图像中的每个参考图像具有比输出图像的分辨率低的分辨率。
13.一种电子装置，所述电子装置包括：
应用处理器，包括被配置为基于原始图像生成具有第一帧速率的第一参考图像并将第一参考图像提供给显示控制器的原始图像处理器；
传感器，被配置为通过检测用户移动来生成移动信息；
显示控制器，包括：
帧速率转换器，被配置为基于第一参考图像创建具有比第一参考图像的第一帧速率高的第二帧速率的第二参考图像，第二参考图像包括第一参考图像的第一图像帧、第一参考图像的第二图像帧以及插入在第一图像帧与第二图像帧之间的多个附加图像帧，所述多个附加图像帧中的每个对应于第一图像帧和第二图像帧中的一个；
缓冲器，被配置为存储第二参考图像；以及
图像处理器，被配置为基于移动信息通过选择第二参考图像的至少一部分来创建输出图像；以及
显示装置，包括显示面板和被配置为使用显示面板显示输出图像的显示驱动器，
其中，图像处理器还被配置为通过增大第二参考图像的所述至少一部分的分辨率来创建输出图像。
14.根据权利要求13所述的电子装置，其中，显示控制器被设置为具有应用处理器和显示驱动器之中的至少一种的单个模块。
15.根据权利要求13所述的电子装置，其中，显示控制器被设置为与应用处理器和显示驱动器分开的模块。
16.一种虚拟现实装置，所述虚拟现实装置包括：
框架，被配置为佩戴在用户的头部上；
传感器，被配置为通过检测用户移动来生成移动信息；
显示控制器，包括：
帧速率转换器，被配置为基于第一参考图像创建具有比第一参考图像的第一帧速率高的第二帧速率的第二参考图像，第二参考图像包括第一参考图像的第一图像帧、第一参考图像的第二图像帧以及插入在第一图像帧与第二图像帧之间的多个附加图像帧，所述多个附加图像帧中的每个对应于第一图像帧和第二图像帧中的一个；
缓冲器，被配置为存储第二参考图像；以及
图像处理器，被配置为基于移动信息通过选择第二参考图像的至少一部分来创建输出图像；以及
显示装置，安装在框架上，并且被配置为显示输出图像，
其中，图像处理器还被配置为通过增大第二参考图像的所述至少一部分的分辨率来创建输出图像。
17.根据权利要求16所述的虚拟现实装置，其中，显示装置是与头戴式装置可分离的移动电子装置。
18.一种显示控制器，所述显示控制器包括：
帧速率转换器，被配置为接收具有第一帧速率的第一参考图像并基于第一参考图像生成具有比第一参考图像的第一帧速率高的第二帧速率的第二参考图像，第二参考图像包括第一参考图像的第一图像帧、第一参考图像的第二图像帧以及插入在第一图像帧与第二图像帧之间的多个附加图像帧，所述多个附加图像帧中的每个对应于第一图像帧和第二图像帧中的一个；以及
图像处理器，被配置为接收传感器信号，接收第二参考图像，基于传感器信号确定第二参考图像的输出部分，并且基于输出部分生成输出图像，
其中，图像处理器还被配置为通过选择第二参考图像的至少一部分并增大第二参考图像的所述至少一部分的分辨率来确定第二参考图像的输出部分。
19.根据权利要求18所述的显示控制器，其中，输出部分的分辨率低于第二参考图像的分辨率。
20.根据权利要求18所述的显示控制器，其中，图像处理器还被配置为转换第二参考图像的输出部分的分辨率以生成第二参考图像的分辨率转换的输出部分，并基于第二参考图像的分辨率转换的输出部分来生成输出图像。
21.根据权利要求18所述的显示控制器，其中，帧速率转换器还被配置为使用运动估计技术和运动补偿技术之中的至少一种技术来生成第二参考图像。
22.根据权利要求18所述的显示控制器，其中，从原始图像处理器接收第一参考图像，
图像处理器还被配置为基于指示移动大于阈值的传感器信号，从原始图像处理器请求随后的第一参考图像。
CN201710372801.4A 2016-05-27 2017-05-24 显示控制器、电子装置和虚拟现实装置 Active CN107436683B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160065657 2016-05-27
KR10-2016-0065657 2016-05-27
KR10-2016-0079305 2016-06-24
KR1020160079305A KR20170134147A (ko) 2016-05-27 2016-06-24 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치

Publications (2)

Publication Number Publication Date
CN107436683A CN107436683A (zh) 2017-12-05
CN107436683B true CN107436683B (zh) 2021-01-01

Family

ID=60421234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710372801.4A Active CN107436683B (zh) 2016-05-27 2017-05-24 显示控制器、电子装置和虚拟现实装置

Country Status (2)

Country Link
US (1) US10398976B2 (zh)
CN (1) CN107436683B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380950B2 (en) * 2016-09-23 2019-08-13 Novatek Microelectronics Corp. Method for reducing motion blur and head mounted display apparatus
US10649521B2 (en) 2017-04-24 2020-05-12 Intel Corporation Compensating for high head movement in head-mounted displays
WO2019140593A1 (zh) * 2018-01-18 2019-07-25 深圳市柔宇科技有限公司 头戴式显示设备及其显示控制方法
US20220113794A1 (en) * 2019-02-22 2022-04-14 Sony Interactive Entertainment Inc. Display device and image display method
CN113924520A (zh) * 2019-05-30 2022-01-11 京瓷株式会社 平视显示器系统以及移动体
FR3098629B1 (fr) * 2019-07-12 2021-08-13 Aledia Système de visualisation d’images et procédé de commande
CN113835225B (zh) * 2020-06-24 2023-08-08 宏碁股份有限公司 头戴式显示装置及应用该装置的画面显示方法
US11660750B1 (en) 2022-07-28 2023-05-30 Altec Industries, Inc. Autonomous and semi-autonomous control of aerial robotic systems
US11697209B1 (en) 2022-07-28 2023-07-11 Altec Industries, Inc. Coordinate mapping for motion control
US11717969B1 (en) 2022-07-28 2023-08-08 Altec Industries, Inc. Cooperative high-capacity and high-dexterity manipulators
US11742108B1 (en) 2022-07-28 2023-08-29 Altec Industries, Inc. Operation and insulation techniques
US11689008B1 (en) 2022-07-28 2023-06-27 Altec Industries, Inc. Wire tensioning system
US11997429B2 (en) 2022-07-28 2024-05-28 Altec Industries, nc. Reducing latency in head-mounted display for the remote operation of machinery
US11794359B1 (en) 2022-07-28 2023-10-24 Altec Industries, Inc. Manual operation of a remote robot assembly
US11749978B1 (en) 2022-07-28 2023-09-05 Altec Industries, Inc. Cross-arm phase-lifter
US11839962B1 (en) 2022-07-28 2023-12-12 Altec Industries, Inc. Rotary tool for remote power line operations

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646051A (zh) * 2008-08-07 2010-02-10 索尼株式会社 图像信号处理单元及处理图像信号的方法
CN103188509A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 用于多个3d内容的信号处理装置、显示装置、及其方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
US6912695B2 (en) * 2001-09-13 2005-06-28 Pixia Corp. Data storage and retrieval system and method
WO2003101086A2 (en) 2002-05-28 2003-12-04 Koninklijke Philips Electronics N.V. Motion blur decrease in varying duty cycle
US6963319B2 (en) * 2002-08-07 2005-11-08 Hewlett-Packard Development Company, L.P. Image display system and method
US7030894B2 (en) * 2002-08-07 2006-04-18 Hewlett-Packard Development Company, L.P. Image display system and method
US7034811B2 (en) * 2002-08-07 2006-04-25 Hewlett-Packard Development Company, L.P. Image display system and method
US8412000B2 (en) 2007-11-30 2013-04-02 Texas Instruments Incorporated System and method for reducing motion artifacts by displaying partial-resolution images
EP2120209A1 (en) 2008-05-14 2009-11-18 Thomson Licensing Apparatus for evaluating images from a multi camera cystem, multi camera system and process for evaluating
US9389419B2 (en) 2008-08-14 2016-07-12 Honeywell International Inc. Near-to-eye display artifact reduction system and method
JP5325341B2 (ja) 2011-03-03 2013-10-23 パナソニック株式会社 立体映像処理装置および方法ならびに立体映像表示装置
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
KR20140007708A (ko) * 2012-07-10 2014-01-20 삼성전자주식회사 영상 디스플레이 장치, 영상 디스플레이 방법 및 안경장치
US20140152715A1 (en) 2012-12-02 2014-06-05 Himax Media Solutions, Inc. Frame rate converter and timing controller and processing apparatus and method thereof
JP2014179818A (ja) * 2013-03-15 2014-09-25 Sony Corp 画像処理装置および画像処理方法
US9407797B1 (en) 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
US9230473B2 (en) 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
GB2518603B (en) * 2013-09-18 2015-08-19 Imagination Tech Ltd Generating an output frame for inclusion in a video sequence
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646051A (zh) * 2008-08-07 2010-02-10 索尼株式会社 图像信号处理单元及处理图像信号的方法
CN103188509A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 用于多个3d内容的信号处理装置、显示装置、及其方法

Also Published As

Publication number Publication date
US20170340969A1 (en) 2017-11-30
CN107436683A (zh) 2017-12-05
US10398976B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
CN107436683B (zh) 显示控制器、电子装置和虚拟现实装置
US10739599B2 (en) Predictive, foveated virtual reality system
US11244512B2 (en) Hybrid rendering for a wearable display attached to a tethered computer
JP6511386B2 (ja) 情報処理装置および画像生成方法
US10009542B2 (en) Systems and methods for environment content sharing
US10068553B2 (en) Enhanced rendering by a wearable display attached to a tethered computer
US11330241B2 (en) Focusing for virtual and augmented reality systems
EP3072010B1 (en) Systems and methods for performing multi-touch operations on a head-mountable device
US20170324899A1 (en) Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method
JP6845111B2 (ja) 情報処理装置および画像表示方法
WO2016113951A1 (ja) 頭部装着型表示装置、及び映像表示システム
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
WO2017074745A1 (en) Remote rendering for virtual images
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
JP7243193B2 (ja) 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
US20180131920A1 (en) Display apparatus and control method thereof
KR20170013737A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
JP6613429B2 (ja) 映像音響再生装置
KR20170134147A (ko) 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치
US11048082B1 (en) Wireless bandwidth reduction with display data interleaving
JP7196418B2 (ja) 接続装置、表示装置、接続装置の制御方法、及び、表示装置の制御方法
EP4120237A1 (en) Video recording and playback systems and methods
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2020025275A (ja) 映像音響再生装置およびその方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant