CN102893620A - 用于数字地处理视频信号的方法、数字图像处理器和视频显示系统 - Google Patents

用于数字地处理视频信号的方法、数字图像处理器和视频显示系统 Download PDF

Info

Publication number
CN102893620A
CN102893620A CN2011800246631A CN201180024663A CN102893620A CN 102893620 A CN102893620 A CN 102893620A CN 2011800246631 A CN2011800246631 A CN 2011800246631A CN 201180024663 A CN201180024663 A CN 201180024663A CN 102893620 A CN102893620 A CN 102893620A
Authority
CN
China
Prior art keywords
display system
vision signal
video display
parameter
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800246631A
Other languages
English (en)
Other versions
CN102893620B (zh
Inventor
博特兰·内普弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Villar Canada
Villar Canada LLC
Vrvana Canada ULC
Apple Inc
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN102893620A publication Critical patent/CN102893620A/zh
Application granted granted Critical
Publication of CN102893620B publication Critical patent/CN102893620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明提供一种用于数字地处理视频信号的方法、数字图像处理器和视频显示系统。根据用户简档数字地处理视频信号。还根据与视频显示系统相关的参数数字地处理所述视频信号。在所述视频显示系统上显示所得的经处理视频信号。在一实施例中,所述视频显示系统包括头戴机。在同一或其它实施例中,所述视频信号包括用于立体显示的左分量和右分量,且分别地针对所述左分量和右分量进行数字处理。

Description

用于数字地处理视频信号的方法、数字图像处理器和视频显示系统
技术领域
本发明大体上涉及将视频信号转换为图像,且更具体来说涉及用于数字地处理视频信号的方法、数字图像处理器和视频显示系统。
背景技术
在许多环境中,与电子信号处理构件协作而使用显示系统来在例如有机发光二极管(OLED)或液晶显示器(LCD)屏幕等屏幕上显示信息以供个人观看。这些系统可例如集成到头戴式装置(HMD)中,例如在游戏、视觉评估、心理测试、训练等中可使用的立体头戴机。通常,待显示的图像是由计算机使用例如游戏软件等适当软件产生,且被转换为电子信号,所述电子信号通过有线或无线通信链路发送到显示装置。所述信号在装置中连续地解码,且图像显示于装置中的一个或两个屏幕上。
为了将显示屏集成到HMD中且使用户能够观看图像,使用光学元件根据预定观看方向来将图像引导且聚焦于用户的眼睛上。而且,为了提供尽可能真实的观看体验,需要宽视场来改善浸入。然而,HMD越紧凑,需要越多光学元件来提供良好图像清晰度和真实的观看体验。由于小透镜的边界效应(例如所谓的鱼眼效应)和由光学元件产生的其它效应,例如亮度、对比度、色彩变更等的损失,可能发生不同的像差。这在使用塑料或较低等级光学元件来满足例如游戏头戴机等商业产品的目标生产成本时更是如此。在立体装置中,在由一个屏幕产生的图像与由第二屏幕产生的图像之间也可能出现不需要的差异性。
还可考虑根据用户视点的图像感知。无论在左眼屏幕和右眼屏幕处产生的图像的质量和相似性如何,由于用户的个人视觉特性,所述图像都可被感知为具有差异,所述差异并不存在于所投影的图像中。这些差异可在一只眼睛与另一只眼睛之间进一步不同,且可例如由散光、某种程度的色盲、斜视等等引起,且可影响观看体验的质量且更特定来说影响立体节目的真实性。
发明内容
因此本发明提供一种用于数字地处理视频信号的方法、数字图像处理器和视频显示系统。
根据本发明的一方面,提供一种显示视频信号的方法。根据用户简档数字地处理所述视频信号。还根据视频显示系统的装置参数数字地处理所述视频信号。在所述视频显示系统上显示所述经处理视频信号。
根据本发明的另一方面,一种数字图像处理器。所述数字图像处理器包括:补偿器,其用于根据用户简档且根据视频显示系统的装置参数数字地处理视频信号。所述数字图像处理器还包括输出,其用于朝向所述视频显示系统转发所述经处理视频信号。
根据本发明的又一方面,一种视频显示系统,其包括媒体输入接口、数字图像处理器和显示器。媒体输入接口接收视频信号。数字图像处理器根据用户简档且根据所述视频显示系统的装置参数编辑所述视频信号的图像。在显示器上显示来自所述数字图像处理器的经处理图像。
在阅读仅借助于实例参考附图给出的以下对本发明说明性实施例的非限制性描述后将更了解上述和其它特征。
附图说明
图1是显示视频信号的示范性方法的步骤序列;
图2是数字图像处理器的实例;
图3展示根据一方面的图像矩阵和对应转换矩阵;
图4是展示用于数字地处理视频信号的步骤的工作流程的实例;
图5是视频显示系统的实例的框图;以及
图6是根据一实施例的视频头戴机系统的框图。
具体实施方式
本发明大体上解决显示视频图像且同时考虑观看者的用户简档和视频显示系统的参数的问题。
在整个本发明中使用以下术语:
视频信号:载运图像帧的任何模拟或数字信号;
视频信号来源:能够提供一系列图像帧的任一装置,无论这些帧是实际图像表示、经记录图像还是合成图像;
来源参数:表示视频信号的来源的特性的参数;
单视:使用单个图像流在两(2)个维度(2D)中展示图像的方式;
立体:使用两个相关联图像流在三(3)个维度(3D)中展示图像的方式;
视频解码:视频协议到图像帧序列的模拟或数字转换;
数字处理:数字处理器对数字视频信号或帧的处理;
用户简档:视频信号的观看者的一个或一个以上偏好或特性,与眼睛像差或与图像处理中的既定变化相关;用户简档可包括与左眼和右眼或与用于在左眼和右眼上观看的图像处理中的既定变化相关的相异参数;
视频显示系统:用于显示视频信号的一个或一个以上显示屏和相关联的光学组件,也包括其它相关组件;
装置参数:视频显示系统的一个或一个以上特性;
补偿:根据用户简档或根据装置参数对视频信号的数字处理;
像差:观看者的一只眼或双眼的视觉障碍或功能不良,或视频显示系统的缺陷,所述缺陷造成图像失真、色彩衰退、锐度损失、亮度损失或任何类似的感知图像降级;
RGB:视频信号的红、绿和蓝色模型,也用以表示视频信号的相异色彩分量;
预配置:与永久或半永久驻留于系统中的参数相关而使用;
图像矩阵:图像的呈一系列行和列的表示;
图像块:图像矩阵中一行与一列的相交处;
转换矩阵:一系列行和列中的图像转换因数;
转换块:转换矩阵中的一行与一列的相交处;
逐像素:逐个像素的处理,其中图像矩阵和转换矩阵的块大小等于一(1)个像素;
存储器:能够存储数字信息供后续检索的装置或组件;
媒体:通信信道;
编辑:通过数字处理进行的图像转换;
头戴机:由用户佩戴的装置,用于显示视频信号;以及
基站:视频显示系统的组件,与头戴机分离。
在一方面中,本发明介绍一种显示视频信号的方法。参见图式,图1是显示视频信号的示范性方法的步骤的序列10。根据用户简档对视频信号进行数字处理(步骤12)。还根据视频显示系统的装置参数对视频信号进行数字处理(步骤14)。在视频显示系统上显示经处理视频信号(步骤16)。
图2是数字图像处理器的实例。数字图像处理器20包括补偿器22和输出24。补偿器22根据用户简档且根据视频显示系统的装置参数来数字地处理视频信号。输出24朝向视频显示系统转发经处理视频信号26。
在一些实施例中,图1的步骤的序列和图2的数字图像处理器可实施基于矩阵的补偿过程。图3展示根据一方面的图像矩阵和对应转换矩阵。视频信号供应一系列图像或帧,例如图像30。图像30划分为图像矩阵32的若干块。图像矩阵32是示范性的,且包括五(5)行341-5和五(5)列351-5。图像矩阵可包括任一数目的行和列,且行数目可不同于列数目。图像矩阵32的一行与一列的相交处形成一图像块,例如由行341与列351的相交处形成的图像块36。界定转换矩阵42。转换矩阵42经定大小以匹配图像矩阵32,且也包括多行和多列,例如五(5)行441-5和五(5)列451-5。转换矩阵42的一行与一列的相交处形成一转换块,例如由行441与列451的相交处形成的转换块46。转换矩阵的每一块包括补偿因数A1-A5、B1-B5、C1-C5、D1-D5和E1-E5,其在数字地处理包括所述一系列图像(例如图像30)的视频信号时将应用于补偿图像矩阵32的对应块。转换矩阵42的补偿因数是基于用户简档和基于视频显示系统的装置参数来计算。作为非限制性实例,补偿因数A1、A5、E1和E 5可稍微地缩放图像矩阵32的对应块36、37、38和39以便衰减视频显示系统的所谓的鱼眼效应(当装置参数指定此类型的像差时)。作为另一非限制性系统,补偿因数C 3可根据如用户简档中指示的用户所需的特性而增加图像矩阵32的中心图像块31的亮度。
在特定实施方案中,将图像矩阵32和转换矩阵42的块的大小设定为一个像素,从而提供逐像素转换矩阵42用于以转换矩阵42的对应像素来补偿视频信号的图像帧的每一像素。举例来说,高清晰度视频信号可具有1280像素水平分辨率和720像素垂直分辨率,在此情况下图像矩阵32和转换矩阵42可各自定大小为921,600个像素。
可使用单个转换矩阵42来一次性地基于用户简档和基于视频显示系统的装置参数而补偿视频信号。或者,可循序地使用两个单独的转换矩阵以用于分别地基于用户简档和基于装置参数而补偿视频信号,或用于分别地补偿用于左图像和右图像的视频信号。
各种类型的参数可形成用户简档。给定用户简档可包括一个或一个以上参数。在一实施例中,用户简档用于补偿用户的眼睛的像差。同样,各种类型的装置参数可为预期的。在另一实施例中,装置参数可用于补偿视频显示系统的像差。替代地,可同时补偿用户眼睛像差和视频显示系统的像差两者。
在单视(2D)应用中,视频信号大体上包括单个视频馈送,其提供单一系列的图像帧用于在单个显示屏上显示。立体(3D)应用大体上包括两个视频馈送,或可分离为两个视频馈送的复合信号,从而提供两套相关联图像帧用于在两个屏幕上显示。图1的序列10的步骤、图2的补偿器22的过程以及图3的矩阵32和42因此可经复制以用于分别地处理一个视频信号的左分量和右分量。因此,可根据用户的左眼的参数且根据视频显示系统的左组件的参数来处理视频信号的左分量。可根据用户的右眼的参数且根据视频显示系统的右组件的参数来处理视频信号的右分量。
根据RGB色彩模型,彩色视频信号大体上由三种有色分量形成。视频信号的红、绿和蓝分量的不同波长可导致用户的眼睛的不同像差、视频显示系统的组件的不同像差,或用户的不同感知。在一实施例中,图1的序列10、图2的补偿器22以及图3的矩阵32和42可分别地处理视频信号的红分量、蓝分量和绿分量。
图4是展示用于数字地处理视频信号的步骤的工作流程的实例。工作流程200展示为在3D视频显示系统中使用而应用的3D视频信号处理方法的右分支202和左分支232。对于用于在2D视频显示系统中使用的单视(2D)视频信号,可能存在分支202和232中的仅一者。
针对2D应用,从右边来源(例如从右相机)或从单个相机接收视频信号204。视频解码器在步骤206处将来自视频信号204的图像帧数字化(当视频信号204是以模拟格式提供时),或将视频信号204从数字协议解码到图像帧。在步骤208处可通过数字处理来提供基于与视频信号204的来源相关的来源参数的光源补偿,以便克服右相机的任何光学像差。
或者,可从另一来源,例如从游戏装置、从计算机或从类似装置获得具有视频分量210的信号。在步骤212处由3D视频解码器处理信号210以提供代表游戏或类似应用的右视频信号214或用于单视应用的单个视频信号214。在步骤216处,选择器在已在步骤206处经解码且可能已在步骤208处经补偿的视频信号204与从两个相异来源接收的视频信号214之间做出选择。在一实施例中,选择器可在步骤216处任选地合并所述两个视频信号204和214,例如用于基于来自右相机的视频信号204和基于源自经增强真实性视觉应用的信号210而提供经增强真实性视觉应用。
根据视频显示系统的右视频显示器的装置参数,在步骤218处处理或补偿来自步骤206的来自选择器的视频输出。还根据用户简档在步骤220处处理或补偿选择器的视频输出,以例如补偿用户的右眼像差。步骤218和220可以任何次序执行,且可在单个数字处理步骤中组合。在一实施例中,可使用相异转换矩阵来实现视频显示补偿步骤218和眼睛补偿步骤220中的每一者。在另一实施例中,可使用共同转换矩阵来实施补偿步骤218、220两者。无论如何,都可在右显示装置上或在用于2D应用的单个显示装置上显示所得的经数字处理的视频信号222。
在3D应用的情况下,左分支232类似于右分支202,且包括来自左相机的视频信号234,其在步骤236处应用于视频解码器且可能在步骤238处应用于光源补偿,或包括来自3D视频解码步骤212的左视频信号244,或包括这两者。在步骤246处,选择器选择视频信号234或244中的一者,或合并这两个视频信号。在步骤248处根据左视频显示器的装置参数且在步骤250处根据用户简档(例如为了补偿用户的左眼像差)来补偿来自选择器的视频输出。所得的经数字处理的视频信号252是用于在左显示装置上的视觉显示。
用户简档针对用户的每一只眼睛可包括与眼睛像差相关的信息。举例来说,用户的左眼可经受强散光,而右眼经受较少的散光且经受斜视。左和右视频显示器的装置参数可与其光学元件的不完美曲率相关,这些不完美可能在左显示器与右显示器之间不同。
图5是视频显示系统的实例的框图。视频显示系统80包括用于接收视频信号84的媒体输入接口82。数字图像处理器86根据用户简档且根据视频显示系统80的装置参数来编辑视频信号84的图像。显示器88用于显示来自数字图像处理器86的经处理图像。
图1的方法和图2的数字图像处理器可在用户可佩带的头戴机中集成。图6是根据实施例的视频头戴机系统的框图。图6提供视频显示系统的非限制性说明性实施例。所示的实施例是关于集成的现场可配置头戴机系统100,其可连接到视频来源102以用于通过有线或无线通信链路104接收视频信号。
头戴机系统100包括基站110,其包括可连接到通信链路104的输入接口115。输入接口115可与高清晰度媒体接口(可符合高清晰度多媒体接口(HDMI)标准v1.3或更新版本)兼容,以便能够输入高质量双通道视频材料(例如立体材料)以提供真实的观看体验。当然,可经由其它类型的连接从来源接收其它视频信号,所述连接包含例如S视频连接、RGB连接、显示端口连接、第5类电缆连接和类似连接。基站110还具备输出接口116,例如HDMI输出接口,用于通过有线或无线通信链路130将视频信号加上任何在内部产生的信息转发到头戴式装置(HMD)120。
基站110进一步包括用户接口111,其包括读出显示器112,例如液晶显示器(LCD),用于将文本信息传送给用户,还包括至少一个按钮开关(例如)113,用以使用户能够将信息输入到头戴机系统100中。与用户的通信可由系统通过位于基站110中的处理单元(微控制器)114来以菜单驱动,所述处理单元114包括数据存储能力。借此,可提示用户使用有限的一组按钮113提供对指令或询问的简单反馈,用于接收和存储与HMD 120相关的装置参数以及形成用户简档的参数。
HMD 120包括输入接口121,其可包括HDMI解码能力,用于对通过基站110从来源102传送的高清晰度媒体节目进行解码。输入接口121还接收在基站110处产生的额外信息。如上文中表达,来自视频来源的视频信号可包括在另一类型的接口上接收的较低清晰度信号,在此情况下可省略HDMI解码能力。
HMD 120可包括单个显示器。对于3D应用,可通过3D立体解码器122处理来自输入接口121的视频信号以产生第一和第二图像流,分别通过左微型显示器123和右微型显示器124专用于用户的左眼和右眼。HMD 120的立体实施方案还包括左数字图像处理器125和右数字图像处理器126。当然,对于单视应用,可存在单个数字图像处理器。
虽然图6的实施例预期例如通过将基站110与HMD 120分离来实际上将系统的功能分到若干单独组件中,但所有这些组件可替代地集成到单个头戴机中(如果发现出于任何原因是更方便的)。举例来说,当所有组件集成在HMD 120内时可省略单独的电源电路(未图示)、用于基站110的壳体和通信链路130。虽然基站110可用以为用户创建较简单的用户接口,但具有经增强真实性用户接口的独立HMD 120也是可能的。为了呈现所考虑的较详细实施例的目的而展示图6的布置。
数字图像处理器125和126在显示之前实现视频信号的图像帧的高速实时修改。在一实施例中,数字图像处理器125和126将视频信号的每一图像帧分离为图像矩阵的若干图像块,如图3的上述描述中所呈现。数字图像处理器125、126还界定转换矩阵。转换矩阵大体上是基于两组信息来构造。第一数据集合包括HMD 120的光学元件(尤其是微型显示器123和124)的一个或一个以上装置参数。这些装置参数可驻留于装置中且考虑HMD 120的固有结构。装置参数可用于补偿HMD 120的视频显示系统的像差。其可例如补偿已知由HMD 120硬件(例如微型显示器123和124)和其它光学元件(未图示)产生的失真和假象。在一实施例中,装置参数可包括用户可定义或用户可选择的参数,其可用以补偿HMD 120的光学元件的制造容限。第二数据集合形成从通过用户接口111搜集的用户输入的信息构造的用户简档,以考虑用户的个人选择或特性。用户简档信息的非限制性实例可包括有关于用户的眼睛与微型显示器123、124的位置之间的距离的调整,用户的眼睛的近视、色盲、斜视、远视和类似像差的调整,亮度、对比度和色彩调整,图像模糊或锐化,以及甚至例如鱼眼或扭曲等图像失真,其反映了用户的个人品味。例如通过包括对应于图像矩阵的图像块数目的数目的转换块,转换矩阵经定大小以匹配图像矩阵。
可具体地针对HMD 120的左侧和右侧来设定用户简档参数和装置参数。因此可能例如根据用户的左眼和右眼的像差且根据视频显示系统的左显示器和右显示器的像差来分别地编辑第一和第二图像流。
在图像的数字处理中做出的修改可包括通过转换矩阵对视频图像的块阵列或像素阵列的数字再映射。转换矩阵因此可例如重新界定任何或所有图元的色彩和亮度参数。借此,可根据不同准则,以逐个块为基础或以逐个像素为基础来编辑图像性质,例如几何失真、色彩、亮度和对比度。
可通过用户接口111在头戴机系统100中接收和存储形成第一数据集合的装置参数和形成第二数据集合的用户简档参数,提示用户通过操作按钮113根据上述菜单驱动的程序来提供对显示于显示器112上的问题或指令的反馈。用户反馈可与用户在用于建立用户简档和/或用于提供装置参数的一组预配置参数当中的选择相关。举例来说,可在微型显示器123和124中的一者或两者上显示网格,且请求用户击下按钮以从一帧前进到另一帧,直到网格线被感知为具有最佳线性度或清楚度为止,此时按下另一按钮以保存选择。可实施类似的程序以使用标准校准图像实行图像处理参数的逐个眼睛的配置。当然,对于例如游戏等一些应用,用户可实际做出不同选择,其中线性度和清楚度由某种水平的失真代替。
或者,头戴机系统100可具备可连接到外部系统和用户接口的通信端口(未图示)。此端口还可由操作者或服务人员使用以使用高级语言来更新头戴机系统的操作功能。
3D立体解码器122且尤其是数字图像处理器124和125可实施到现场可编程门阵列(FPGA)127中,从而提供高处理速度能力、更新用户简档和装置参数的再配置灵活性,或适合于未来的编码/解码标准。
与视频显示器的像差或用户的眼睛的像差相关的问题可能存在于各种类型的应用中。所属领域的技术人员将了解,显示视频信号的本发明方法、本发明数字图像处理器和本发明视频显示系统可适于其中在除了头戴机的显示器外的其它类型显示器上向用户呈现视频信号的其它用途。所属领域的技术人员还将了解,可使用本发明方法和处理器来处理和更改单视图像。因此,本文对立体头戴式装置(或头戴机)的参考是示范性的,且既定不限制本发明的范围。
示范性实施例
在一方面中,本发明提供一种集成现场可配置头戴机,其省去了早期装置和系统的限制和缺陷。在特定实施例中,本发明是关于一种集成到头戴机或头戴机系统中的紧凑多屏幕显示设备,其具备用于编辑输入的信号以在每一屏幕上显示经更改信息的构件。可控制所述编辑构件以根据可选参数和用户特性来个别地配置每一显示器。与头戴机内的光学组件相关的参数以及与用户的眼睛的特性相关的参数可由用户选择。可根据用户个人特性和/或参数,以逐个屏幕为基础立体地进行图像编辑。因此可基于由用户提供的信息和/或驻留在头戴机中的数据来实现此处理,从而产生可通过交互式程序而建立的特定配置。
虽然在过去已提供一些图像处理系统来补偿经显示系统引起的像差,但这些系统都未预期在具有或不具有用户提供的信息的整合的情况下集成于HMD层级处的后处理。在处理计算机处实行的校正可仅预期特定针对所匹配系统中的已知显示装置的默认值。因此,商业媒体播放站传递标准图像格式且不支持考虑显示系统特性或者用户参数或特性的校正。此配置可在例如TV机或监视器等较大显示机中实行,但不提供立体显示或者不考虑用户的双眼或多个显示通道之间的差异。在过去提供的图像处理系统均无法补偿经显示系统引起的像差且同时还考虑用户参数或特性。
在视频显示系统的实施例中,可在头戴式装置(HMD)的层级处对图像进行后处理。HMD的固有结构所特定的像差以及由于用户的视觉问题带来的像差可在装置自身内校正,而不会影响视频来源的标准输出,无论视频来源是相机、计算机还是游戏机器。还可实现输入的图像的编辑以提供添加的信息,例如经增强真实性上下文或用户个人特性评估。在经增强真实性、视觉测试或心理评估测试的上下文中,可有意地编辑从视频来源接收的图像信号以显示经更改或加强的图像,所述图像可针对每一只眼睛不同地修改。使用本文描述的数字图像处理器和方法克服了与所涉及的高处理速度(尤其针对高清晰度视频信号)、HMD内的有限物理空间以及关于用户参数的信息的搜集相关的挑战。本发明的HMD充分灵活地实现对新媒体信息编码和处理标准以及用户界定的操作功能的不断升级。
一些实施例涉及一种集成现场可配置头戴机,其包括标准媒体输入接口,例如高清晰度媒体接口(HDMI)解码器、用于产生左和右图像流的立体图像解码器、用于编辑图像流的数字图像处理器,以及用于显示来自数字图像处理器的图像的显示构件。所述头戴机还可包括用于界定用户可动作开关的用户接口,所述开关界定读出显示。在一些其它实施例中,所述现场可配置头戴机可为包括基站的系统的一部分,所述基站包括用户接口且适于与头戴机通信。所述用户接口可包括数据通信端口,其可连接到包括输入装置和显示装置的外部系统。所述用户接口可集成到头戴式装置中和/或位于系统的基站中。
所述头戴机可进一步包括现场可编程门阵列(FPGA)。FPGA可至少部分地界定标准媒体输入接口和/或立体解码器和/或第一和第二图像处理器。
数字图像处理器可根据图像转换信息在像素级实行数字图像再映射。图像转换信息可包括通过配置、预定参数和/或驻留于HMD中的数据界定的参数。图像转换信息还可包括用户简档特定的信息。所述特定信息可由头戴机系统通过用户接口来搜集。
因此可容易了解,根据本发明的现场可配置头戴机和系统的上述非限制说明性实施例省去了现有设备和系统的上文讨论的限制和缺陷。实际上,数字图像处理器125和126可方便地加载有依赖于材料的参数和依赖于用户的参数以产生左眼图像处理和右眼图像处理的特定配置,用于针对给定的材料设置和制造成本来提供最佳显示条件和观看体验。此外,现场可编程头戴机和系统可方便地经更新到未来的媒体处理标准而不用对材料结构(硬件)做出改变。
所属领域的技术人员将认识到,用于数字地处理视频信号的装置和方法的描述仅是说明性的,且既定不以任何方式作为限制。得益于本发明的所属领域的技术人员将容易了解其它实施例。此外,所揭示的方法、图像处理器和视频显示系统可经定制以提供对数字图像处理的现有需要和问题的有价值的解决方案。
所属领域的技术人员还将了解,许多类型的视觉显示系统或其它设备可体现如本文揭示的数字图像处理的方面。
为了清楚,并未展示和描述所述方法、图像处理器和视频显示系统的实施方案的所有例行特征。当然将了解,在数字图像处理的任一此类实际实施方案的开发中,可能需要做出许多实施方案特定的决策,以便实现开发者的特定目标,例如与应用、系统、网络和商务相关的约束的符合,且这些特定目标将在实施方案之间以及在开发者之间不同。而且将了解,开发努力可能是复杂且耗时的,但仍将是得益于本发明的图像处理领域的技术人员的工程化的例行任务。
根据本发明,本文描述的组件、过程步骤和/或数据结构可使用各种类型的操作系统、计算平台、网络装置、计算机程序和/或通用机器来实施。另外,所属领域的技术人员将认识到,也可使用较不通用的装置,例如硬连线装置、专用集成电路(ASIC)或类似物。在通过计算机或机器实施包括一系列过程步骤的方法且这些过程步骤可存储为机器可读的一系列指令的情况下,这些过程步骤可存储在有形媒体上。
本文描述的系统和模块可包括适用于本文描述的目的的软件、固件、硬件或软件、固件或硬件的组合。软件和其它模块可驻留于适用于本文描述的目的的服务器、工作站、个人计算机、计算机化平板装置、PDA和其它装置上。可经由局部存储器、经由网络、在ASP情形中经由浏览器或其它应用程序或者经由适用于本文描述的目的的其它构件来接入软件和其它模块。本文描述的数据结构可包括适用于本文描述的目的的计算机文件、变量、编程数组、编程结构或任何电子信息存储方案或方法,或其任何组合。
虽然上文已借助于本发明的非限制说明性实施例描述了本发明,但在不脱离本发明的精神和本质的情况下可在所附权利要求书的范围内任意修改这些实施例。

Claims (31)

1.一种显示视频信号的方法,其包括:
根据用户简档数字地处理所述视频信号;
根据视频显示系统的装置参数数字地处理所述视频信号;以及
在所述视频显示系统上显示所述经处理视频信号。
2.根据权利要求1所述的方法,其中所述视频显示系统集成在头戴机中。
3.根据权利要求1所述的方法,其中所述用户简档用于补偿用户的眼睛的像差。
4.根据权利要求1所述的方法,其中所述装置参数用于补偿所述视频显示系统的像差。
5.根据权利要求1所述的方法,其包括根据与所述视频信号的来源相关的来源参数数字地处理所述视频信号。
6.根据权利要求1所述的方法,其包括分别地处理所述视频信号的左分量和右分量。
7.根据权利要求6所述的方法,其包括:
根据所述用户的左眼的参数处理所述左分量;以及
根据所述用户的右眼的参数处理所述右分量。
8.根据权利要求6所述的方法,其包括:
根据所述视频显示系统的左组件的参数处理所述左分量;以及
根据所述视频显示系统的右组件的参数处理所述右分量。
9.根据权利要求1所述的方法,其包括分别地处理所述视频信号的红、蓝和绿分量。
10.根据权利要求1所述的方法,其包括接收和存储所述用户简档。
11.根据权利要求1所述的方法,其包括接收和存储与所述装置参数相关的参数。
12.根据权利要求1所述的方法,其包括:
提供一组预配置的用户简档参数;以及
从所述组预配置的参数中选择参数。
13.根据权利要求1所述的方法,其包括:
提供一组预配置的装置参数;以及
从所述组预配置的参数中选择参数。
14.根据权利要求1所述的方法,其包括:
将所述视频信号的每一图像划分为图像矩阵的若干图像块;以及
界定经定大小以匹配所述图像矩阵的转换矩阵,所述转换矩阵包括经定大小以匹配所述图像矩阵的所述块的转换块;
其中数字地处理所述视频信号包括使用对应转换块补偿每一图像块。
15.根据权利要求1所述的方法,其包括:
界定逐像素转换矩阵;
其中数字地处理所述视频信号包括用所述转换矩阵的像素补偿所述视频信号的每一像素。
16.根据权利要求1所述的方法,其包括合并来自多个来源的视频信号。
17.一种数字图像处理器,其包括:
补偿器,其用于根据用户简档且根据视频显示系统的装置参数数字地处理视频信号;以及
输出,其用于朝向所述视频显示系统转发所述经处理视频信号。
18.根据权利要求17所述的数字图像处理器,其中所述数字图像处理器集成在头戴机中。
19.根据权利要求17所述的数字图像处理器,其中所述用户简档用于补偿用户的眼睛的像差。
20.根据权利要求17所述的数字图像处理器,其中所述装置参数用于补偿所述视频显示系统的像差。
21.根据权利要求17所述的数字图像处理器,其中所述补偿器进一步用于根据与所述视频信号的来源相关的来源参数数字地处理所述视频信号。
22.根据权利要求17所述的数字图像处理器,其中所述补偿器用于分别地处理所述视频信号的红、绿和蓝分量。
23.根据权利要求17所述的数字图像处理器,其中:
所述视频信号包括左分量和右分量;且
所述补偿器用于分别地处理所述左分量和所述右分量。
24.一种视频显示系统,其包括:
媒体输入接口,其用于接收视频信号;
数字图像处理器,其用于根据用户简档且根据所述视频显示系统的装置参数编辑所述视频信号的图像;以及
显示器,其用于显示来自所述数字图像处理器的经处理图像。
25.根据权利要求24所述的视频显示系统,其中所述媒体输入接口、所述数字图像处理器和所述显示器集成在头戴机中。
26.根据权利要求24所述的视频显示系统,其包括:
基站,其包括所述媒体输入接口且进一步包括用于将所述视频信号转发到所述数字图像处理器的输出接口;
其中所述数字图像处理器和所述显示器集成在头戴机中。
27.根据权利要求24所述的视频显示系统,其中所述用户简档用于补偿用户的眼睛的像差。
28.根据权利要求24所述的视频显示系统,其中所述装置参数用于补偿所述视频显示系统的像差。
29.根据权利要求24所述的视频显示系统,其包括:
立体图像解码器,其用于从所述视频信号产生第一和第二图像流;
其中所述数字图像处理器进一步用于根据所述用户的左眼和右眼的像差且根据所述视频显示系统的左显示器和右显示器的像差分别地编辑所述第一和第二图像流。
30.根据权利要求24所述的视频显示系统,其包括用于输入所述用户简档和所述装置参数的用户接口。
31.根据权利要求30所述的视频显示系统,其中所述用户接口用于在存储于存储器中的一组预配置的参数当中选择所述用户简档和所述装置参数。
CN201180024663.1A 2010-03-19 2011-03-18 集成的现场可配置头戴机系统 Active CN102893620B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CA2696925A CA2696925A1 (en) 2010-03-19 2010-03-19 Integrated field-configurable headset and system
CA2,696,925 2010-03-19
US28271810P 2010-03-22 2010-03-22
US61/282,718 2010-03-22
PCT/CA2011/000294 WO2011113152A1 (en) 2010-03-19 2011-03-18 Method, digital image processor and video display system for digitally processing a video signal

Publications (2)

Publication Number Publication Date
CN102893620A true CN102893620A (zh) 2013-01-23
CN102893620B CN102893620B (zh) 2017-05-24

Family

ID=44648388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180024663.1A Active CN102893620B (zh) 2010-03-19 2011-03-18 集成的现场可配置头戴机系统

Country Status (7)

Country Link
US (1) US9625721B2 (zh)
EP (1) EP2548374A4 (zh)
JP (2) JP2013522974A (zh)
KR (1) KR101899603B1 (zh)
CN (1) CN102893620B (zh)
CA (2) CA2696925A1 (zh)
WO (1) WO2011113152A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144335A (zh) * 2014-07-09 2014-11-12 青岛歌尔声学科技有限公司 一种头戴式可视设备和视频系统
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
CN103069814B (zh) * 2010-08-10 2016-05-11 株式会社尼康 图像处理装置、图像处理方法、显示装置、显示方法及程序
JP2013097096A (ja) * 2011-10-31 2013-05-20 Seiko Epson Corp 画像表示装置を制御する制御装置、頭部装着型表示装置、画像表示システム、画像表示装置の制御方法および頭部装着型表示装置の制御方法
US10083639B2 (en) 2011-02-04 2018-09-25 Seiko Epson Corporation Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
KR102077105B1 (ko) * 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US10051262B2 (en) * 2014-06-19 2018-08-14 Hangzhou 3Dworld Technology Co., Ltd. Control circuit of high-definition naked-eye portable stereoscopic video player and stereoscopic video conversion method
CN110058414B (zh) * 2014-10-24 2021-10-12 埃马金公司 基于微显示器的沉浸式头戴视图器
US11157689B2 (en) * 2015-11-02 2021-10-26 Microsoft Technology Licensing, Llc Operations on dynamic data associated with cells in spreadsheets
US10599764B2 (en) 2015-11-02 2020-03-24 Microsoft Technology Licensing, Llc Operations on images associated with cells in spreadsheets
CN106097990B (zh) * 2016-05-13 2019-04-26 联想(北京)有限公司 一种显示控制方法及电子设备
EP3574364A4 (en) * 2017-01-25 2020-04-15 Samsung Electronics Co., Ltd. HEAD-MOUNTED DISPLAY DEVICE AND METHOD FOR THE PRODUCTION OF INFORMATION OF A 3D IMAGE
TW201917447A (zh) * 2017-10-27 2019-05-01 廣達電腦股份有限公司 頭戴式顯示裝置以及色差強化方法
KR102519355B1 (ko) * 2018-02-02 2023-04-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
DE202019101235U1 (de) * 2019-03-05 2020-03-06 Christian P. Benzing Sehhilfevorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008208A1 (en) * 1999-02-01 2004-01-15 Bodin Dresevic Quality of displayed images with user preference information
US20080037829A1 (en) * 2004-07-30 2008-02-14 Dor Givon System And Method For 3D Space-Dimension Based Image Processing
US20080252784A1 (en) * 2007-04-16 2008-10-16 General Electric Company Systems and methods for multi-source video distribution and composite display
CN101295206A (zh) * 2007-04-25 2008-10-29 佳能株式会社 用于立体观察的系统
US20090161107A1 (en) * 2004-11-18 2009-06-25 Horiba Abx Sa Device for examining a fluid by uniform illumination using a configured light guide

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961750A (ja) * 1995-08-22 1997-03-07 Seiko Epson Corp 頭部装着型表示装置
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
JP2000308090A (ja) * 1999-04-19 2000-11-02 Telecommunication Advancement Organization Of Japan 映像表示処理装置及び映像撮影処理装置並びにカメラ制御装置
JP2002189441A (ja) * 2000-10-11 2002-07-05 Olympus Optical Co Ltd 頭部装着型映像表示装置
US6833843B2 (en) 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US20040008157A1 (en) * 2002-06-26 2004-01-15 Brubaker Curtis M. Cap-mounted monocular video/audio display
US7145726B2 (en) * 2002-08-12 2006-12-05 Richard Geist Head-mounted virtual display apparatus for mobile activities
US7068444B2 (en) * 2002-09-24 2006-06-27 Kenji Nishi Image display unit and projection optical system
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
US7083283B2 (en) * 2003-07-22 2006-08-01 Seiko Epson Corporation Projector
JP4432462B2 (ja) * 2003-11-07 2010-03-17 ソニー株式会社 撮像装置及び方法、撮像システム
JP4642400B2 (ja) * 2004-07-20 2011-03-02 オリンパス株式会社 情報表示システム
JP4635572B2 (ja) * 2004-11-09 2011-02-23 コニカミノルタホールディングス株式会社 映像表示装置
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP4379438B2 (ja) * 2006-06-09 2009-12-09 株式会社ニコン 画像表示装置
JP5483796B2 (ja) * 2006-08-31 2014-05-07 キヤノン株式会社 画像表示装置および画像表示システム
JP2008258802A (ja) * 2007-04-03 2008-10-23 Canon Inc 画像表示システム
CN101953150A (zh) * 2007-12-20 2011-01-19 Ati技术无限责任公司 用于描述视频处理的方法、设备及其机器可读取介质
JP5231799B2 (ja) * 2007-12-25 2013-07-10 キヤノン株式会社 制御装置、表示装置及びそれらの制御方法、複合現実システム、及びコンピュータプログラム
US20090189830A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye Mounted Displays
US20090213038A1 (en) * 2008-02-25 2009-08-27 Joseph Huang Head Mounted Display and Real-Time Video Device
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
WO2009117450A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced immersive soundscapes production
US20100013910A1 (en) * 2008-07-21 2010-01-21 Vivid Medical Stereo viewer
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008208A1 (en) * 1999-02-01 2004-01-15 Bodin Dresevic Quality of displayed images with user preference information
US20080037829A1 (en) * 2004-07-30 2008-02-14 Dor Givon System And Method For 3D Space-Dimension Based Image Processing
US20090161107A1 (en) * 2004-11-18 2009-06-25 Horiba Abx Sa Device for examining a fluid by uniform illumination using a configured light guide
US20080252784A1 (en) * 2007-04-16 2008-10-16 General Electric Company Systems and methods for multi-source video distribution and composite display
CN101295206A (zh) * 2007-04-25 2008-10-29 佳能株式会社 用于立体观察的系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN104144335A (zh) * 2014-07-09 2014-11-12 青岛歌尔声学科技有限公司 一种头戴式可视设备和视频系统

Also Published As

Publication number Publication date
CA2830734A1 (en) 2011-09-22
JP2017022752A (ja) 2017-01-26
JP6400645B2 (ja) 2018-10-03
US9625721B2 (en) 2017-04-18
EP2548374A1 (en) 2013-01-23
WO2011113152A1 (en) 2011-09-22
CA2696925A1 (en) 2011-09-19
KR101899603B1 (ko) 2018-09-17
US20130016193A1 (en) 2013-01-17
CN102893620B (zh) 2017-05-24
CA2830734C (en) 2018-10-02
JP2013522974A (ja) 2013-06-13
KR20130004506A (ko) 2013-01-10
EP2548374A4 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
CN102893620A (zh) 用于数字地处理视频信号的方法、数字图像处理器和视频显示系统
KR102467376B1 (ko) 디스플레이 처리 회로
CN102246529B (zh) 基于图像的3d视频格式
CN102783164B (zh) 立体感视频显示装置、及立体感视频显示装置的动作方法
US10055866B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
US8687042B2 (en) Set-top box circuitry supporting 2D and 3D content reductions to accommodate viewing environment constraints
CN102196278B (zh) 显示设备、系统和用于该设备的眼镜
US9894314B2 (en) Encoding, distributing and displaying video data containing customized video content versions
EP2959676A1 (en) Systems and methods for appearance mapping for compositing overlay graphics
CN104471931B (zh) 多视图视频处理中的串扰降低
KR20100002035A (ko) 3차원 비디오 영상 처리 방법 및 장치
CN102215364A (zh) 格式化第一视频数据和第二视频数据的方法和通信接口
US11252391B2 (en) Methods and apparatus for packing images into a frame and/or including additional content or graphics
CN101632311A (zh) 利用多个单独设置的图像观察
CN101822049A (zh) 基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法
CN104219515A (zh) 图像处理装置
CN103686123A (zh) 多观看者显示器及其显示方法
CN103905806A (zh) 利用单摄像头实现3d拍摄的系统和方法
CN102026007A (zh) 用于处理视频的方法和系统
CN102474634A (zh) 对于3维显示模式修正图像
CN104769940B (zh) 深度信令数据
CN104519337A (zh) 包装彩色图框及原始景深图框的方法、装置及系统
CN102638701A (zh) 显示器、影像处理装置以及影像处理方法
CN103748899A (zh) 使经缩放的3d视频能够恰当地呈现的方法
CN112040216A (zh) 一种主动式3d播控系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171219

Address after: Quebec

Patentee after: Villana Co.

Address before: Quebec

Patentee before: Nepveu Bertrand

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: British Columbia

Patentee after: Villar Canada LLC

Address before: British Columbia

Patentee before: 1134873 B.C. unlimited liability Co.

Address after: British Columbia

Patentee after: 1134873 B.C. unlimited liability Co.

Address before: British Columbia

Patentee before: Villar Canada

Address after: British Columbia

Patentee after: Villar Canada

Address before: British Columbia

Patentee before: Villana Co.

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: British Columbia

Patentee after: Villana Co.

Address before: Quebec

Patentee before: Villana Co.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191030

Address after: California, USA

Patentee after: APPLE Inc.

Address before: British Columbia

Patentee before: Villar Canada LLC