CN112351234A - 智能近眼显示装置、系统和扩展显示方法 - Google Patents

智能近眼显示装置、系统和扩展显示方法 Download PDF

Info

Publication number
CN112351234A
CN112351234A CN202011337602.8A CN202011337602A CN112351234A CN 112351234 A CN112351234 A CN 112351234A CN 202011337602 A CN202011337602 A CN 202011337602A CN 112351234 A CN112351234 A CN 112351234A
Authority
CN
China
Prior art keywords
media
microprocessor
display device
eye display
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011337602.8A
Other languages
English (en)
Inventor
马超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Companion Technology Co ltd
Original Assignee
Hangzhou Companion Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Companion Technology Co ltd filed Critical Hangzhou Companion Technology Co ltd
Priority to CN202011337602.8A priority Critical patent/CN112351234A/zh
Publication of CN112351234A publication Critical patent/CN112351234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种智能近眼显示装置、系统和扩展显示方法,该智能近眼显示装置包括:微处理器;媒体输入接口,所述媒体输入接口至少支持DP协议,用于接收从媒体输出装置传输到所述智能近眼显示装置的媒体信号;DP转MIPI CSI的转换芯片,所述转换芯片通过MIPI CSI接口与所述微处理器连接,并且所述转换芯片与所述媒体输入接口连接,用于从所述媒体输入接口接收DP形式的媒体信号并进行转换之后再发送至所述微处理器。利用本发明的智能近眼显示装置、系统和扩展显示方法,能够增加扩展性。

Description

智能近眼显示装置、系统和扩展显示方法
技术领域
本发明涉及智能电子设备技术领域,特别是涉及一种智能近眼显示装置、智能近眼显示系统和扩展显示方法。
背景技术
当前的智能近眼显示设备,例如AR(全称Augmented Reality,即增强现实技术,下文简称AR)眼镜,主要有一体眼镜和分体眼镜两种。分体眼镜的显示主要以DisplayPort接口(简称DP)来传输,能够与支持DP的手机等终端配合使用。现有的基于DP的智能近眼显示装置存在下述问题:
(1)很多手机不支持DP,当这类手机与分体AR眼镜连接时,无法做智能近眼显示;
(2)对于支持DP的手机,也会遇到由于DP输出的显示分辨率与AR眼镜的显示分辨率不同而导致无法显示。
发明内容
本发明的目的在于提供一种新的智能近眼显示装置、智能近眼显示系统和扩展显示方法,以增加智能近眼显示装置的扩展性。
本发明的目的采用以下技术方案来实现。依据本发明提出的智能近眼显示装置,包括:微处理器;媒体输入接口,所述媒体输入接口至少支持DP协议,用于接收从媒体输出装置传输到所述智能近眼显示装置的媒体信号;DP转MIPI CSI的转换芯片,所述转换芯片通过MIPI CSI接口与所述微处理器连接,并且所述转换芯片与所述媒体输入接口连接,用于从所述媒体输入接口接收DP形式的媒体信号并进行转换之后再发送至所述微处理器。
本发明的目的还可以采用以下的技术措施来进一步实现。
前述的智能近眼显示装置,所述媒体输入接口还支持USB协议,所述媒体输入接口还通过USB信道与所述微处理器连接,用于将接收到的非DP形式的媒体信号通过所述USB信道传输至所述微处理器。
前述的智能近眼显示装置,所述微处理器包括DP模式判断模块,用于判断DP模式条件是否成立;其中所述DP模式条件包括所述媒体输出装置支持DP输出且所述媒体信号为DP信号;所述转换芯片具体用于:若DP模式条件成立,则从所述媒体输入接口接收所述媒体信号并进行转换之后再发送至所述微处理器;所述微处理器还包括第一媒体处理模块和第二媒体处理模块;所述第一媒体处理模块用于在DP模式条件成立时,接收由所述转换芯片传来的所述媒体信号并进行处理;所述第二媒体处理模块用于在DP模式条件不成立时,接收由所述媒体输入接口通过USB传来的所述媒体信号并进行处理。
前述的智能近眼显示装置,所述装置还包括DP模式开关,用于启动或关闭所述转换芯片;所述DP模式条件还包括所述DP模式开关处于开启状态。
前述的智能近眼显示装置,所述微处理器还包括转换芯片控制模块,用于若DP模式条件成立,则启动所述转换芯片并初始化,若DP模式条件不成立,则关闭所述转换芯片。
前述的智能近眼显示装置,所述换芯片中预先存储有EDID信息,以便所述媒体输出装置通过读取所述EDID信息将具有与所述EDID信息相应格式的媒体信号输出至所述智能近眼显示装置的所述媒体输入接口;其中所述EDID信息中的至少一些信息是所述微处理器所支持的媒体格式转换的源信号的格式而非所述智能近眼显示装置的头戴显示器支持的格式;所述微处理器具有媒体转换能力;所述第一媒体处理模块包括媒体转换单元,用于将所述媒体信号转换为头戴显示器支持的格式。
前述的智能近眼显示装置,所述EDID信息包括所述微处理器所支持的媒体格式转换的源信号的图像分辨率;所述具有与所述EDID信息相应格式的媒体信号包括符合所述图像分辨率的媒体信号;所述微处理器具有图像缩放能力;所述媒体转换单元具体用于对所述媒体信号进行图像缩放以符合所述头戴显示器支持的图像分辨率。
前述的智能近眼显示装置,所述媒体输入接口接收到的所述媒体信号包括压缩后的视频数据和音频数据;所述微处理器具有媒体解码能力;所述第二媒体处理模块具体用于:将所述视频数据解码,并通过MIPI DSI发送到头戴式显示器进行展示,将所述音频数据解码并通过扬声器播出。
前述的智能近眼显示装置,所述媒体输入接口包括USB-C 3.1接口,所述USB-C3.1接口至少支持DP和USB2.0。
前述的智能近眼显示装置,所述装置还包括以下部件中的一个或多个:头戴显示器,所述头戴显示器通过MIPI DSI与所述微处理器连接,用于展示所述微处理器处理后的视频数据;扬声器,用于展示所述微处理器处理后的音频数据;摄像头,所述摄像头通过MIPI CSI和/或USB与所述微处理器连接;惯性传感器;光线传感器;距离传感器。
本发明的目的还采用以下技术方案来实现。依据本发明提出的智能近眼显示系统,包括智能终端以及任意一种前述的智能近眼显示装置,所述智能终端用于将媒体信号传输到所述智能近眼显示装置的媒体输入接口。
本发明的目的还采用以下技术方案来实现。依据本发明提出的扩展显示方法,包括以下步骤:通过所述智能近眼显示装置的媒体输入接口接收由媒体输出装置传来的媒体信号,所述媒体输入接口至少支持DP协议;若DP模式条件成立,则将所述媒体信号经过所述智能近眼显示装置的DP转MIPI CSI的转换芯片转换后发送至所述智能近眼显示装置的微处理器,所述微处理器根据由所述转换芯片传来的所述媒体信号进行处理,其中所述DP模式条件包括所述媒体输出装置支持DP输出且所述媒体信号为DP信号。
本发明的目的还可以采用以下的技术措施来进一步实现。
前述的扩展显示方法,所述媒体输入接口还支持USB协议;所述方法还包括:若DP模式条件不成立,则将所述媒体信号通过USB发送至所述微处理器,所述微处理器根据所述媒体信号进行处理。
前述的扩展显示方法,所述DP模式条件还包括DP模式开关处于开启状态。
前述的扩展显示方法,所述方法还包括:若DP模式条件成立,则启动所述转换芯片并初始化,若DP模式条件不成立,则关闭所述转换芯片。
前述的扩展显示方法,在所述通过所述智能近眼显示装置的媒体输入接口接收由媒体输出装置传来的媒体信号的步骤之前,所述方法还包括:所述媒体输出装置通过读取所述转换芯片中的预先存储的EDID信息,将具有与所述EDID信息相应格式的媒体信号输出至所述智能近眼显示装置的所述媒体输入接口,其中所述EDID信息中的至少一些信息是所述微处理器所支持的媒体格式转换的源信号的格式而非所述智能近眼显示装置的头戴显示器支持的格式;所述微处理器根据由所述转换芯片传来的所述媒体信号进行处理包括:将所述媒体信号转换为头戴显示器支持的格式。
前述的扩展显示方法,所述EDID信息包括所述微处理器所支持的媒体格式转换的源信号的图像分辨率;所述将具有与所述EDID信息相应格式的媒体信号输出至所述智能近眼显示装置的所述媒体输入接口具体包括:所述媒体输出装置将符合所述源信号的图像分辨率的媒体信号输出至所述媒体输入接口;所述将所述媒体信号转换为头戴显示器支持的格式具体包括:对所述媒体信号进行图像缩放以符合所述头戴显示器支持的图像分辨率。
前述的扩展显示方法,所述媒体输入接口接收到的所述媒体信号包括压缩后的视频数据和音频数据;所述微处理器根据所述媒体信号进行处理包括:将所述视频数据解码,并通过MIPI DSI发送到头戴式显示器进行展示,将所述音频数据解码并通过扬声器播出。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案,本发明提出的智能近眼显示装置、智能近眼显示系统和扩展显示方法,通过采用DP转MIPI CSI芯片,尤其是通过采用DP转MIPI CSI芯片和采用USB这两条媒体信号传输通道,能够同时具有DP模式和非DP模式,根据手机是否支持DP协议、DP模块开关是否打开等条件,切换不同的显示方式,扩展了兼容性、适配性更好;进一步的,通过读取该DP转MIPI CSI芯片中的修改过的EDID信息,可以将显示输入的信号进行媒体格式(例如分辨率)的转换,进而扩展了兼容性、适配性更好。
上述说明仅是本发明技术方案的概述,为了能更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1是本发明一个实施例的智能近眼显示装置的结构示意图;
图2是本发明另一实施例的智能近眼显示装置的结构示意图;
图3是本发明一个实施例的智能近眼显示系统的结构示意图;
图4是本发明一个实施例的扩展显示方法的流程示意图;
图5是本发明另一实施例的扩展显示方法的流程示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的智能近眼显示装置、智能近眼显示系统和扩展显示方法的具体实施方式、结构、特征及其功效,详细说明如后。
需注意,本发明所指的智能近眼显示装置包括但不限于诸如增强现实眼镜设备(简称为AR眼镜设备)、虚拟现实眼镜设备等智能眼镜,以及其他近眼显示的智能装置。而AR眼镜设备包括但不限于:一体式AR眼镜,此类AR眼镜内置集成相关的计算模块、无线网络模块、蓝牙模块等;分体式AR眼镜,此类AR眼镜配备有外接的计算模块、无线网络模块、蓝牙模块等;外接扩展显示器AR眼镜,此类AR眼镜依赖用户的智能手机、智能平板电脑、笔记本电脑、个人台式电脑等,作为计算模块、无线网络模块、蓝牙模块等。
图1为本发明的智能近眼显示装置的一个实施例的示意性的结构框图。图2为本发明的智能近眼显示装置的另一个实施例的示意性的结构框图。需注意,图2中的各个箭头仅示出了信号流的核心方向,并非限定信号是单向传输的,事实上大多数的信号传输过程均需要发送端接收端双方之间交互握手包、报文、回执等信号才能实现,因此图中示出的箭头连接的各个部件之间都可以进行双方向的信号传输。请参阅图1和图2,本发明示例的智能近眼显示装置110主要包括:微处理器111、媒体输入接口112和DP转MIPI CSI的转换芯片113。
其中,该微处理器111用于处理智能近眼显示装置110的业务,例如可以是轻量级微处理器或中等算力的微处理器。
该媒体输入接口112至少支持DP协议,用于接收从媒体输出装置传输到智能近眼显示装置110的媒体信号。
该DP转MIPI CSI的转换芯片113简称为转换芯片,该转换芯片113通过MIPI CSI接口与微处理器111连接,并且该转换芯片113与媒体输入接口112连接,用于从媒体输入接口112接收DP形式的媒体信号并进行转换之后再发送至微处理器111。通过该转换芯片113,实现了在传输DP信号时将手机等移动终端与智能近眼显示设备的处理器桥接。
前述的DP(DisplayPort)协议是一种图像显示接口协议,它不仅可以支持全高清显示分辨率(1920×1080),还能支持4k分辨率(3840×2160),以及最新的8k分辨率(7680×4320)。DP接口不仅传输率高,而且可靠稳定,其接口传输的信号由传输图像的数据通道信号以及传输图像相关的状态、控制信息的辅助通道信号组成,具体包含DisplayPort数据传输主要通道(Main Link)、辅助通道(AUX Channel)与连接(Link Training)。
前述的MIPI(Mobile Industry Processor Interface,移动行业处理器接口)是一种为移动应用处理器制定的开放标准。MIPI CSI(Camera Serial Interface,摄像串行接口)、MIPI DSI(Display Serial Interface,显示串行接口)和MIPI DPI(Display PixelInterface显示像素接口)分别是MIPI标准的一种,因为MIPI在移动领域应用范围太广了,各种外围设备都可以用它来传输信息,所以,MIPI联盟给不同的外设接口定义了版本名,CSI是用于摄像模组的,其定义了一个位于处理器和摄像模组之间的高速串行接口,DPI是用于显示模组的,其定义了一个位于处理器和显示模组之间的高速串行接口。
在本发明的一些实施例中,前述媒体输入接口112还支持USB协议,该媒体输入接口112还通过USB信道与前述微处理器111连接,用于将接收到的非DP形式的媒体信号通过USB信道传输至微处理器111。其中,USB协议包括USB2.0协议、USB3.0协议或以上的版本。在本实施例中,在智能近眼显示装置110的媒体输入接口112与微处理器111之间具有两条媒体信号传输通道,一条是以桥接的方式利用DP转MIPI CSI转换芯片113将信号转换后再传输至微处理器111,另一条是通过USB信道将信号传输至微处理器111,分别用于传输DP信号和非DP信号。
作为一个具体实施例,如图2所示,前述媒体输入接口112包括USB-C3.1接口,该USB-C 3.1接口至少支持DP和USB2.0。
利用本发明提出的智能近眼显示装置110,通过USB方式和DP转MIPI CSI的方式实现既支持通过USB将显示的数据编码之后发到AR眼镜上,也支持通过DP的方式将显示数据送到AR眼镜上,从而不仅可以跟不支持DP的手机连接,也可以跟不同DP输出分辨率的手机连接,增加扩展性。
在本发明的一些实施例中,前述微处理器111包括DP模式判断模块,用于判断DP模式条件是否成立。其中DP模式条件包括媒体输出装置支持DP输出且媒体信号为DP信号。前述DP转MIPI CSI的转换芯片113具体用于:若DP模式条件成立,则从媒体输入接口112接收媒体信号并进行转换之后再发送至微处理器111。前述微处理器111还包括第一媒体处理模块和第二媒体处理模块。该第一媒体处理模块用于在DP模式条件成立时,接收由DP转MIPICSI的转换芯片113传来的媒体信号并进行处理。该第二媒体处理模块用于在DP模式条件不成立时,接收由媒体输入接口112通过USB传来的媒体信号并进行处理。
需注意,不限制微处理器111对媒体信号进行的处理,可选的,前述的微处理器111的根据媒体信号进行处理包括将媒体信号中的视频、音频等媒体数据发送至对应的显示器、扬声器进行播放、执行媒体信号中的控制指令等。
在本发明的一些实施例中,智能近眼显示装置110还包括DP模式开关,用于启动或关闭转换芯片113。前述的DP模式条件还包括DP模式开关处于开启状态。在转换芯片113关闭时,从媒体输入接口112接收到的媒体信号通过USB传输至微处理器111。从而当不需要用DP显示时,可以通过这个开关触发关闭DP转MIPI转换芯片113,节省功耗。
需注意,在一些实施例中,该DP模式开关为实体按钮或按键。在另一些实施例中,该DP模式开关为软件控件。在又一些实施例中,智能近眼显示装置110同时具有实体按键形式的DP模式开关和软件控件形式的DP模式开关。
在本发明的一些实施例中,微处理器111还包括转换芯片控制模块,用于若DP模式条件成立(例如,若媒体输出装置支持DP输出、且媒体信号为DP信号、且DP模式开关为开启),则启动转换芯片113并初始化,若DP模式条件不成立(例如,若媒体输出装置不支持DP输出、或媒体信号不是DP信号、或DP模式开关为关闭),则关闭转换芯片113。在本发明的另一些示例中,当DP模式开关处于开启状态时则启动转换芯片113并初始化。
在本发明的一些实施例中,前述转换芯片113具体用于:若媒体输出装置支持DP输出、且媒体信号为DP信号、且DP模式开关为开启,则从媒体输入接口112接收媒体信号并进行转换之后再发送至微处理器111。
在本发明的一些实施例中,前述USB信道具体用于:若媒体输出装置不支持DP输出、或媒体信号不是DP信号、或DP模式开关为关闭,则通过USB信道将媒体信号发送至微处理器111。
在本发明的一些实施例中,微处理器111包括视频输入接口,视频输入接口包括MIPI CSI RX接口(MIPI CSI接收接口)和/或MIPI DSI RX接口(MIPI DSI接收接口)。转换芯片113包括MIPI CSI发送接口。
在当前的一些情形中存在下述问题:在DP信号传输过程中,手机支撑的媒体格式与智能近眼显示装置110的显示器可能不匹配而无法播放,例如,某手机最低支持到1080P@60fps的显示输出能力(已上市手机无法修改其系统),而头戴式AR显示器最高支持到720P@60fps的显示输出,无法将手机输出的1080P图像直接显示到720P的AR显示屏上。
而利用本发明一些实施例的智能近眼显示装置110可以解决上述问题。在本发明的一些实施例中,前述DP转MIPI CSI的转换芯片113中预先存储有EDID(Extended displayidentification data,中文名称扩展显示器识别数据、或智能近眼显示器识别数据)信息。并且,微处理器111具有媒体转换能力,能够将符合源格式的媒体信号转换为目标格式的媒体信号。需注意,一般的EDID信息记录有显示器的支持播放的媒体的格式信息,但在本实施例中的EDID信息中的至少一些信息是智能近眼显示装置110的微处理器111所支持的媒体格式转换的源信号的格式、而不是智能近眼显示装置110的头戴显示器支持的格式。在DP模式下,前述媒体输出装置通过读取智能近眼显示装置110的DP转MIPI CSI转换芯片113中的预存的该EDID信息,将具有与该EDID信息相应格式的媒体信号输出至智能近眼显示装置110的媒体输入接口112。微处理器111在接收到由DP转MIPI CSI转换芯片113传来的媒体信号后,将该媒体信号转换为智能近眼显示装置110的头戴显示器所支持的格式。具体的,微处理器111的第一媒体处理模块包括媒体转换单元,用于将媒体信号转换为头戴显示器支持的格式。
作为一个可选实施例,前述EDID信息中记录的微处理器111所支持的媒体格式转换的源信号的格式包括图像分辨率。前述的具有与该EDID信息相应格式的媒体信号包括符合微处理器111所支持的媒体格式转换的源信号的图像分辨率的媒体信号。前述的将具有与EDID信息相应格式的媒体信号输出至智能近眼显示装置110的媒体输入接口112包括,媒体输出装置将符合源信号的分辨率的媒体信号输出至媒体输入接口112。前述的媒体转换能力包括图像缩放能力,即微处理器111具有图像缩放能力。前述的将媒体信号转换为头戴显示器支持的格式包括,对媒体信号进行缩放以符合头戴显示器支持的分辨率。具体的,前述媒体转换单元具体用于对媒体信号进行图像缩放以符合头戴显示器支持的图像分辨率。
以前述的手机最低支持到1080P@60fps而头戴式显示器最高支持到720P@60fps作为一个具体示例,微处理器111具有将1080P分辨率格式缩放到720P分辨率格式的能力,则将支持1080P分辨率格式这个信息记录在EDID信息中;手机通过读取DP转MIPI CSI转换芯片113里的EDID信息会获取到支持1080P分辨率格式,则手机可以将1080P@60fps的媒体信号通过DP转MIPI CSI转换芯片113发送至智能近眼显示装置110;智能近眼显示装置110的微处理器111通过MIPI CSI获取到1080P@60fps的媒体数据,并对视频数据进行缩放处理得到720P@60fps的视频数据,再通过后端MIPI DSI的视频输出接口送到支持720P的头戴式显示器上,音频数据通过音频输出单元送到扬声器上。
在本发明的一些实施例中,诸如手机等媒体输出装置在通过DP模式与智能近眼显示装置110连接时,需要传递握手包,通过该握手包将转换芯片113中的EDID发送至手机端。
在本发明的一些实施例中,在非DP模式中,可以不需要握手、可以不需要读取EDID。具体的,在通过USB信道传输媒体信号时,微处理器111可以不需要硬件支持媒体缩放能力,而是通过应用程序进行解码并转换分辨率格式,即可以进行软件缩放,从而也不必利用EDID信息获取媒体格式。
利用本发明提出的智能近眼显示装置,对显示器支持的媒体格式进行扩展,极大丰富了应用场景。另外,利用本发明提出的智能近眼显示装置,通过在DP模式中利用硬件支持媒体转换能力的微处理器,能够解决DP无法利用应用程序进行图像缩放等媒体转换的问题。
在本发明的一些实施例中,媒体输入接口112接收到的媒体信号包括压缩后的视频数据和音频数据。微处理器111具有媒体解码能力。微处理器111的第二媒体处理模块具体用于:将视频数据解码,并通过MIPI DSI发送到头戴式显示器进行展示,将音频数据解码并通过扬声器播出。
在本发明的一些实施例中,智能近眼显示装置110还包括以下部件中的一个或多个:
头戴显示器,例如头戴AR显示器,该头戴显示器通过MIPI DSI或者其他显示接口与微处理器111连接,用于展示微处理器111处理后的视频数据;
扬声器,用于展示微处理器111处理后的音频数据;
摄像头,摄像头通过MIPI CSI和/或USB与微处理器111连接;
惯性传感器(例如惯性测量单元IMU)、光线传感器(light sensor,也称为亮度传感器)、距离传感器(proximity sensor)中的一个或多个。
需注意,本发明的智能近眼显示装置110也可以包括集成多个前述传感器的传感器,例如L/P传感器(亮度/距离传感器)。
在本发明的一些实施例中,例如媒体输入接口112为USB-C 3.1接口时,可以利用USB3.0信道,进行双向信号的同时传输,例如对从手机端到智能近眼显示装置110的待播放的媒体信号、和将智能近眼显示装置110麦克风接收的声音发送至手机端这两个信号传输过程进行同时处理。
请参阅图2,在本发明的智能近眼显示装置110的一个具体实施例中,智能近眼显示装置110为AR眼镜,在图2的中心位置,AR眼镜具有一个微处理器111,负责处理AR眼镜的业务。AR眼镜还包括USB-C 3.1接口,作为前述的媒体输入接口112,可以支持USB和DisplayPort。AR眼镜还包括DP转MIPI CSI的显示转换芯片113,通过MIPI CSI与微处理器111连接。AR眼镜的摄像头部分可以通过MIPI CSI与微处理器111连接,也可以通过USB与微处理器111连接。AR眼镜上还有IMU传感器和L/P传感器(亮度传感器和距离传感器),以及MiPi DSI或者其他显示接口连接的头戴AR显示器。此外AR眼镜还还可以有DP模式切换开关,当不需要用DP显示时,可以通过这个开关触发关闭DP转MIPI转换芯片113,节省功耗。
当手机不支持DP输出时,通过“DP模式开关”关闭DP模式,触发一个按键中断,微处理器111选择关闭DP转MIPI CSI显示转换芯片113,节省功耗;此时手机端应用可以将压缩后的音视频数据(通过H264/H265或MJPEG压缩,节省带宽)通过USB传给AR眼镜端的微处理器111,微处理器111将视频数据解码之后,将数据通过MIPI DSI显示到后端的头戴式显示器上;将音频数据解码后把数据通过Audio音频单元输出。
为了与支持DP的手机相连,眼镜上微处理器111设有video input的输入接口,比如MIPI CSI RX或者MiPI DSI RX,同时为了DP传输,在微处理器111的前端增加一个DP转MIPI的扩展芯片。
当手机支持DP输出且与AR眼镜相连接时,通过“DP模式开关”打开DP模式,触发一个按键中断,微处理器111打开DP转MIPI CSI显示转换芯片113并做初始化,因为DP转MIPICSI显示转换芯片113作为一个显示SINK设备可以支持很多种分辨率格式,手机通过读取EDID获取到相应的分辨率格式作为输出;然后通过微处理器111的MIPI CSI数据输入口送到微处理器端,然后缩放到后端头戴AR显示器支持的分辨率即可。需注意,前述的SINK设备指的是SOURCE-SINK(拉-灌)体系中的SINK端。
为了与不支持DP的手机相连,手机传输来的视频数据需要经过压缩(通过H264、H265或mipeg编码压缩),从而眼镜上的微处理器111需要有一定的解码能力。
图3是本发明一个实施例的智能近眼显示系统的结构示意图。请参阅图3,本发明的实施例还提供一种智能近眼显示系统100,该智能近眼显示系统100包括智能终端120、以及上述任意一个实施例中的智能近眼显示装置110。其中,该智能终端120用于将媒体信号传输到智能近眼显示装置110的媒体输入接口112。需注意,该智能终端120包括但不限于智能手机、平板电脑等能够输出媒体信号的装置。
图4是本发明一个实施例的扩展显示方法的流程示意图。图5是本发明另一实施例的扩展显示方法的流程示意图。请参阅图4,本发明的实施例还提供一种扩展显示方法,适用于智能近眼显示装置,包括以下步骤:
步骤S1,通过智能近眼显示装置的媒体输入接口接收由媒体输出装置传来的媒体信号,媒体输入接口至少支持DP协议。
步骤S2,若DP模式条件成立,则将媒体信号经过智能近眼显示装置的DP转MIPICSI的转换芯片转换后发送至智能近眼显示装置的微处理器,微处理器根据由转换芯片传来的媒体信号进行处理,其中DP模式条件包括媒体输出装置支持DP输出且媒体信号为DP信号。
在本发明一些实施例中,请参阅图5,前述媒体输入接口还支持USB协议,前述扩展显示方法还包括步骤S3:若DP模式条件不成立,则将媒体信号通过USB发送至微处理器,微处理器根据通过USB传来的媒体信号进行处理。
在本发明一些实施例中,前述DP模式条件还包括DP模式开关处于开启状态。
在本发明一些实施例中,前述扩展显示方法还包括:若DP模式条件成立,则启动转换芯片并初始化,若DP模式条件不成立,则关闭转换芯片。
在本发明一些实施例中,在前述步骤S1之前,前述扩展显示方法还包括媒体输出装置通过读取转换芯片中的预先存储的EDID信息,将具有与EDID信息相应格式的媒体信号输出至智能近眼显示装置的媒体输入接口。其中EDID信息中的至少一些信息是微处理器所支持的媒体格式转换的源信号的格式、而非智能近眼显示装置的头戴显示器支持的格式。前述步骤S2中的微处理器根据由转换芯片传来的媒体信号进行处理包括:将媒体信号转换为头戴显示器支持的格式。
在本发明一些实施例中,前述EDID信息包括微处理器所支持的媒体格式转换的源信号的图像分辨率。前述的将具有与EDID信息相应格式的媒体信号输出至智能近眼显示装置的媒体输入接口具体包括:媒体输出装置将符合源信号的图像分辨率的媒体信号输出至媒体输入接口。前述的将媒体信号转换为头戴显示器支持的格式具体包括:对媒体信号进行图像缩放以符合头戴显示器支持的图像分辨率。
在本发明一些实施例中,媒体输入接口接收到的媒体信号包括压缩后的视频数据和音频数据。前述的微处理器根据媒体信号进行处理包括:将视频数据解码,并通过MIPIDSI发送到头戴式显示器进行展示,将音频数据解码并通过扬声器播出。在一个具体实施例中,在DP模式条件不成立时,微处理器执行前述的将视频数据和音频数据解码并播出的步骤。
以上所述,仅是本发明的较佳实施例而已,并非对本发明做任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (18)

1.一种智能近眼显示装置,其特征在于,所述装置包括:
微处理器;
媒体输入接口,所述媒体输入接口至少支持DP协议,用于接收从媒体输出装置传输到所述智能近眼显示装置的媒体信号;
DP转MIPI CSI的转换芯片,所述转换芯片通过MIPI CSI接口与所述微处理器连接,并且所述转换芯片与所述媒体输入接口连接,用于从所述媒体输入接口接收DP形式的媒体信号并进行转换之后再发送至所述微处理器。
2.根据权利要求1所述的智能近眼显示装置,其特征在于:
所述媒体输入接口还支持USB协议,所述媒体输入接口还通过USB信道与所述微处理器连接,用于将接收到的非DP形式的媒体信号通过所述USB信道传输至所述微处理器。
3.根据权利要求2所述的智能近眼显示装置,其特征在于:
所述微处理器包括DP模式判断模块,用于判断DP模式条件是否成立;其中所述DP模式条件包括所述媒体输出装置支持DP输出且所述媒体信号为DP信号;
所述转换芯片具体用于:若DP模式条件成立,则从所述媒体输入接口接收所述媒体信号并进行转换之后再发送至所述微处理器;
所述微处理器还包括第一媒体处理模块和第二媒体处理模块;所述第一媒体处理模块用于在DP模式条件成立时,接收由所述转换芯片传来的所述媒体信号并进行处理;所述第二媒体处理模块用于在DP模式条件不成立时,接收由所述媒体输入接口通过USB传来的所述媒体信号并进行处理。
4.根据权利要求3所述的智能近眼显示装置,其特征在于:
所述装置还包括DP模式开关,用于启动或关闭所述转换芯片;
所述DP模式条件还包括所述DP模式开关处于开启状态。
5.根据权利要求3或4所述的智能近眼显示装置,其特征在于:
所述微处理器还包括转换芯片控制模块,用于若DP模式条件成立,则启动所述转换芯片并初始化,若DP模式条件不成立,则关闭所述转换芯片。
6.根据权利要求1所述的智能近眼显示装置,其特征在于:
所述转换芯片中预先存储有EDID信息,以便所述媒体输出装置通过读取所述EDID信息将具有与所述EDID信息相应格式的媒体信号输出至所述智能近眼显示装置的所述媒体输入接口;其中所述EDID信息中的至少一些信息是所述微处理器所支持的媒体格式转换的源信号的格式而非所述智能近眼显示装置的头戴显示器支持的格式;
所述微处理器具有媒体转换能力;所述第一媒体处理模块包括媒体转换单元,用于将所述媒体信号转换为头戴显示器支持的格式。
7.根据权利要求6所述的智能近眼显示装置,其特征在于:
所述EDID信息包括所述微处理器所支持的媒体格式转换的源信号的图像分辨率;所述具有与所述EDID信息相应格式的媒体信号包括符合所述图像分辨率的媒体信号;
所述微处理器具有图像缩放能力;所述媒体转换单元具体用于对所述媒体信号进行图像缩放以符合所述头戴显示器支持的图像分辨率。
8.根据权利要求2所述的智能近眼显示装置,其特征在于,
所述媒体输入接口接收到的所述媒体信号包括压缩后的视频数据和音频数据;
所述微处理器具有媒体解码能力;所述第二媒体处理模块具体用于:将所述视频数据解码,并通过MIPIDSI发送到头戴式显示器进行展示,将所述音频数据解码并通过扬声器播出。
9.根据权利要求2所述的智能近眼显示装置,其特征在于,所述媒体输入接口包括USB-C 3.1接口,所述USB-C 3.1接口至少支持DP和USB2.0。
10.根据权利要求1所述的智能近眼显示装置,其特征在于,所述装置还包括以下部件中的一个或多个:
头戴显示器,所述头戴显示器通过MIPIDSI与所述微处理器连接,用于展示所述微处理器处理后的视频数据;
扬声器,用于展示所述微处理器处理后的音频数据;
摄像头,所述摄像头通过MIPI CSI和/或USB与所述微处理器连接;
惯性传感器;光线传感器;距离传感器。
11.一种智能近眼显示系统,其特征在于,所述智能近眼显示系统包括智能终端以及如权利要求1到10中任意一项所述的智能近眼显示装置,所述智能终端用于将媒体信号传输到所述智能近眼显示装置的媒体输入接口。
12.一种扩展显示方法,适用于智能近眼显示装置,其特征在于,所述方法包括:
通过所述智能近眼显示装置的媒体输入接口接收由媒体输出装置传来的媒体信号,所述媒体输入接口至少支持DP协议;
若DP模式条件成立,则将所述媒体信号经过所述智能近眼显示装置的DP转MIPI CSI的转换芯片转换后发送至所述智能近眼显示装置的微处理器,所述微处理器根据由所述转换芯片传来的所述媒体信号进行处理,其中所述DP模式条件包括所述媒体输出装置支持DP输出且所述媒体信号为DP信号。
13.根据权利要求12所述的扩展显示方法,其特征在于:
所述媒体输入接口还支持USB协议;
所述方法还包括:若DP模式条件不成立,则将所述媒体信号通过USB发送至所述微处理器,所述微处理器根据所述媒体信号进行处理。
14.根据权利要求13所述的扩展显示方法,其特征在于:
所述DP模式条件还包括DP模式开关处于开启状态。
15.根据权利要求14所述的扩展显示方法,其特征在于,所述方法还包括:
若DP模式条件成立,则启动所述转换芯片并初始化,若DP模式条件不成立,则关闭所述转换芯片。
16.根据权利要求12所述的扩展显示方法,其特征在于,
在所述通过所述智能近眼显示装置的媒体输入接口接收由媒体输出装置传来的媒体信号的步骤之前,所述方法还包括:所述媒体输出装置通过读取所述转换芯片中的预先存储的EDID信息,将具有与所述EDID信息相应格式的媒体信号输出至所述智能近眼显示装置的所述媒体输入接口,其中所述EDID信息中的至少一些信息是所述微处理器所支持的媒体格式转换的源信号的格式而非所述智能近眼显示装置的头戴显示器支持的格式;
所述微处理器根据由所述转换芯片传来的所述媒体信号进行处理包括:将所述媒体信号转换为头戴显示器支持的格式。
17.根据权利要求16所述的扩展显示方法,其特征在于,
所述EDID信息包括所述微处理器所支持的媒体格式转换的源信号的图像分辨率;
所述将具有与所述EDID信息相应格式的媒体信号输出至所述智能近眼显示装置的所述媒体输入接口具体包括:所述媒体输出装置将符合所述源信号的图像分辨率的媒体信号输出至所述媒体输入接口;
所述将所述媒体信号转换为头戴显示器支持的格式具体包括:对所述媒体信号进行图像缩放以符合所述头戴显示器支持的图像分辨率。
18.根据权利要求13所述的扩展显示方法,其特征在于:
所述媒体输入接口接收到的所述媒体信号包括压缩后的视频数据和音频数据;
所述微处理器根据所述媒体信号进行处理包括:将所述视频数据解码,并通过MIPIDSI发送到头戴式显示器进行展示,将所述音频数据解码并通过扬声器播出。
CN202011337602.8A 2020-11-25 2020-11-25 智能近眼显示装置、系统和扩展显示方法 Pending CN112351234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011337602.8A CN112351234A (zh) 2020-11-25 2020-11-25 智能近眼显示装置、系统和扩展显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011337602.8A CN112351234A (zh) 2020-11-25 2020-11-25 智能近眼显示装置、系统和扩展显示方法

Publications (1)

Publication Number Publication Date
CN112351234A true CN112351234A (zh) 2021-02-09

Family

ID=74364877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011337602.8A Pending CN112351234A (zh) 2020-11-25 2020-11-25 智能近眼显示装置、系统和扩展显示方法

Country Status (1)

Country Link
CN (1) CN112351234A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080484A (zh) * 2022-06-24 2022-09-20 蔚来汽车科技(安徽)有限公司 车机系统及其数据处理方法、存储介质
CN115550590A (zh) * 2022-09-28 2022-12-30 珠海海奇半导体有限公司 一种dp转换设备、显示系统及dp转换显示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080484A (zh) * 2022-06-24 2022-09-20 蔚来汽车科技(安徽)有限公司 车机系统及其数据处理方法、存储介质
CN115550590A (zh) * 2022-09-28 2022-12-30 珠海海奇半导体有限公司 一种dp转换设备、显示系统及dp转换显示方法

Similar Documents

Publication Publication Date Title
US7788412B2 (en) Display system and method
JP2009518902A (ja) 無線表示システム及び方法
US20030017846A1 (en) Wireless display
US20050248685A1 (en) Multidata processing device and method in a wireless terminal
CN112351234A (zh) 智能近眼显示装置、系统和扩展显示方法
CN101727424A (zh) 利用连接端口来传收自订格式的信号的电子装置
WO2022033013A1 (zh) 一种hdmi 8k100/120视频判断和输出的方法及装置
US7917173B2 (en) Multimedia data communication method and system
US20090300232A1 (en) Data transmission method between a host device and a display apparatus
KR20130022142A (ko) 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법
US20040235413A1 (en) Mobile terminal having image processing function and method therefor
CN213426310U (zh) 智能近眼显示装置和系统
US20030016292A1 (en) Image data control system and method
US8159970B2 (en) Method of transmitting image data in video telephone mode of a wireless terminal
KR20210065636A (ko) 휴대용 멀티미디어 단말기 화면의 실시간 송수신 시스템 및 장치
KR100393767B1 (ko) 무선 송수신 장치
US20230379434A1 (en) Data transmission method and apparatus
CN217932706U (zh) 数据展示系统及数据获取设备
CA2338195C (en) Video conferencing interface
KR101150641B1 (ko) 이동통신 단말기의 영상 및 음향 정보 변환장치 및 방법
KR100540249B1 (ko) 처리 영상을 복수개의 lcd에 표시하는 단말기
CN116600073A (zh) 将usb接口实现hdmi输出的方法、系统及相关设备
KR20080017639A (ko) 카메라모듈 내에 유에스비 인터페이스부를 구비한 카메라폰및 그 동작방법
KR100747582B1 (ko) 디지털 멀티미디어 방송 시스템의 영상 데이터 처리 방법 및 장치
CN117544807A (zh) 高清多媒体接口测试电路和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination