CN109068207A - 一种耳机及耳机系统 - Google Patents

一种耳机及耳机系统 Download PDF

Info

Publication number
CN109068207A
CN109068207A CN201810725554.6A CN201810725554A CN109068207A CN 109068207 A CN109068207 A CN 109068207A CN 201810725554 A CN201810725554 A CN 201810725554A CN 109068207 A CN109068207 A CN 109068207A
Authority
CN
China
Prior art keywords
image
mipi
spliced
processor
earphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810725554.6A
Other languages
English (en)
Other versions
CN109068207B (zh
Inventor
李文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xi Mai Creative Technology Ltd
Original Assignee
Guangzhou Xi Mai Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xi Mai Creative Technology Ltd filed Critical Guangzhou Xi Mai Creative Technology Ltd
Priority to CN201810725554.6A priority Critical patent/CN109068207B/zh
Priority to EP18204845.4A priority patent/EP3591991A1/en
Priority to US16/186,985 priority patent/US20200014830A1/en
Publication of CN109068207A publication Critical patent/CN109068207A/zh
Application granted granted Critical
Publication of CN109068207B publication Critical patent/CN109068207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/28—Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/105—Manufacture of mono- or stereophonic headphone components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/09—Applications of special connectors, e.g. USB, XLR, in loudspeakers, microphones or headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Manufacturing & Machinery (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种耳机及耳机系统，包括两个听筒主体、两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。相比于现有技术，本发明通过采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。

Description

一种耳机及耳机系统
技术领域
本发明涉及电子技术领域，特别指针对耳机及耳机系统。
背景技术
随着信息技术的发展，虚拟现实(Virtual Reality，以下简称VR)技术作为一种可以创建和体验虚拟世界的计算机仿真系统，迅速遍布了包括视频，游戏，图片，购物等各个领域。全景图像和全景视频作为VR内容的重要一部分，通过它们对应的生成工具如全景相机进行拼接以获取大视场图片，可以让观看者更加身临其境的感受拍摄这张图片或者视频时的各个视角。但是，目前市面上存在的全景相机产品体积相对较大，不便于携带，或者拍摄全景照片时需要刻意地手持用一个设备来进行拍摄，不够方便。
而方便携带或者体积较小的例如具有摄像功能的眼镜或者蓝牙耳机等却都是只有一个摄像头，而且因为一个摄像头必定其视场角不会太大，没法提供足够角度的内容让观看者有身临其境的感受，并且很少有人会在日常生活愿意戴一个眼镜上有一个摄像头的电子产品去进行拍摄，周围人也会觉得奇怪。
耳机作为目前大多数年轻人必不可少的电子消费品，首先在佩戴上不会给周围人很突兀的感受，而在原有耳机本身能够佩戴听歌的前提下在左右听筒再各自置入一个摄像头进行拍摄，这样只要左右摄像头的视场角够大，就能够作为以第一视角采集当前佩戴者所处环境的最佳设备，而且再通过与摄像头连接的处理器，可以帮助佩戴者记录下自己的一些日常生活的美妙瞬间。
但是，现有耳机中的摄像头通常需要通过USB转接模块的USB接口与处理器通讯，而USB接口通讯宽带受到很大限制，传输拍摄的图片时的分辨率低，影响了图像效果；而且USB转接模块的体积很大，其集成在耳机时，使得耳机变得臃肿。
发明内容
基于此，本发明的目的在于，提供一种耳机，其具有提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率的优点。
一种耳机，包括两个听筒主体、两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。
相比于现有技术，本发明通过采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。
进一步地，所述两个听筒主体上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器均与所述处理器连接；和/或，
所述两个听筒主体上还分别设置有两个麦克风；所述两个麦克风均与所述处理器连接。
进一步地，还包括两个加速度传感器；所述两个加速度传感器均与所述处理器连接，且将获取的人体运动信息传送到所述处理器。
进一步地，所述两个听筒主体内嵌设有两个定位装置；所述两个定位装置与所述处理器连接，并将定位信息传送到所述处理器
进一步地，还包括耳机线；所述两个MIPI摄像头均经由所述耳机线和MIPI驱动器与所述处理器连接，所述两个扬声器、和/或两个麦克风、和/或两个加速度传感器、和/或两个定位装置均经由所述耳机线与所述处理器连接。
进一步地，还包括嵌设在处理器表面且与处理器连接的一个或多个按键；所述按键与所述处理器连接，且所述按键控制所述两个MIPI摄像头的拍摄操作，进而实现对图像的便捷拍摄。
本发明还提供一种耳机系统，包括上述耳机外，还包括后端处理平台和USB通讯装置；所述后端处理平台通过所述USB通讯装置与所述处理器连接，并获取所述处理器传送的两个MIPI摄像头拍摄的图像。
进一步地，所述处理器或所述后端处理平台用于：
获取两个MIPI摄像头拍摄的图像；
剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；
提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；
根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；
在初拼接的全景图中找寻拼接缝并生成掩码图像；
将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。
通过剔除两个MIPI摄像头拍摄的图像中遮挡的区域，再将图像拼接形成全景图像，拼接成的全景图像完整且效果好，可获取超过人眼所看角度范围的全景图像视觉。
进一步地，所述两个听筒主体为设置在佩戴者左耳一侧的左听筒主体，以及设置在佩戴者右耳一侧的右听筒主体；所述两个MIPI摄像头为设置在左听筒主体且背对佩戴者左耳的一侧的左MIPI摄像头，以及设置在右听筒主体且背对佩戴者右耳的一侧的右MIPI摄像头；所述左MIPI摄像头与所述右MIPI摄像头为视场角为120-220度的广角摄像头；所述两个MIPI摄像头拍摄的图像为左MIPI摄像头拍摄的左图像，以及右MIPI摄像头拍摄的右图像。
进一步地，所述处理器或后端处理平台用于剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像时，包括用于：
将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；
分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；
从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；
从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。
进一步地，所述处理器或后端处理平台在剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像后，再分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为所述有效的两个待拼接的图像。
进一步地，所述处理器或后端处理平台用于通过SURF算法、ORB算法或者SIFT算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。
进一步地，在对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准之后，所述处理器或后端处理平台还用于通过RANSAC算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点，以提高配准精度。
进一步地，所述处理器或后端处理平台在获取两个MIPI摄像头拍摄的图像后，还获取两个定位装置传送的定位信息，并根据所述定位信息计算两个MIPI摄像头的相对位置，且根据两个MIPI摄像头相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将两个MIPI摄像头拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域。以两个MIPI摄像头耳机系统的相对位置为依据，在与数据库中存储的两个MIPI摄像头的相对位置相同时，无需重新确定拼接参数，直接调用拼接所需要的参数进行拼接，提高了拼接效率
进一步地，所述两个定位装置为嵌设在左听筒主体上的左陀螺仪和嵌设在右听筒主体上的右陀螺仪；所述定位信息为左陀螺仪所在的姿态角和右陀螺仪所在的姿态角度；通过将左陀螺仪所在的定位信息和右陀螺仪所在的信息相减，获得所述两个MIPI摄像头的相对位置；所述根据两个MIPI摄像头相对位置查询数据库是否存在其对应的拼接模板数据的方式为：将两个MIPI摄像头相对位置与数据库中存储的拼接模板数据进行比对，判断是否存在一项数据与两个MIPI摄像头的相对位置相同，若相同，则存在对应的拼接模板数据；否则，不存在对应的拼接模板数据。
进一步地，所述拼接模板数据包括两个MIPI摄像头的相对位置以及在所述相对位置上进行图像拼接时所需的拼接参数，所述拼接参数包括剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域时的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵以及掩码图像。
进一步地，在所述生成掩码图之后，所述处理器或后端处理平台还用于将两个MIPI摄像头的相对位置、剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵、以及掩码图像绑定为拼接模板数据，保存至数据库中。进而在遇到两个MIPI摄像头的相对位置相同时，直接调取该拼接模板数据进行有缝拼接，从而提高拼接效率。
进一步地，所述处理器获取MIPI摄像头拍摄的图像后，还判断当前处理速度和内存占用大小是否小于预设阈值；若小于设定阈值，则将MIPI摄像头拍摄的图像传送到所述后端处理平台，由后端处理平台对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像；若非小于设定阈值，则所述处理器对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像。通过处理器结合后端处理平台对拍摄的图像进行处理，提高处理效率。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明的耳机系统的结构示意图；
图2为本发明的耳机系统的拍摄区域；
图3为本发明耳机系统的设置位置；
图4为本发明的耳机系统的原理框图；
图5为本发明人体佩戴耳机系统的位置坐标图；
图6为左MIPI摄像头和右MIPI摄像头拍摄的重叠区域的示意图；
图7为左图像和右图像的示意图；
图8为一个实施例中左图像、右图像和拼接后的图像的示意图。
具体实施方式
请同时参阅图1和图2，图1为本发明的耳机的结构示意图；图2为本发明的耳机系统的原理框图。本实施例提供的耳机系统包括耳机，所述耳机包括两个听筒主体1、两个MIPI摄像头2、MIPI驱动器3和处理器4。所述两个MIPI(移动产业处理器接口，“MobileIndustry Processor Interface”，以下简称MIPI)摄像头2分别设置在所述两个听筒主体1上且位于背对佩戴者的一侧；所述处理器4通过所述MIPI驱动器3与所述两个MIPI摄像头2的MIPI接口连接，并获取所述两个MIPI摄像头2拍摄的图像，通过采用MIPI接口通讯，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。
请同时参阅图3和图4，图3为本发明的耳机系统的拍摄区域；图4为本发明耳机系统的设置位置。所述两个听筒主体1为设置在佩戴者左耳一侧的左听筒主体11，以及设置在佩戴者右耳一侧的右听筒主体12。所述两个MIPI摄像头2为设置在左听筒主体11且背对佩戴者左耳的一侧的左MIPI摄像头21，以及设置在右听筒主体12且背对佩戴者右耳的一侧的右MIPI摄像头22。具体的，所述左听筒主体11的面向左耳的一侧设有左播放口111，所述左听筒主体11的与左播放口111背对的一侧设置所述左MIPI摄像头21，左MIPI摄像头21的视场角为120-220度。优选的，左MIPI摄像头21为视场角是180度或高于180度的超广角镜头，用于拍摄佩戴者左侧至少180度视场角范围内(如图3中所示的A区域)的静态或动态图像(即视频)。所述右听筒主体12的面向右耳的一侧设有右播放口，右听筒主体12的与右播放口121背对的一侧设置所述右MIPI摄像头22，右MIPI摄像头21的视场角为120-220度。优选的，右MIPI摄像头22为视场角是180度或高于180度的超广角镜头，用于拍摄佩戴者右侧至少180度视场角范围内(如图3中所示的B区域)的静态或动态图像(即视频)。
本发明一实施例中，所述左MIPI摄像头21和右MIPI摄像头22的超广角镜头为鱼眼镜头，鱼眼镜头采用的透镜为鱼眼透镜。本实施例中，用户佩戴耳机后，若定义人眼正视的方向为光轴Y，左MIPI摄像头21与右MIPI摄像头22连线为轴X，则左MIPI摄像头21与右MIPI摄像头22的连线X与人眼光轴垂直，即左MIPI摄像头21与右MIPI摄像头22的安装方向与用户的眼睛垂直，也即左摄像头的光轴、右摄像头的光轴与人眼光轴垂直(包括大致垂直)。优选地，左MIPI摄像头21与右MIPI摄像头22连线与用户左耳孔和右耳孔形成的连线平行或重合。通过左鱼眼透镜可拍摄佩戴者左侧A区域至少180度视场角的范围的静态或动态图像，通过右鱼眼透镜可拍摄佩戴者右侧B区域至少180度视场角的范围的静态或动态图像。左MIPI摄像头21与右MIPI摄像头22拍摄的图像数据经过拼接后，就可以获得360度全景图像。
在一个实施例中，所述两个听筒主体1上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器设置在所述两个扬声器均与所述处理器4连接，并接收处理器4传送的控制信号，实现对音频的播放。所述两个扬声器可为设置在所述左听筒主体11内左播放口111位置处的左扬声器51，以及设置在所述右听筒主体12内右播放口121位置处的右扬声器52。
在一个实施例中，所述两个听筒主体1上还分别设置有两个麦克风；所述两个麦克风均与所述处理器4连接，并接收处理器4传送的控制信号，实现对麦克风的开启和关闭，以及麦克风音频信号的传输。如在左听筒主体11上设置有左麦克风61，在右听筒主体12上设置有右麦克风62。优选的，可将左麦克风61和右麦克风62对称设置，耳机两边设置麦克风可以提供透音的效果，并且可以静噪消除背景音。用户带着普通耳机可能会不容易听到外面的声音，而如果在左右听筒主体12上各加上麦克风，就可以把麦克风采集的声音直接传到耳朵，从而达到环境透音的效果，并能够消除背景音。
在一实施例中，所述两个听筒主体1上还分别设置有两个加速度传感器，所述两个加速度传感器与所述处理器4连接，并将检测的信号传送到所述处理器4中。所述两个加速度传感器为设置在左听筒主体11上的左加速度传感器71，以及设置在右听筒主体12上的右加速度传感器72，以通过左加速度传感器71和右加速度传感器72获取人头的运动状态，如静坐或走路或跑步的状态。
在一个实施例中，还包括嵌设在处理器4表面且与处理器4连接的一个或多个按键；如用于控制扬声器对音频的播放开始、暂停、音量大小、接听来电等等的按键。在另一实施例中，按键还包括用于控制耳机上至少一个麦克风的开启及音量控制的按键。在又一个实施例中，按键还包括用于控制左、右MIPI摄像头22对图像的拍摄操作的按键。例如，短按特定按键，可以开始利用左、右MIPI摄像头22拍摄图像，再次短按该按键可以停止拍摄图像；长按该特定按键，可以开始利用左、右MIPI摄像头22开始拍摄视频并启动麦克风进行录音，再次长按该按键可以停止视频的拍摄。该按键控制模式的示例并非用于限制本发明，还可以设置其他多种多样的按键控制模式，例如，可以利用不同的按键控制不同的功能，也可以利用同一按键的不同按压方式来控制不同的功能。在本发明另一实施例中，部分按键也可以由滑轮或滑块代替。
在一个实施例中，所述两个听筒主体1上还分别设有两个定位装置；所述两个定位装置与所述MIPI驱动器3连接，并经由所述MIPI驱动器3将定位信息传送到所述处理器4。所述两个定位装置为嵌设在左听筒主体11上的左陀螺仪81和嵌设在右听筒主体12上的右陀螺仪82。所述定位信息为左陀螺仪81所在的姿态角和右陀螺仪82所在的姿态角度，以分别表征左MIPI摄像头21和右MIPI摄像头22所在的位置。请参阅图5，其为本发明人体佩戴耳机系统的位置坐标图。在一个实施例中，所述左右陀螺仪82信息为当前的左陀螺仪81的姿态角度GL和右陀螺仪82的姿态角度GR，其为一个三维向量，GL为(Lpitch,Lyaw,Lroll)，GR为(Rpitch,Ryaw,Rroll)，其中，定义左听筒主体11的中心和右听筒主体12的中心连线为X轴方向，竖直方向为Y轴方向，垂直于X轴和Y轴所在平面的方向为Z轴方向，用pitch、yaw、roll分别表示在这X轴、Y轴和Z轴三个方向的旋转角度。
在一个实施例中，还包括耳机线8；所述两个听筒主体1和两个MIPI摄像头2均通过所述耳机线9与所述MIPI驱动器3连接，且所述两个扬声器、两个麦克风、两个定位装置以及两个加速度传感器均通过所述耳机线9与所述处理器4连接。其中，所述耳机线9内集成了MIPI接口线路，串口线，音频线，数据线和电源线等线路，通过对耳机线9内的走线定义，实现两个听筒主体1、两个MIPI摄像头2、两个扬声器、两个麦克风、两个定位装置以及两个加速度传感器和处理器4的通讯。
在一个实施例中，所述处理器4还将两个MIPI摄像头2拍摄的图像和拼接为广角甚至为360度视觉的图像，从而获取广角甚至为全景图像，下面将具体阐述处理器4将两个MIPI摄像头2拍摄的图像拼接获得全景图像的方法。
所述处理器4将两个MIPI摄像头2拍摄的图像拼接获得全景图像的方法为：所述处理器4获取两个MIPI摄像头2拍摄的图像；剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；在初拼接的全景图中找寻拼接缝并生成掩码图像；将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。其中，所述两个MIPI摄像头2拍摄的图像为左MIPI摄像头21拍摄的左图像，以及右MIPI摄像头22拍摄的右图像。
在一个实施例中，在获取两个MIPI摄像头2拍摄的图像后，所述处理器4还获取两个定位装置传送的定位信息，并根据所述定位信息计算两个MIPI摄像头2的相对位置，且根据两个MIPI摄像头2相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将两个MIPI摄像头2拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，且将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域。其中，所述两个定位装置为嵌设在左听筒主体11上的左陀螺仪81和嵌设在右听筒主体12上的右陀螺仪82。所述定位信息为左陀螺仪81所在的姿态角和右陀螺仪82所在的姿态角度。所述两个MIPI摄像头2的相对位置的计算方式为：将左陀螺仪81所在的定位信息GL和右陀螺仪82所在的信息GR相减即为当前拍摄左右图像的左右MIPI摄像头22的相对位置D，具体为(Lpitch-Rpitch,Lyaw-Ryaw,Lroll-Rroll)。所述根据两个MIPI摄像头相对位置查询数据库是否存在其对应的拼接模板数据的方式为：将两个MIPI摄像头相对位置与数据库中存储的拼接模板数据进行比对，判断是否存在一项数据与两个摄像头相对位置相同，若相同，则存在对应的拼接模板数据；否则，不存在对应的拼接模板数据。所述拼接模板数据包括两个MIPI摄像头2的相对位置以及在所述相对位置上进行图像拼接时所需的拼接参数，所述拼接参数包括剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域时的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵以及掩码图像。
在一个实施例中，所述处理器4剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像时，包括：将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。
其中，从右到左的位置定义为面对左图像时，左耳所对的一侧为左边，右耳所对的一侧为右边。从左到右的位置定义为面对右图像时，左耳所对的一侧为左边，右耳所对的一侧为右边。
在一个实施例中，为提高拼接效率，在剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域后，所述处理器4还分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为有效的两个待拼接的图像。所述获取有效重叠区域为：根据左陀螺仪81和和右陀螺仪82的相对位置以及左MIPI摄像头21和右MIPI摄像头22的视场角，通过标定的视场角起始位置以及图像所在的重叠起始位置的经验值获取。具体的，请同时参阅图6和图7，图7为左MIPI摄像头21和右MIPI摄像头22拍摄的重叠区域的示意图；图7为左图像和右图像的示意图。在左MIPI摄像头21和右MIPI摄像头22的相对位置和视场角为120°确定的情况下，通过对预先标定的经验值，在这个相对角度下就可以获取左图像和右图像重叠的区域，那么对应在左图像和右图像就是图7的矩形框标定的区域。
在一个实施例中，可通过加速稳健特征(Speeded Up Robust Features，简称“SURF”)、算法快速特征点提取和描述(Oriented FAST and Rotated BRIEF，简称“ORB”)算法或者尺度不变特征转换(Scale-invariant feature transform，简称“SIFT”)算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。
为进一步减少误匹配，提高匹配的准确性，在一个实施例中，使用随机抽样一致算法(random sample consensus，简称RANSAC)算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点。
请参阅图8，其为一个实施例中左图像、右图像和拼接后的图像的示意图，其中图8的左上侧为左图像，右上侧为右图像，下侧为拼接后的图像，且左图像的右边白色区域为人右脸遮挡区域，右图像的坐标白色区域为人左脸遮挡区域。
在一个实施例中，通过求解透视投影矩阵，并将待拼接的左图像通过透视投影投射到待拼接的右图像，以统一有效的两个待拼接的图像的坐标系，具体包括如下步骤：
配对的左右图像可用n组特征点坐标对表示，具体(L1(x1,y1),R1(x1’,y1’)),(L2(x2,y2),R2(x2’,y2’)),……,(Ln(xn,yn),Rn(xn’,yn’))，(Li,Ri)为一组匹配对，Li和Ri均为一个二维坐标，Li包含的x,y为这个特征点在左图像的坐标位置，Ri包含的x,y为这个特征点在右图像上的坐标位置，通过解齐次线性方程可以计算出存在一个透视投影矩阵M，使得R＝M*L，其中其中，透视投影矩阵M的8个参数代表着旋转、尺寸、平移的量，也就是透视投影矩阵M乘上左图特征点的坐标(x,y)即可得到右图特征点的坐标(x’,y’)，因为透视投影矩阵中M中有8个未知数，所以一般来说8组特征对即可得到一组特定的解，不过一般来说特征点对会超过这个值，那么最后计算出来的M的各个参数是使得最小，其中Ri-M·Li为M乘上Li以后的向量坐标和原本的R做差得到一个向量，然后对这个差向量求模得到该向量的长度，也就是最后的M要使得所有的左图特征点转换后和所有对应的右图特征点的差达到最小值，也就是使得下面公式达到最小值：
因此，透视投影矩阵M乘上左图中每个点即可得到左图上每个点在最后以右图为标准的全景图中的位置，即实现了左右图像的坐标系的统一，此时即获得有缝的全景图。
在另外一个实施例中，也可通过求解透视投影矩阵，并将待拼接的右图像通过透视投影投射到待拼接的左图像，以统一有效的两个待拼接的图像的坐标系。
为获得较完整的图像，防止因视差比较大而影响拼接效果，在一个实施例中，通过最大流算法在初拼接的全景图中进行拼接缝查找再生成掩码图。
为方便快捷地对相对位置相同的两个MIPI摄像头2获取的左右图像进行拼接，在一个实施例中，还将两个MIPI摄像头2的相对位置、剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵、掩码图像绑定为拼接模板数据，保存至数据库中，进而在遇到相同的两个MIPI摄像头的相对位置，直接调取该拼接模板数据进行有缝拼接。
在一个实施例中，通过渐进渐出融合方法或者多频段融合方法将掩码图和初拼接的全景图进行融合。
在一个实施例中，所述处理器可以为影像SOC芯片、AI芯片、GPU、或FPGA等处理器。
在一个实施例中，还包括USB通讯装置10和后端处理平台20。所述处理器4通过所述USB通讯装置10与所述后端处理平台20连接，所述处理器4还将获取的两个MIPI摄像头2拍摄的图像以及两个陀螺仪传送的定位信息传送到所述后端处理平台20，由后端处理平台20实现上述对两个MIPI摄像头2拍摄的图像进行拼接，进而获得全景图，通过处理器结合后端处理平台对拍摄的图像进行处理，提高处理效率。所述后端处理平台20可以为手机、平板电脑、笔记本电脑、台式电脑等。
在一个实施例中，所述处理器4获取MIPI摄像头拍摄的图像后，还判断当前处理速度和内存占用大小是否小于预设阈值；若小于设定阈值，则将MIPI摄像头拍摄的图像传送到所述后端处理平台10，由后端处理平台10对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像；若非小于设定阈值，则所述处理器4对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像。
相比于现有技术，本发明通过采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。
进一步地，剔除两个MIPI摄像头拍摄的图像中遮挡的区域，再将图像拼接形成全景图像，拼接成的全景图像完整且效果好，可获取超过人眼所看角度范围的全景图像视觉。而且以两个MIPI摄像头的相对位置为依据，在与数据库中存储的两个MIPI摄像头的相对位置相同时，无需重新确定拼接参数，直接调用拼接所需要的参数进行拼接，大大提高了拼接效率。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (22)

1.一种耳机，包括两个听筒主体，其特征在于，还包括两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。
2.根据权利要求1所述的耳机，其特征在于，
所述两个听筒主体上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器均与所述处理器连接；和/或，
所述两个听筒主体上还分别设置有两个麦克风；所述两个麦克风均与所述处理器连接。
3.根据权利要求2所述的耳机，其特征在于，还包括两个加速度传感器；所述两个加速度传感器均与所述处理器连接，且将获取的人体运动信息传送到所述处理器。
4.根据权利要求3所述的耳机，其特征在于，所述两个听筒主体内嵌设有两个定位装置；所述两个定位装置与所述处理器连接，并将定位信息传送到所述处理器。
5.根据权利要求4所述的耳机，其特征在于，还包括耳机线；所述两个MIPI摄像头均经由所述耳机线和MIPI驱动器与所述处理器连接，所述两个扬声器、和/或两个麦克风、和/或两个加速度传感器、和/或两个定位装置均经由所述耳机线与所述处理器连接。
6.根据权利要求1所述的耳机，其特征在于，还包括嵌设在处理器表面且与处理器连接的一个或多个按键；所述按键与所述处理器连接，且所述按键控制所述两个MIPI摄像头的拍摄操作。
7.一种耳机系统，其特征在于，包括权利要求1-6中任一权利要求所述的耳机，还包括后端处理平台和USB通讯装置；所述后端处理平台通过所述USB通讯装置与所述处理器连接，并获取所述处理器传送的两个MIPI摄像头拍摄的图像。
8.根据权利要求7所述的耳机系统，其特征在于，所述处理器或所述后端处理平台用于：
获取两个MIPI摄像头拍摄的图像；
剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；
提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；
根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；
在初拼接的全景图中找寻拼接缝并生成掩码图像；
将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。
9.根据权利要求8所述的耳机系统，其特征在于，所述两个听筒主体为设置在佩戴者左耳一侧的左听筒主体，以及设置在佩戴者右耳一侧的右听筒主体；所述两个MIPI摄像头为设置在左听筒主体且背对佩戴者左耳的一侧的左MIPI摄像头，以及设置在右听筒主体且背对佩戴者右耳的一侧的右MIPI摄像头；所述左MIPI摄像头与所述右MIPI摄像头为视场角为120-220度的广角摄像头；所述两个MIPI摄像头拍摄的图像为左MIPI摄像头拍摄的左图像，以及右MIPI摄像头拍摄的右图像。
10.根据权利要求8所述的耳机系统，其特征在于，所述处理器或后端处理平台用于剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像时，包括用于：
将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；
分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；
从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；
从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。
11.根据权利要求10所述的耳机系统，其特征在于，所述处理器或后端处理平台在剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像后，再分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为所述有效的两个待拼接的图像。
12.根据权利要求10所述的耳机系统，其特征在于，所述处理器或后端处理平台用于通过SURF算法、ORB算法或者SIFT算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。
13.根据权利要求12所述的耳机系统，其特征在于，在对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准之后，所述处理器或后端处理平台还用于通过RANSAC算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点。
14.根据权利要求10所述的耳机系统，其特征在于，所述处理器或后端处理平台用于根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图时，包括用于：
通过求解透视投影矩阵，并将待拼接的左图像通过透视投影投射到待拼接的右图像，以统一有效的两个待拼接的图像的坐标系；或者，
通过求解透视投影矩阵，并将待拼接的右图像通过透视投影投射到待拼接的左图像，以统一有效的两个待拼接的图像的坐标系。
15.根据权利要求8所述的耳机系统，其特征在于，所述处理器或后端处理平台用于通过最大流算法在初拼接的全景图中进行拼接缝查找再生成掩码图。
16.根据权利要求8所述的耳机系统，其特征在于，所述处理器或后端处理平台用于通过渐进渐出融合方法或者多频段融合方法将掩码图和初拼接的全景图进行融合。
17.根据权利要求16所述的耳机系统，其特征在于，所述处理器或后端处理平台在获取两个MIPI摄像头拍摄的图像后，还获取两个定位装置传送的定位信息，并根据所述定位信息计算两个MIPI摄像头的相对位置，且根据两个MIPI摄像头相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将两个MIPI摄像头拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域。
18.根据权利要求17所述的耳机系统，其特征在于，所述两个定位装置为嵌设在左听筒主体上的左陀螺仪和嵌设在右听筒主体上的右陀螺仪；所述定位信息为左陀螺仪所在的姿态角和右陀螺仪所在的姿态角度；通过将左陀螺仪所在的定位信息和右陀螺仪所在的信息相减，获得所述两个MIPI摄像头的相对位置；所述根据两个MIPI摄像头相对位置查询数据库是否存在其对应的拼接模板数据的方式为：将两个MIPI摄像头相对位置与数据库中存储的拼接模板数据进行比对，判断是否存在一项数据与两个MIPI摄像头的相对位置相同，若相同，则存在对应的拼接模板数据；否则，不存在对应的拼接模板数据。
19.根据权利要求18所述的耳机系统，其特征在于，所述拼接模板数据包括两个MIPI摄像头的相对位置以及在所述相对位置上进行图像拼接时所需的拼接参数，所述拼接参数包括剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域时的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵以及掩码图像。
20.根据权利要求19所述的耳机系统，其特征在于，在所述生成掩码图之后，所述处理器或后端处理平台还用于将两个MIPI摄像头的相对位置、剔除两个MIPI摄像头拍摄的图像中被人脸遮挡的区域的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵、以及掩码图像绑定为拼接模板数据，保存至数据库中。
21.根据权利要求19所述的耳机系统，其特征在于，所述处理器获取MIPI摄像头拍摄的图像后，还判断当前处理速度和内存占用大小是否小于预设阈值；若小于设定阈值，则将MIPI摄像头拍摄的图像传送到所述后端处理平台，由后端处理平台对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像；若非小于设定阈值，则所述处理器对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像。
22.根据权利要求6-21中任一项权利要求所述的耳机系统，其特征在于，所述后端处理平台为手机或电脑。
CN201810725554.6A 2018-07-04 2018-07-04 一种耳机及耳机系统 Active CN109068207B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810725554.6A CN109068207B (zh) 2018-07-04 2018-07-04 一种耳机及耳机系统
EP18204845.4A EP3591991A1 (en) 2018-07-04 2018-11-07 Earphone and earphone system
US16/186,985 US20200014830A1 (en) 2018-07-04 2018-11-12 Earphone and earphone system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810725554.6A CN109068207B (zh) 2018-07-04 2018-07-04 一种耳机及耳机系统

Publications (2)

Publication Number Publication Date
CN109068207A true CN109068207A (zh) 2018-12-21
CN109068207B CN109068207B (zh) 2023-05-09

Family

ID=64267582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810725554.6A Active CN109068207B (zh) 2018-07-04 2018-07-04 一种耳机及耳机系统

Country Status (3)

Country Link
US (1) US20200014830A1 (zh)
EP (1) EP3591991A1 (zh)
CN (1) CN109068207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230054158A (ko) * 2021-10-15 2023-04-24 삼성전자주식회사 오디오 레코딩을 위한 전자 장치 및 그 동작 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021576A1 (en) * 2007-07-18 2009-01-22 Samsung Electronics Co., Ltd. Panoramic image production
US20120235883A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20160123758A1 (en) * 2014-10-29 2016-05-05 At&T Intellectual Property I, L.P. Accessory device that provides sensor input to a media device
CN105763782A (zh) * 2016-04-27 2016-07-13 昆山丘钛微电子科技有限公司 双摄像头图像解码传输装置
CN105787876A (zh) * 2015-12-31 2016-07-20 上海颐本信息科技有限公司 一种基于surf特征跟踪匹配的全景视频自动拼接方法
CN105894451A (zh) * 2016-03-30 2016-08-24 沈阳泰科易科技有限公司 全景图像拼接方法和装置
US20160309134A1 (en) * 2015-04-19 2016-10-20 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
US20170064456A1 (en) * 2015-08-24 2017-03-02 Microsoft Technology Licensing, Llc Headphone and associated host apparatus supporting both digital and analog audio connectivity
CN106550192A (zh) * 2016-10-31 2017-03-29 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN106952311A (zh) * 2017-03-02 2017-07-14 山东省科学院自动化研究所 基于全景拼接数据映射表的辅助泊车系统及方法
CN206585725U (zh) * 2017-03-16 2017-10-24 李文杰 一种耳机
CN209057332U (zh) * 2018-07-04 2019-07-02 广州希脉创新科技有限公司 一种耳机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US10477168B2 (en) * 2017-01-27 2019-11-12 Otoy, Inc. Headphone based modular VR/AR platform with vapor display
CN106991645B (zh) * 2017-03-22 2018-09-28 腾讯科技（深圳）有限公司 图像拼接方法及装置
US10136208B2 (en) * 2017-04-05 2018-11-20 Danielle Julienne Barnave Headset with multimedia capabilities

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021576A1 (en) * 2007-07-18 2009-01-22 Samsung Electronics Co., Ltd. Panoramic image production
US20120235883A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20160123758A1 (en) * 2014-10-29 2016-05-05 At&T Intellectual Property I, L.P. Accessory device that provides sensor input to a media device
US20160309134A1 (en) * 2015-04-19 2016-10-20 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
US20170064456A1 (en) * 2015-08-24 2017-03-02 Microsoft Technology Licensing, Llc Headphone and associated host apparatus supporting both digital and analog audio connectivity
CN105787876A (zh) * 2015-12-31 2016-07-20 上海颐本信息科技有限公司 一种基于surf特征跟踪匹配的全景视频自动拼接方法
CN105894451A (zh) * 2016-03-30 2016-08-24 沈阳泰科易科技有限公司 全景图像拼接方法和装置
CN105763782A (zh) * 2016-04-27 2016-07-13 昆山丘钛微电子科技有限公司 双摄像头图像解码传输装置
CN106550192A (zh) * 2016-10-31 2017-03-29 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN106952311A (zh) * 2017-03-02 2017-07-14 山东省科学院自动化研究所 基于全景拼接数据映射表的辅助泊车系统及方法
CN206585725U (zh) * 2017-03-16 2017-10-24 李文杰 一种耳机
CN209057332U (zh) * 2018-07-04 2019-07-02 广州希脉创新科技有限公司 一种耳机

Also Published As

Publication number Publication date
CN109068207B (zh) 2023-05-09
US20200014830A1 (en) 2020-01-09
EP3591991A1 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
KR101986329B1 (ko) 범용의 구형 캡처 방법들
CN109064397A (zh) 一种基于摄像耳机的图像拼接方法及系统
CN104618705B (zh) 基于眼球追踪的不同距离自适应全息显示方法及设备
JP5891131B2 (ja) 画像生成装置および画像生成方法
CN109691141B (zh) 空间化音频系统以及渲染空间化音频的方法
CN104661012B (zh) 个人全息三维显示方法及设备
CN106302132A (zh) 一种基于增强现实的3d即时通讯系统与方法
CN108983982B (zh) Ar头显设备与终端设备组合系统
JP2021532403A (ja) 光学式捕捉によるパーソナライズされたｈｒｔｆ
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN108632695B (zh) 一种耳机
JP6771435B2 (ja) 情報処理装置および位置情報取得方法
CN209057332U (zh) 一种耳机
CN107249166A (zh) 一种完全沉浸式的耳机立体声实现方法及系统
CN206585725U (zh) 一种耳机
CN109068207A (zh) 一种耳机及耳机系统
WO2020189450A1 (ja) 複数のマーカを備えたデバイス
JP6487512B2 (ja) ヘッドマウントディスプレイおよび画像生成方法
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
JP2000132693A (ja) 画像処理装置および方法、並びに提供媒体
GB2571286A (en) Virtual reality
JP2022022871A (ja) 処理装置および没入度導出方法
JP2018157314A (ja) 情報処理システム、情報処理方法及びプログラム
JP2002027419A (ja) 画像端末装置及びそれを用いる通信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant