CN103069843A - Av系统 - Google Patents

Av系统 Download PDF

Info

Publication number
CN103069843A
CN103069843A CN2010800687536A CN201080068753A CN103069843A CN 103069843 A CN103069843 A CN 103069843A CN 2010800687536 A CN2010800687536 A CN 2010800687536A CN 201080068753 A CN201080068753 A CN 201080068753A CN 103069843 A CN103069843 A CN 103069843A
Authority
CN
China
Prior art keywords
seat
section
display
earphone
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800687536A
Other languages
English (en)
Other versions
CN103069843B (zh
Inventor
荒井兼秀
藤井康司
大井诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automotive Technology Group Co ltd
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN103069843A publication Critical patent/CN103069843A/zh
Application granted granted Critical
Publication of CN103069843B publication Critical patent/CN103069843B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

本发明提供一种AV系统,从由摄像机(2)拍摄到的座位侧的拍摄图像中,对设置在耳机(8)上的识别用标记(9)进行图像识别,计算识别用标记(9)在拍摄图像中的坐标位置,并基于识别用标记(9)的坐标位置来判定佩戴了音频输出装置的使用者就座于多个座位的哪一个座位上,并将与判定为使用者所就座的座位相对的显示画面中显示的视频数据所对应的音频数据发送给该使用者所佩戴的耳机(8)来进行音频输出。

Description

AV系统
技术领域
本发明涉及例如向后座乘客提供视频及音频这样的后座娱乐(RSE)的AV(视听)系统。
背景技术
在大型车辆或飞机等座位数较多的移动体的RSE系统中,有些会在每个后座上设置显示器来构成多个视频和音频的重放系列。例如,在设置在左右座位上的2个系列的RSE中,左右显示器对不同的视频和音频进行重放,左右的后座乘客能够通过佩戴与各重放系列相对应的耳机来收听与显示器的显示内容对应的音频信号。另外,在其结构中,需要对各重放系列所对应的耳机进行识别。通常,对重放左右通道中的哪一个通道进行设定的开关设置在耳机上,乘客通过对该开关进行手动操作来识别是与左右重放系列中的哪一个重放系列相对应的耳机。
另一方面,作为识别与各重放系列相对应的耳机而无需乘客进行手动操作的现有技术,专利文献1中揭示了如下系统:为无线耳机分配固有的ID,并对无线耳机设置该ID所对应的红外线通信单元,在系统一侧对从上述红外线通信单元发送来的ID进行核对,以此来识别重放系列所对应的耳机,从而对视频和音频进行重放。
此外,专利文献2中记载了如下系统:除接收音频信号的通信单元以外,还在耳机上设置具有方向性的专用通信单元,该专用通信单元根据方向性来在从多个显示器的方向接收到的多个识别信号中选择识别信号。
由此,在现有的系统中,需要设置用于对耳机进行识别的专用硬件结构即开关,因而具有无法对通用的耳机进行利用,并且乘客会经常产生手动操作的繁琐感的问题。
此外,在以专利文献1、2为代表的现有的系统中,还具有如下问题:即,虽然在系统侧对耳机进行自动识别,但需要在耳机上设置专用的通信单元,因而无法使用能对音频信号进行通信的通用无线耳机。
为解决上述课题,现提出本发明,其目的在于得到一种AV系统,该AV系统能在具有多个视频和音频的重放系列的AV系统中,能够对各重放系列所对应的设备进行自动识别,而不会削弱各重放系列中用于对视频和音频进行重放的设备的通用性。
现有技术文献
专利文献
专利文献1:日本专利特开2007-8289号公报
专利文献2:日本专利特开2006-287730号公报
发明内容
本发明所涉及的AV系统包括:多个显示装置,该多个显示装置的显示画面朝向相互靠近的多个座位;摄像机部,该摄像机部对显示画面朝向的座位侧进行拍摄;图像识别部,该图像识别部从摄像机部所拍摄到的拍摄图像中对设置在音频输出装置上的识别用标记进行图像识别,并对识别用标记在拍摄图像中的坐标位置进行计算;判定部,该判定部基于图像识别部计算出的识别用标记的坐标位置,来判定佩戴了音频输出装置的使用者就座于多个座位中的哪一个座位上;AV重放部,该AV重放部对视频数据及音频数据进行重放;以及音频通信部,该音频通信部将由AV重放部重放的音频数据中,与由判定部判定为使用者所就座的座位相对的显示画面中显示的视频数据所对应的音频数据发送给该使用者所佩戴的音频输出装置来进行音频输出。
根据本发明,从摄像机部拍摄到的座位侧的拍摄图像中,对设置在音频输出装置上的识别用标记进行图像识别,并计算识别用标记在拍摄图像中的坐标位置,并基于该识别用标记的坐标位置来判定佩戴了音频输出装置的使用者就座于多个座位中的哪一个座位上,并将与判定为使用者所就座的座位相对的显示画面中显示的视频数据所对应的音频数据发送给该使用者所佩戴的音频输出装置来进行音频输出。由此,无需使用专用设备来作为音频输出装置,因此具有不会削弱设备的通用性,并能自动识别与各重放系列相对应的设备的效果。
附图说明
图1是表示本发明实施方式1所涉及的AV系统的结构的框图。
图2是表示实施方式1的AV系统所涉及的动作流程的流程图。
图3是简要表示耳机的连接目标的判定处理的图。
图4是表示实施方式2中的设置了多个识别用标记的耳机的一个例子的图。
图5是表示坐在后座上的乘客朝向与其相对的显示器时的图。
图6是表示坐在后座上的乘客朝向与图5中脸朝向的显示器相邻的显示器时的图。
图7是表示本发明实施方式2所涉及的AV系统的结构的框图。
图8是表示实施方式2的AV系统所涉及的动作流程的流程图。
图9是表示本发明实施方式3所涉及的AV系统的结构的框图。
图10是表示坐在后座上的乘客朝向与其相对的显示器时的图。
图11是表示坐在后座上的乘客朝向与图10中脸朝向的显示器相邻的显示器时的图。
图12是表示实施方式4中的设置了识别用标记的耳机的一个例子的图。
图13是表示本发明实施方式4所涉及的AV系统的结构的框图。
图14是表示实施方式4的AV系统所涉及的动作流程的流程图。
图15是表示本发明实施方式5所涉及的AV系统的结构的框图。
图16是表示实施方式5的AV系统所涉及的动作流程的流程图。
图17是表示本发明实施方式6所涉及的AV系统的结构的框图。
图18是表示实施方式6的AV系统所涉及的动作流程的流程图。
图19是表示本发明实施方式7所涉及的AV系统的结构的框图。
图20是表示实施方式7的AV系统所涉及的动作流程的流程图。
图21是表示本发明实施方式8所涉及的AV系统的结构的框图。
图22是表示实施方式8的AV系统所涉及的动作流程的流程图。
具体实施方式
以下,为了更详细地对本发明进行说明,根据附图对用于实施本发明的实施方式进行说明。
实施方式1
图1是表示本发明实施方式1所涉及的AV系统的结构的框图,表示了将本发明应用到设置在车辆的左右座位上的显示器能分别对不同的视频和音频进行重放的构成两个重放系列的RSE系统中的情况。
另外,本发明可以是具有三个以上重放系列的AV系统,但为了简化说明,举出具有两个重放系列的情况作为例子。
此外,下面对将本发明应用到RSE系统中的情况进行说明,但本发明也能应用于向观众提供伴有音频的视频来作为收看内容并且提供多个系列的收看内容的AV系统中。这里所说的提供多个系列的收看内容是指通过设置各显示画面面向汽车或飞机等移动体内的多个座位的多个显示装置、以及就座在各座位上的用户所佩戴的音频输出装置,来提供各个收看内容。
如图1所示,在RSE系统1中,利用左座用显示器7a及右座用显示器7b来重放视频,并向与显示器7a、7b的某一个相对应的耳机8输出与显示器的显示内容相对应的音频。其结构具备摄像机2、图像识别部3、连接判定部4、音频通信部5及后座AV重放部6。
摄像机(摄像机部)2是对与左座用显示器7a及右座用显示器7b相对的左右后座进行拍摄的摄像机。摄像机2例如如后述的图3那样安装在左座用显示器7a和右座用显示器7b的中间位置,使得拍摄图像中左右后座的图像区域大小相等。
另外,在后述的图像识别中,左右后座的图像区域大小不一定要相等,因此,摄像机2也可以配置在能获得如下拍摄范围的位置,即,能在拍摄图像上分别区分左右后座的图像区域的拍摄范围。
此外,摄像机2的安装位置除了显示器7a、7b的中间位置以外,也可以考虑车辆的顶部等。
图像识别部3是对从摄像机2获取到的拍摄图像数据进行图像识别,并计算出设置在耳机8上的识别用标记在该拍摄图像中的坐标位置的组成部。例如,预先将识别用标记的图像图案登录到图像识别部3中,并对拍摄图像和该图像图案进行匹配,由此来计算识别用标记在拍摄图像中的坐标位置。另外,考虑到佩戴了耳机8的乘客换座位等动作,也可以从利用摄像机2进行实时拍摄的结果中计算识别用标记的坐标位置。
连接判定部(判定部)4是从由图像识别部3计算出的识别用标记的坐标位置,判定佩戴了耳机8的乘客就座于左右后座中的哪一个座位,即,判定是将显示器7a、7b中的哪一个显示器用的音频通道与耳机8相连接的组成部。例如,预先将由摄像机2定点拍摄的后座侧的拍摄图像划分成与左边后座相对应的图像区域和与右边后座相对应的图像区域,并根据识别用标记的坐标位置在哪一个图像区域来判定将哪一个显示器用的音频通道作为耳机8的连接目标。
由于从摄像机2的拍摄部来看,右侧的后座与左座用显示器7a相对,因此当识别用标记的坐标位置在上述右侧后座的图像区域中时,将耳机8连接至左座用显示器7a用的音频通道。
相反,由于从摄像机2的拍摄部来看,左侧的后座与右座用显示器7b相对,因此当识别用标记的坐标位置在上述左侧后座的图像区域中时,将耳机8连接至右座用显示器7b用的音频通道。
音频通信部5是建立耳机8和与连接判定部4的判定结果相对应的音频通道的连接,并利用无线通信将由后座AV重放部6所重放的音频信号发送给耳机8的组成部。作为无线通信,可以举出Blue Tooth(注册商标)等短距离无线通信。
后座AV重放部(AV重放部)6是对从未图示的存储装置(例如,CD、DVD、闪存)中读取的视频、音频或文字信息等内容数据进行重放的组成部,并在左座用显示器7a侧和右座用显示器7b侧具有独立的重放系列。即,后座AV重放部6能在与左座用显示器7a对应的重放系列和与右座用显示器7b对应的重放系列上重放互不相同的内容数据。
左座用显示器(显示装置)7a是从后座侧观察时设置在左侧前座的背面的显示器,右座用显示器(显示装置)7b是从后座侧观察时设置在右侧前座的背面的显示器。
耳机(音频输出装置)8是对利用无线通信从音频通信部5接收到的音频信号进行音频输出的耳机,可以使用具有与音频通信部5进行无线通信的功能的常用耳机。此外,本发明中,作为音频输出装置,不限于耳机,也可以是乘客的头上所佩戴的音频输出用的耳麦。
另外,耳机8的外表面上设置有后述的识别用标记。通过对该识别用标记的拍摄图像进行图像识别来识别RSE系统1中使用的耳机8,并且根据拍摄图像中的坐标位置来识别佩戴了该耳机8的乘客在收看显示器7a、7b中的哪一个显示器。
作为识别用标记,可以印刷在耳机8的外表面,也可以设置在进行识别处理时点亮的LED(Light Emitting Diode:发光二极管)。
接下来对动作进行说明。
图2是表示实施方式1的AV系统的动作流程的流程图,表示了判定是将哪一个显示器用的音频通道作为耳机8的连接目标的处理细节。此外,图3是简要表示耳机的连接目标的判定处理的图,图3(a)表示佩戴了耳机8的乘客坐在与左座用显示器7a相对的后座上的情况,图3(b)表示佩戴了耳机8的乘客坐在与右座用显示器7b相对的后座上的情况。下面参照该图3,并按照图2的流程对处理的细节进行说明。
当佩戴了耳机8的乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使用未图示的输入装置指示RSE系统1对内容数据进行重放时,摄像机2对后座侧进行拍摄,并向图像识别部3输出拍摄图像数据。图像识别部3对从摄像机2输入的拍摄图像数据进行图像识别,并计算出设置在耳机8上的识别用标记9在该拍摄图像中的坐标位置,将结果输出到连接判定部4。
连接判定部4判定从图像识别部3输入的识别用标记9的坐标位置在从摄像机2来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧的后座相对应的图像区域中,还是在与右侧的后座相对应的图像区域中(步骤ST1)。
这里,当识别用标记9在与左侧的后座相对应的图像区域中时(步骤ST1:从摄像机2来看在左侧),如图3(b)所示,连接判定部4判断佩戴了耳机8的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是向音频通信部5作出指示,将耳机8连接至右座用显示器7b用的音频通道。音频通信部5根据来自连接判定部4的指示,将右座用显示器7b用的音频通道与耳机8相连接(步骤ST2-1)。由此,利用经由音频通信部5的无线通信,将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8。
另一方面,当识别用标记9在与右侧的后座相对应的图像区域中时(步骤ST1:从摄像机2来看在右侧),如图3(a)所示,连接判定部4判断佩戴了耳机8的乘客坐在与左座用显示器7a相对应的后座上,并想要收看由左座用显示器7a所重放的内容,于是向音频通信部5作出指示,将耳机8连接至左座用显示器7a用的音频通道。
音频通信部5根据来自连接判定部4的指示,将左座用显示器7a用的音频通道与耳机8相连接(步骤ST2-2)。由此,利用经由音频通信部5的无线通信,将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8。
如上所述,根据本实施方式1,从由摄像机2拍摄到的后座侧的拍摄图像中,对设置在耳机8上的识别用标记9进行图像识别来计算识别用标记9在拍摄图像中的坐标位置,并基于识别用标记9的坐标位置来判定佩戴了音频输出装置的乘客就座于多个后座中的哪一个座位上,并将与判定为乘客所就座的后座相对的显示画面中显示的视频数据所对应的音频数据发送给该乘客所佩戴的耳机8来进行音频输出。
由此,耳机8无需使用专用设备,因此不会削弱设备的通用性,并能自动识别与各重放系列相对应的设备。
特别是在耳机8中,不需要选择音频通道的手动开关操作,因此能简化耳机8的HW(hardware)结构。
另外,上述实施方式1中表示了在耳机8上设置识别用标记9来识别音频通道的连接目标的结构,但本发明不仅能应用于耳机,也能应用于收看内容所使用的其它设备。
例如,适用于3D视频用眼镜(立体视频用眼镜)。在近年来的3D视频用眼镜中,一种从重放系列侧接收修正信号,并根据该修正信号来改变光的折射或遮光、透过状况的3D视频用眼镜正得到普及。通过在3D视频用眼镜中进行这种调整,能够改善通过该眼镜所看到的显示器的视频的形态。
为此,在该3D视频用眼镜中设置识别用标记,RSE系统1自动判定佩戴着3D视频用眼镜的乘客是在观看左右显示器中的哪一个显示器。
在这种情况下,图像识别部3对摄像机2的拍摄图像的图像进行识别,并计算设置在3D视频用眼镜上的识别用标记9的坐标位置,连接判定部4自动判定该乘客在观看左右显示器中的哪一个显示器。音频通信部5接受该判定结果并向3D视频用眼镜发送与该乘客所观看的显示器相对应的修正信号。3D视频用眼镜基于该修正信号来改变自身的光的折射、遮光、透过状况,从而优化由该显示器重放的3D视频的形态。
实施方式2
实施方式2中,在耳机上设置多个识别用标记来判别佩戴了耳机的乘客的脸的朝向(乘客所收看的显示器的方向),并将耳机连接到判别结果所对应的显示器用的音频通道。
图4是表示设置了多个识别用标记的耳机的一个例子的图。在图4的例子中,在耳机8的两个扬声器部分的、与佩戴了该耳机8的乘客的脸的方向垂直的平面上的位置,安装了多个(图4中为两个)识别用标记9。
图5是表示坐在后座上的乘客朝向与之相对的显示器时的图,图6是表示坐在后座上的乘客朝向与图5中面向的显示器相邻的显示器时的图。
本实施方式2与上述实施方式1同样地在左座用显示器7a和右座用显示器7b的中间位置安装摄像机2,并对后座侧进行拍摄。该拍摄图像相当于将位于后座侧的三维被拍摄体投影到与将摄像机2的拍摄部和两个识别用标记9之间的线段A的中点a连接起来的光线D垂直的二维平面(拍摄面)C上的图像,如图5及图6所示。
因此,若在与佩戴了耳机8的乘客的脸的方向B垂直的平面A上的位置分别将两个识别用标记9安装到耳机8的两个扬声器部分,则摄像机2的拍摄图像中两个识别用标记9的间隔会根据乘客的脸方向B而变化。例如,在拍摄图像中,若乘客的脸朝向与乘客所就座的后座相对的右座用显示器7b,则如图5所示,两个识别用标记9的间隔变小,若乘客的脸朝向左座用显示器7a,则如图6所示,两个识别用标记9的间隔变大。
实施方式2中,利用上述原理,不仅对耳机8的位置进行检测,也对佩戴该耳机8的乘客的脸的方向B,即,该乘客在收看哪一个显示器进行检测。
图7是表示本发明实施方式2所涉及的AV系统的结构的框图。在图7的RSE系统1A中,图像识别部3a对设置在耳机8上的两个识别用标记9的拍摄图像进行图像识别,并计算该拍摄图像中识别用标记9的间隔,连接判定部(判定部)4a基于由图像识别部3a计算出的识别用标记9的间隔,来判定将耳机8连接到显示器7a、7b中的哪一个显示器用的音频通道。其它组成部与图1相同。
接下来对动作进行说明。
图8是表示实施方式2的AV系统的动作流程的流程图,表示了判定将哪一个显示器用的音频通道作为耳机8的连接目标的处理细节。此外,参照图5及图6,并按照图8的流程对处理的细节进行说明。
当佩戴了耳机8的乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使用未图示的输入装置指示RSE系统1A对内容数据进行重放时,摄像机2对后座侧进行拍摄,并向图像识别部3a输出拍摄图像数据。图像识别部3a对从摄像机2输入的拍摄图像数据进行图像识别,计算设置在耳机8上的两个识别用标记9在该拍摄图像中的坐标位置,并以该坐标位置为基础,计算将两个识别用标记9连接起来的线段A的中点a在拍摄图像中的坐标位置和两个识别用标记9的间隔,并将结果输出到连接判定部4a。
连接判定部4a判定将图像识别部3a输入的识别用标记9连接起来的线段A的中点a的坐标位置在从摄像机2看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST1a)。
这里,当线段A的中点a在与左侧后座相对应的图像区域中时(步骤ST1a:从摄像机2来看在左侧),连接判定部4a判断佩戴了耳机8的乘客如图5及图6所示,坐在与右座用显示器7b相对的后座上,并将拍摄图像中两个识别用标记9的间隔与预先设定的一定值进行比较(步骤ST2a)。
对于上述一定值,例如,预先通过实验求得当乘客的脸朝向与乘客所就座的后座相对的显示器的方向时该乘客所佩戴的耳机8的两个识别用标记9的间隔的值,和当乘客的脸朝向与该显示器相邻的显示器的方向时两个识别用标记9的间隔的值。该相当于阈值的值可以是两个识别用标记9的间隔所能取到的规定范围内的值。
此外,对于拍摄图像中两个识别用标记9的间隔与预先设定的一定值的比较,考虑到乘客判断将收看由哪一个显示器重放的内容所需要的时间,当该间隔小于上述一定值的状态或在一定值以上的状态持续了规定的时间时,判断乘客的脸朝向显示器7a、7b中的哪一个。
若拍摄图像中两个识别用标记9的间隔小于一定值,则连接判定部4a判断坐在后座上的乘客的脸的方向B朝向右座用显示器7b并想要收看由右座用显示器7b重放的内容,如图5所示,于是向音频通信部5发出指示,将耳机8连接到右座用显示器7b用的音频通道。音频通信部5根据来自连接判定部4a的指示,将右座用显示器7b用的音频通道与耳机8相连接(步骤ST2a-1)。由此,利用经由音频通信部5的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8。
此外,若拍摄图像中两个识别用标记9的间隔在一定值以上,则连接判定部4a判断坐在后座上的乘客的脸的方向B朝向左座用显示器7a并想要收看由左座用显示器7a重放的内容,如图6所示,于是向音频通信部5发出指示,将耳机8连接到左座用显示器7a用的音频通道。音频通信部5根据来自连接判定部4a的指示,将左座用显示器7a用的音频通道与耳机8相连接(步骤ST2a-2)。由此,利用经由音频通信部5的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8。
另一方面,当线段A的中点a在与右侧后座相对应的图像区域中时(步骤ST1a:从摄像机2来看在右侧),连接判定部4a判断佩戴了耳机8的乘客坐在与左座用显示器7a相对的后座上,并将拍摄图像中两个识别用标记9的间隔与预先设定的一定值进行比较(步骤ST3a)。
若拍摄图像中两个识别用标记9的间隔小于一定值,则连接判定部4a与上述同样地,判断乘客想要收看由左座用显示器7a重放的内容,于是向音频通信部5发出指示,将耳机8连接到左座用显示器7a用的音频通道。音频通信部5根据来自连接判定部4a的指示,将左座用显示器7a用的音频通道与耳机8相连接(步骤ST3a-1)。由此,利用经由音频通信部5的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8。
此外,若拍摄图像中两个识别用标记9的间隔在一定值以上,则连接判定部4a判断坐在后座上的乘客想要收看由右座用显示器7b重放的内容,于是向音频通信部5发出指示,将耳机8连接到右座用显示器7b用的音频通道。音频通信部5根据来自连接判定部4a的指示,将右座用显示器7b用的音频通道与耳机8相连接(步骤ST3a-2)。由此,利用经由音频通信部5的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8。
在RSE系统1A提供RSE期间,也可以始终进行摄像机2对后座侧的拍摄、图像识别部3a的图像识别、以及连接判定部4a的连接判定。在这种情况下,例如,即使是最初判断为乘客的脸朝向左座用显示器7a的情况,但若在这之后识别用标记9的间隔和一定值的大小比较结果发生了反转的状态持续规定时间,则判断乘客的脸这次朝向右座用显示器7b,并切换音频通道。
如上所述,根据本实施方式2,在耳机8上与乘客的脸的方向垂直的平面上的位置设置多个识别用标记9,图像识别部3a从摄像机2所拍摄到的拍摄图像中对设置在耳机8上的多个识别用标记9进行图像识别,并计算多个识别用标记9在拍摄图像中的坐标位置及多个识别用标记9之间的间隔;连接判定部4a基于由图像识别部3a计算出的识别用标记9的坐标位置来判定佩戴耳机8的乘客就座于多个后座中的哪一个座位上,并且基于多个识别用标记9之间的间隔与规定阈值的比较结果来判定就座于所判定的后座上的乘客的脸朝向显示器7a、7b中的哪一个显示器的显示画面,音频通信部5将由后座AV重放部6所重放的音频数据中由连接判定部4a判定乘客的脸所朝向的显示画面中显示的视频数据所对应的音频数据,发送给该乘客所佩戴的耳机8来进行音频输出。由此,能够判定乘客在收看左右显示器7a、7b中的哪一个显示器,并且也包含从左座侧收看右座用显示器7b或从右座侧收看左座用显示器7a的情况。
另外,上述实施方式2中表示了在一个耳机8上设置两个识别用标记9的情况,但也可以对一个耳机8设置三个以上识别用标记9。对于在一个耳机8上设置三个以上识别用标记9的情况,能够以更高的精度来判定乘客的脸部朝向。
实施方式3
实施方式3与上述实施方式2同样地在耳机上设置多个识别用标记,并且设置多个对后座进行拍摄的摄像机,使用各个摄像机所拍摄到的图像中识别用标记的识别结果来判别佩戴了耳机的乘客的脸部朝向(乘客所收看的显示器的方向),并将耳机连接到判别结果所对应的显示器用的音频通道。
图9是表示本发明实施方式3所涉及的AV系统的结构的框图。图9中的RSE系统1B与上述实施方式1、2同样地利用左座用显示器7a及右座用显示器7b来重放视频,并向与显示器7a、7b的某一个相对应的耳机8输出与显示器的显示内容相对应的音频。此外,如上述实施方式2中使用图4所说明的那样,在耳机8上,在与佩戴了耳机8的乘客的脸的方向垂直的平面上的耳机8的两个扬声器部分安装了两个识别用标记9。
RSE系统1B包括安装在左座用显示器7a侧的摄像机2a、安装在右座用显示器7b侧的摄像机2b、图像识别部3A、3B、连接判定部(判定部)4B、音频通信部5及后座AV重放部6。图像识别部3A对摄像机2a的拍摄图像进行图像识别,图像识别部3B对摄像机2b的拍摄图像进行图像识别。此外,连接判定部4B利用图像识别部3A、3B的识别结果来判定将哪一个音频通道作为耳机8的连接目标。
图10是表示坐在后座上的乘客朝向与之相对的显示器时的图,图11是表示坐在后座上的乘客朝向与图10中面向的显示器相邻的显示器时的图。在图10及图11所示的例子中,从后座侧来看,摄像机2a配置在相对应的左座用显示器7a的上部的左端,摄像机2b配置在相对应的右座用显示器7b的上部的右端。另外,可以利用与摄像机构成为一体的显示器来作为显示器7a、7b。在这种情况下,能够简化RSE系统1B的布线结构。
摄像机2a、2b的各拍摄图像相当于将位于后座侧的三维被拍摄体投影到与将摄像机2a的拍摄部和两个识别用标记9之间的线段A的中点a连接起来的光线D1垂直的二维平面(拍摄面)C1上的图像,和投影到与将摄像机2b的拍摄部和两个识别用标记9之间的线段A的中点a连接起来的光线D2垂直的二维平面(拍摄面)C2上的图像,如图10及图11所示。
因此,若在与佩戴了耳机8的乘客的脸的方向B垂直的平面A上的位置分别将两个识别用标记9安装到耳机8的两个扬声器部分,则摄像机2a、2b的拍摄图像中两个识别用标记9的间隔A1、A2会根据乘客的脸的方向B而变化。
例如,对于图10及图11中的摄像机2a的配置位置,在其拍摄图像中,在乘客的脸朝向与乘客所坐的后座相对的左座用显示器7a的情况、和乘客的脸朝向右座用显示器7b的情况下,如图10及图11所示,后者的间隔A1小于前者的间隔A1。
此外,对于摄像机2b的配置位置,在其拍摄图像中,在乘客的脸朝向与乘客所坐的后座相对的左座用显示器7a的情况、和乘客的脸朝向右座用显示器7b的情况下,如图10及图11所示,后者的间隔A2大于前者的间隔A2。
实施方式3中,利用上述原理,不仅对耳机8的位置进行检测,也对佩戴该耳机8的乘客的脸的方向B,即,该乘客在收看哪一个显示器进行检测。
接下来对动作进行说明。
参照图10及图11对判定将哪一个显示器用的音频通道作为耳机8的连接目标的处理细节进行说明。
当佩戴了耳机8的乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使用未图示的输入装置指示RSE系统1B对内容数据进行重放时,摄像机2a、2b对后座侧进行拍摄,并分别向图像识别部3A、3B输出拍摄图像数据。
图像识别部3A对从摄像机2a输入的拍摄图像数据进行图像识别,计算设置在耳机8上的两个识别用标记9在该拍摄图像中的坐标位置,并以该坐标位置为基础,计算连接拍摄图像中的两个识别用标记9的线段A的中点a的坐标位置和两个识别用标记9的间隔A1,并将结果输出到连接判定部4B。
图像识别部3B也同样对从摄像机2b输入的拍摄图像数据进行图像识别,计算设置在耳机8上的两个识别用标记9在该拍摄图像中的坐标位置,并以该坐标位置为基础,计算连接拍摄图像中的两个识别用标记9的线段A的中点a的坐标位置、和两个识别用标记9的间隔A2,并将结果输出到连接判定部4B。
连接判定部4B判定从图像识别部3A输入的连接识别用标记9的线段A的中点a的坐标位置在从摄像机2a来看时,是在摄像机2a定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中。
同样地,连接判定部4B判定从图像识别部3B输入的连接识别用标记9的线段A的中点a的坐标位置在从摄像机2b来看时,是在摄像机2b定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中。
这里,若连接判定部4B通过使用了图像识别部3A的图像识别结果进行的判定和使用了图像识别部3B的图像识别结果进行的判定,没有得到相同的判定结果,则再次利用后座侧的拍摄结果来重复上述处理。
当上述双方的判定结果是线段A的中点a在左侧后座所对应的图像区域中时,连接判定部4B判断佩戴了耳机8的乘客坐在与右座用显示器7b相对的后座上,并对图像识别部3A计算出的拍摄图像中两个识别用标记9的间隔A1和一定值Th1进行比较,且对图像识别部3B计算出的拍摄图像中两个识别用标记9的间隔A2和一定值Th2进行比较。
这里,对于拍摄图像中两个识别用标记9的间隔A1、A2与一定值Th1、Th2的比较,考虑到乘客判断将收看由哪一个显示器重放的内容所需要的时间,当相同的比较结果持续了规定的时间时,判断乘客的脸朝向显示器7a、7b中的某一个。
当连接判定部4B从间隔A1、A2的任何一个比较结果均能判断坐在后座上的乘客的脸的方向B朝向右座用显示器7b并想要收看由右座用显示器7b重放的内容时,向音频通信部5发出指示,将耳机8连接到右座用显示器7b用的音频通道。
音频通信部5根据来自连接判定部4B的指示,将右座用显示器7b用的音频通道与耳机8相连接。由此,利用经由音频通信部5的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8。
此外,对于从间隔A1、A2的比较结果能够判断坐在后座上的乘客的脸的方向B朝向左座用显示器7a并想要收看由左座用显示器7a重放的内容的情况,同样地,连接判定部4B向音频通信部5发出指示,将耳机8连接到左座用显示器7a用的音频通道,由此利用经由音频通信部5的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8。
而且,对于线段A的中点a在右侧后座所对应的图像区域中的情况也是同样的。
另外,上述内容中说明了当从间隔A1、A2的任何一个比较结果均能判断坐在后座上的乘客的脸的方向B朝向右座用显示器7b并想要收看由右座用显示器7b重放的内容时,决定音频通道的连接目标的情况,但也可以优先考虑乘客所就座的后座侧的结果来进行音频通道的连接目标的判定。例如,对于图10及图11的情况,利用安装在与乘客所就座的后座相对的左座用显示器7a上的摄像机2a的拍摄图像来得到间隔A1,并优先由该间隔A1的比较结果所作出的判断。
如上所述,根据本实施方式3,设置多个摄像机2a、2b,连接判定部4B以由摄像机2a、2b分别拍摄的拍摄图像为基础,并基于图像识别部3A、3B计算出的多个识别用标记9的坐标位置来判定佩戴耳机8的乘客就座于多个后座中的哪一个座位上,并且基于由摄像机2a、2b分别拍摄的各拍摄图像中多个识别用标记9之间的间隔与规定阈值的各个比较结果来判定乘客的脸朝向显示器7a、7b中的哪一个显示器的显示画面。由此,无论是耳机8的位置还是乘客的收看方向,都能提高其检测精度。
此外,根据上述实施方式3,由于分别对显示器7a、7b设置摄像机2a、2b,因此能简化系统的HW布线结构。另外,若将显示器和摄像机设为一体,则可获得能进一步简化系统的HW布线结构的优点。
实施方式4
实施方式4中描述了在两个耳机上设置互不相同的识别用标记,并根据这些识别用标记的坐标位置来判定佩戴了各耳机的乘客就座于左右后座中的哪一个座位上,以及将左右显示器中的哪一个显示器用的音频通道与耳机相连接的结构。
图12是表示设置了互不相同的识别用标记的两个耳机的一个例子的图。图12中,在一个耳机8上安装了识别用标记9a,在另一个耳机8上安装了识别用标记9b。实施方式4中,对两个耳机8分别进行颜色或形状互不相同的印刷来得到识别用标记9a、9b。另外,识别用标记9a、9b不限于印刷在耳机8上的标记,也可以如后述的实施方式5及实施方式6那样利用LED。
图13是表示本发明实施方式4所涉及的AV系统的结构的框图,表示了将本发明应用到能利用设置在车辆左右座位上的显示器来分别对不同的视频和音频进行重放的构成两个重放系列的RSE系统中的情况。
如图13所示,在RSE系统1C中,利用左座用显示器7a及右座用显示器7b来重放视频,并向与显示器7a、7b的某一个相对应的耳机(音频输出装置)8a、8b输出与显示器的显示内容相对应的音频。其结构具备摄像机2、图像识别部3b、连接判定部(判定部)4b、音频通信部5b及后座AV重放部6。
图像识别部3b是对从摄像机2获取到的拍摄图像数据进行图像识别,并对分别设置在耳机8a、8b上的识别用标记9a、9b在该拍摄图像中的坐标位置进行计算的组成部。例如,预先将各识别用标记9a、9b的图像图案分别登录到图像识别部3b中,并对拍摄图像和该图像图案进行匹配,由此来计算拍摄图像中识别用标记9a、9b的坐标位置。另外,考虑到佩戴了耳机的乘客换座位等动作,也可以从利用摄像机2进行实时拍摄的结果中计算识别用标记的坐标位置。
连接判定部4b是从图像识别部3b计算出的识别用标记9a的坐标位置,来判定佩戴耳机8a的乘客就座于左右后座中的哪一个座位上,即,将显示器7a、7b中的哪一个显示器用的音频通道与耳机8a相连接,并且从图像识别部3b计算出的识别用标记9b的坐标位置,判定佩戴了具有识别用标记9b的耳机8b的乘客要将显示器7a、7b中的哪一个显示器用的音频通道与耳机8b相连接的组成部。
音频通信部5b是登录了耳机8a所固有的ID信息(ID=1)和耳机8b所固有的ID信息(ID=2)来作为用于对成为无线通信的连接对象的耳机进行确定的ID信息,分别建立利用ID信息所确定的耳机8a、8b与连接判定部4b的判定结果所对应的音频通道之间的连接,并利用无线通信将由后座AV重放部6所重放的音频信号发送给耳机8a、8b的组成部。其它组成部2、6、7a、7b与在上述实施方式1中使用图1所说明的结构相同。
接下来对动作进行说明。
图14是表示实施方式4的AV系统的动作流程的流程图,表示了判定将哪一个显示器用的音频通道作为耳机8a、8b的连接目标的处理细节。下面按照图14对处理的细节进行说明。
当佩戴了耳机8a的乘客及佩戴了耳机8b的乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使用未图示的输入装置指示RSE系统1C对内容数据进行重放时,摄像机2对后座侧进行拍摄,并向图像识别部3b输出拍摄图像数据。
图像识别部3b对从摄像机2输入的拍摄图像数据进行图像识别,并对设置在耳机8a上的识别用标记9a在该拍摄图像中的坐标位置进行计算,将计算结果输出到连接判定部4b。连接判定部4b判定从图像识别部3b输入的识别用标记9a的坐标位置在从摄像机2来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST1b)。
这里,当识别用标记9a在与左侧后座相对应的图像区域中时(步骤ST1b:从摄像机2来看在左侧),连接判定部4b判断佩戴了耳机8a的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是指示音频通信部5b将耳机8a连接至右座用显示器7b用的音频通道。
对于音频通信部5b,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4b的指示,将右座用显示器7b用的音频通道与耳机8a相连接(步骤ST2b-1)。由此,利用经由音频通信部5b的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8a。
另一方面,当识别用标记9a在与右侧后座相对应的图像区域中时(步骤ST1b:从摄像机2来看在右侧),连接判定部4b判断佩戴了耳机8a的乘客坐在与左座用显示器7a相对的后座上,并想要收看由左座用显示器7a所重放的内容,于是指示音频通信部5b将耳机8a连接至左座用显示器7a用的音频通道。
对于音频通信部5b,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4b的指示,将左座用显示器7a用的音频通道与耳机8a相连接(步骤ST2b-2)。由此,利用经由音频通信部5b的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8a。
接着,图像识别部3b对从摄像机2输入的拍摄图像数据进行图像识别,并对设置在耳机8b上的识别用标记9b在该拍摄图像中的坐标位置进行计算,将计算结果输出到连接判定部4b。连接判定部4b判定从图像识别部3b输入的识别用标记9b的坐标位置在从摄像机2来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST3b)。
这里,当识别用标记9b在与左侧后座相对应的图像区域中时(步骤ST3b:从摄像机2来看在左侧),连接判定部4b判断佩戴了耳机8b的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是指示音频通信部5b将耳机8b连接至右座用显示器7b用的音频通道。
对于音频通信部5b,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4b的指示,将右座用显示器7b用的音频通道与耳机8b相连接(步骤ST4b-1)。由此,利用经由音频通信部5b的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8b。
另一方面,当识别用标记9b在与右侧后座相对应的图像区域中时(步骤ST3b:从摄像机2来看在右侧),连接判定部4b判断佩戴了耳机8b的乘客坐在与左座用显示器7a相对的后座上,并想要收看由左座用显示器7a所重放的内容,于是指示音频通信部5b将耳机8b连接至左座用显示器7a用的音频通道。
对于音频通信部5b,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4b的指示,将左座用显示器7a用的音频通道与耳机8b相连接(步骤ST4b-2)。由此,利用经由音频通信部5b的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8b。
如上所述,根据本实施方式4,分别在耳机8a、8b中设置互不相同的识别用标记9a、9b,图像识别部3b从由摄像机2所拍摄的拍摄图像中对识别用标记9a、9b进行图像识别,并分别计算互不相同的识别用标记9a、9b在拍摄图像中的坐标位置,连接判定部4b基于由图像识别部3b计算出的识别用标记9a、9b的坐标位置来判定分别佩戴了耳机8a、8b的多个乘客分别就座于多个后座中的哪个座位上,音频通信部5b将由后座AV重放部6所重放的音频数据中分别与由连接判定部4b判定为多个乘客分别就座的多个后座相对的显示画面中显示的视频数据所对应的音频数据分别发送给耳机8a、8b来进行音频输出。由此,佩戴2个耳机8a、8b的乘客能够同时使用左右的重放系列。
实施方式5
实施方式5利用LED来构成识别用标记,并通过对于每个耳机改变LED的闪烁频率来实现上述实施方式4中的各识别用标记。
图15是表示本发明实施方式5所涉及的AV系统的结构的框图,表示了将本发明应用到能利用设置在车辆左右座位上的显示器来分别对不同的视频和音频进行重放的构成两个重放系列的RSE系统中的情况。
如图15所示,在RSE系统1D中,利用左座用显示器7a及右座用显示器7b来重放视频,并向与显示器7a、7b的某一个相对应的耳机8a、8b输出与显示器的显示内容相对应的音频。其结构具备摄像机2、图像识别部3c、连接判定部4c、音频通信部5c及后座AV重放部6。
图像识别部3c是对从摄像机2获取到的拍摄图像数据进行图像识别,并对分别设置在耳机8a、8b上的识别用标记9a、9b在该拍摄图像中的坐标位置进行计算的组成部。例如,预先将成为识别用标记9a、9b的LED的闪烁频率所对应的图像图案分别登录到图像识别部3c中,并对拍摄图像和该图像图案进行匹配,由此来计算识别用标记9a、9b在拍摄图像中的坐标位置。另外,考虑到佩戴了耳机的乘客换座位等动作,也可以从利用摄像机2进行实时拍摄的结果中计算识别用标记的坐标位置。
连接判定部(判定部)4c是从图像识别部3c计算出的识别用标记9a的坐标位置判定佩戴耳机8a的乘客就座于左右后座中的哪一个座位上,即,将显示器7a、7b中的哪一个显示器用的音频通道与耳机8a相连接,并且从图像识别部3c计算出的识别用标记9b的坐标位置判定佩戴了具有识别用标记9b的耳机8b的乘客要将显示器7a、7b中的哪一个显示器用的音频通道与耳机8b相连接的组成部。
音频通信部5c是登录了耳机8a所固有的ID信息(ID=1)和耳机8b所固有的ID信息(ID=2)来作为用于对成为无线通信的连接对象的耳机进行确定的ID信息,分别建立利用ID信息所确定的耳机8a、8b与连接判定部4c的判定结果所对应的音频通道之间的连接,并利用无线通信将由后座AV重放部6所重放的音频信号发送给耳机8a、8b的组成部。
LED闪烁部10a、10b是分别设置在耳机8a、8b上,以互不相同的闪烁频率使相当于识别用标记9a、9b的LED闪烁的组成部。在图15的例子中,LED闪烁部10a使构成识别用标记9a的LED以10Hz进行闪烁,LED闪烁部10b使构成识别用标记9b的LED以50Hz进行闪烁。其它组成部2、6、7a、7b与在上述实施方式1中使用图1所说明的结构相同。
接下来对动作进行说明。
图16是表示实施方式5的AV系统的动作流程的流程图,表示了判定将哪一个显示器用的音频通道作为耳机8a、8b的连接目标的处理细节。下面按照图16对处理的细节进行说明。
佩戴了耳机8a的乘客及佩戴了耳机8b的乘客首先进行点亮指示操作(例如,开关操作),由此,LED闪烁部10a、10b使分别设置在耳机8a、8b上的LED分别以10Hz的闪烁频率及50Hz的闪烁频率进行闪烁。
接着,当上述两位乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使用未图示的输入装置指示RSE系统1D对内容数据进行重放时,摄像机2对后座侧进行拍摄,并向图像识别部3c输出拍摄图像数据。
图像识别部3c对从摄像机2输入的拍摄图像数据进行图像识别,并对构成设置在耳机8a上的识别用标记9a并以10Hz进行闪烁的LED在该拍摄图像中的坐标位置进行计算,将计算结果输出到连接判定部4c(步骤ST1c)。
连接判定部4c判定从图像识别部3c输入的以10Hz进行闪烁的LED(识别用标记9a)的坐标位置在从摄像机2来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST2c)。
这里,当以10Hz进行闪烁的LED在与左侧后座相对应的图像区域中时(步骤ST2c:从摄像机2来看在左侧),连接判定部4c判断佩戴了耳机8a的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是指示音频通信部5c将耳机8a连接至右座用显示器7b用的音频通道。
对于音频通信部5c,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4c的指示,将右座用显示器7b用的音频通道与耳机8a相连接(步骤ST3c-1)。由此,利用经由音频通信部5c的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8a。
另一方面,当以10Hz进行闪烁的LED在与右侧后座相对应的图像区域中时(步骤ST2c:从摄像机2来看在右侧),连接判定部4c判断佩戴了耳机8a的乘客坐在与左座用显示器7a相对的后座上,并想要收看由左座用显示器7a所重放的内容,于是指示音频通信部5b将耳机8a连接至左座用显示器7a用的音频通道。
对于音频通信部5c,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4c的指示,将左座用显示器7a用的音频通道与耳机8a相连接(步骤ST3c-2)。由此,利用经由音频通信部5c的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8a。
接着,图像识别部3c对从摄像机2输入的拍摄图像数据进行图像识别,并对构成设置在耳机8b上的识别用标记9b并以50Hz进行闪烁的LED在该拍摄图像中的坐标位置进行计算,将计算结果输出到连接判定部4c(步骤ST4c)。连接判定部4c判定从图像识别部3c输入的以50Hz进行闪烁的LED(识别用标记9b)的坐标位置在从摄像机5来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST5c)。
这里,当以50Hz进行闪烁的LED在与左侧后座相对应的图像区域中时(步骤ST5c:从摄像机2来看在左侧),连接判定部4c判断佩戴了耳机8b的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是指示音频通信部5c将耳机8b连接至右座用显示器7b用的音频通道。
对于音频通信部5c,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4c的指示,将右座用显示器7b用的音频通道与耳机8b相连接(步骤ST6c-1)。由此,利用经由音频通信部5c的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8b。
另一方面,当以50Hz进行闪烁的LED在与右侧后座相对应的图像区域中时(步骤ST5c:从摄像机2来看在右侧),连接判定部4c判断佩戴了耳机8b的乘客坐在与左座用显示器7a相对的后座上,并想要收看由左座用显示器7a所重放的内容,于是指示音频通信部5c将耳机8b连接至左座用显示器7a用的音频通道。
对于音频通信部5c,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4c的指示,将左座用显示器7a用的音频通道与耳机8b相连接(步骤ST6c-2)。由此,利用经由音频通信部5c的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8b。
如上所述,根据本实施方式5,包括分别设置在耳机8a、8b上的LED、和分别设置在耳机8a、8b上并使耳机8a、8b的LED元件以互不相同的频率进行闪烁的LED闪烁部10a、10b,图像识别部3c从摄像机2所拍摄的拍摄图像中,对通过LED闪烁部10a、10b进行闪烁并作为互不相同的识别用标记的LED进行图像识别,并分别对该互不相同的识别用标记在拍摄图像中的坐标位置进行计算。由此,佩戴2个耳机8a、8b的乘客也能同时使用左右的重放系列。
实施方式6
实施方式6利用LED来构成识别用标记,并通过对于每个耳机改变LED的点亮时序来实现上述实施方式4中的各识别用标记。
图17是表示本发明实施方式6所涉及的AV系统的结构的框图,表示了将本发明应用到能利用设置在车辆左右座位上的显示器来分别对不同的视频和音频进行重放的构成两个重放系列的RSE系统中的情况。
如图17所示,在RSE系统1E中,利用左座用显示器7a及右座用显示器7b来重放视频,并向与显示器7a、7b的某一个相对应的耳机8a、8b输出与显示器的显示内容相对应的音频。其结构具备摄像机2、图像识别部3c、连接判定部4c、音频通信部11及后座AV重放部6。
音频通信部11是与上述实施方式5的音频通信部同样地登录了耳机8a所固有的ID信息(ID=1)和耳机8b所固有的ID信息(ID=2)来作为用于对成为无线通信的连接对象的耳机进行确定的ID信息,分别建立利用ID信息所确定的耳机8a、8b与连接判定部4c的判定结果所对应的音频通道之间的连接,并利用无线通信将由后座AV重放部6所重放的音频信号发送给耳机8a、8b的组成部。
此外,对于音频通信部11,当利用RSE系统1E对视频和音频的内容进行重放时,以不同的时序发送用于使分别设置在耳机8a、8b上的LED点亮的LED点亮命令。
LED点亮部12a、12b是分别设置在耳机8a、8b上,并使相当于识别用标记9a、9b的LED点亮的组成部。实施方式6中,音频通信部11以互不相同的时序在LED点亮部12a和LED点亮部12b之间发送LED点亮命令,由此,LED点亮部12a、12b在接收到LED点亮命令的时刻点亮LED。由此,分别设置在耳机8a、8b上的LED起到互不相同的识别用标记9a、9b的作用。
另外,其它组成部2、6、7a、7b与在上述实施方式1中使用图1所说明的结构相同。
接下来对动作进行说明。
图18是表示实施方式6的AV系统的动作流程的流程图,表示了判定将哪一个显示器用的音频通道作为耳机8a、8b的连接目标的处理细节。下面按照图18对处理的细节进行说明。
佩戴了耳机8a及佩戴了耳机8b的乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使用未图示的输入装置指示RSE系统1E对内容数据进行重放。
据此,音频通信部11使用ID信息(ID=1)来确定耳机8a,并向耳机8a发送LED点亮命令(步骤ST1d)。
对于LED点亮部12a,若从音频通信部11接受LED点亮命令,则使设置在耳机8a上的LED点亮。此时,设置在耳机8b上的LED熄灭。之后,摄像机2对后座侧进行拍摄,并将拍摄图像数据输出到图像识别部3c。
图像识别部3c对从摄像机2输入的拍摄图像数据进行图像识别,并对构成设置在耳机8a上的识别用标记9a的点亮的LED在该拍摄图像中的坐标位置进行计算,将计算结果输出到连接判定部4c(步骤ST2d)。
连接判定部4c判定从图像识别部3c输入的点亮的LED(识别用标记9a)的坐标位置在从摄像机2来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST3d)。
这里,当点亮的LED在与左侧后座相对应的图像区域中时(步骤ST3d:从摄像机2来看在左侧),连接判定部4c判断佩戴了耳机8a的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是指示音频通信部11将耳机8a连接至右座用显示器7b用的音频通道。
对于音频通信部11,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4c的指示,将右座用显示器7b用的音频通道与耳机8a相连接(步骤ST4d-1)。由此,利用经由音频通信部11的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8a。
另一方面,当点亮的LED在与右侧后座相对应的图像区域中时(步骤ST3d:从摄像机2来看在右侧),连接判定部4c判断佩戴了耳机8a的乘客坐在与左座用显示器7a相对的后座上,并想要收看由左座用显示器7a所重放的内容,于是向音频通信部11指示将耳机8a连接至左座用显示器7a用的音频通道。
对于音频通信部11,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4c的指示,将左座用显示器7a用的音频通道与耳机8a相连接(步骤ST4d-2)。由此,利用经由音频通信部11的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8a。
之后,音频通信部11向耳机8a发送LED熄灭命令(步骤ST5d)。对于LED点亮部12a,若从音频通信部11接受LED熄灭命令,则使设置在耳机8a上的LED熄灭。
接着,音频通信部11使用ID信息(ID=2)来确定耳机8b,并向耳机8b发送LED点亮命令(步骤ST6d)。
对于LED点亮部12b,若从音频通信部11接受LED点亮命令,则使设置在耳机8b上的LED点亮。之后,摄像机2对后座侧进行拍摄,并将拍摄图像数据输出到图像识别部3c。
图像识别部3c对从摄像机2输入的拍摄图像数据进行图像识别,并对作为设置在耳机8b上的识别用标记9b而发挥作用的点亮的LED在该拍摄图像中的坐标位置进行计算,将计算结果输出到连接判定部4c(步骤ST7d)。
连接判定部4c判定从图像识别部3c输入的点亮的LED(识别用标记9b)的坐标位置在从摄像机2来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST8d)。
这里,当点亮的LED在与左侧后座相对应的图像区域中时(步骤ST8d:从摄像机2来看在左侧),连接判定部4c判断佩戴了耳机8b的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是指示音频通信部11将耳机8b连接至右座用显示器7b用的音频通道。
对于音频通信部11,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4c的指示,将右座用显示器7b用的音频通道与耳机8b相连接(步骤ST9d-1)。由此,利用经由音频通信部11的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8b。
另一方面,当点亮的LED在与右侧后座相对应的图像区域中时(步骤ST8d:从摄像机2来看在右侧),连接判定部4c判断佩戴了耳机8b的乘客坐在与左座用显示器7a相对的后座上,并想要收看由左座用显示器7a所重放的内容,于是指示音频通信部11将耳机8b连接至左座用显示器7a用的音频通道。
对于音频通信部11,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4c的指示,将左座用显示器7a用的音频通道与耳机8b相连接(步骤ST9d-2)。由此,利用经由音频通信部11的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8b。
最后,音频通信部11向耳机8b发送LED熄灭命令(步骤ST10d)。对于LED点亮部12b,若从音频通信部11接受LED熄灭命令,则使设置在耳机8b上的LED熄灭。
如上所述,根据本实施方式6,包括分别设置在耳机8a、8b上的LED,以及分别设置在耳机8a、8b上并根据从音频通信部11接收到的点亮或熄灭命令来使耳机8a、8b的LED点亮或熄灭的LED点亮部12a、12b,图像识别部3c根据摄像机2拍摄到的拍摄图像,将分别设置在耳机8a、8b上的LED中按照摄像机2的拍摄时序进行点亮的LED作为识别用标记9a、9b来进行图像识别,并计算该识别用标记9a、9b在拍摄图像中的坐标位置,连接判定部4c基于图像识别部3c计算出的识别用标记9a、9b的坐标位置来判定佩戴了将按照摄像机2的拍摄时序来点亮LED的耳机8a、8b的乘客就座于多个后座中的哪个座位上,音频通信部11将由后座AV重放部6所重放的音频数据中与由连接判定部4c判定乘客所就座的后座相对的显示画面中显示的视频数据所对应的音频数据发送给耳机8a、8b来进行音频输出,并且向分别设置在耳机8a、8b上的LED点亮部12a、12b发送点亮或熄灭命令,来使分别设置在耳机8a、8b上的LED以互不相同的定时进行点亮。由此,佩戴2个耳机8a、8b的乘客也能同时使用左右的重放系列。另外,由于只需改变LED的点亮时序即可,因此无需改变每个耳机的标记或改变闪烁频率等设定。
另外,上述实施方式4到上述实施方式6也可以应用于上述实施方式1到上述实施方式6的结构中。
此外,上述实施方式4到上述实施方式6中对摄像机为一台且耳机为两个的情况进行了说明,但也能应用于摄像机增加到两台以上或耳机增加到三个以上的结构。
实施方式7
图19是表示本发明实施方式7所涉及的AV系统的结构的框图,表示了将本发明应用到能利用设置在车辆左右座位上的显示器来分别对不同的视频和音频进行重放的构成两个重放系列的RSE系统中的情况。
如图19所示,在RSE系统1F中,利用左座用显示器7a及右座用显示器7b来重放视频,并向与显示器7a、7b的某一个相对应的耳机8输出与显示器的显示内容相对应的音频。其结构具备摄像机2、图像识别部3d、连接判定部4d、音频通信部5d、及后座AV重放部6。
图像识别部3d是对从摄像机2获取到的拍摄图像数据进行图像识别,并对设置在耳机8上的识别用标记9在该拍摄图像中的坐标位置进行计算,并且对乘客的手势是肯定还是否定进行识别的组成部。
例如,预先将识别用标记9所对应的图像图案分别登录到图像识别部3d中,并对拍摄图像和该图像图案进行匹配,由此来计算拍摄图像中识别用标记9的坐标位置。
此外,对于手势也同样,预先将肯定的及否定的手势所对应的图像图案分别登录到图像识别部3d中,并对拍摄图像和该图像图案进行匹配,由此来识别乘客做了肯定的手势还是否定的手势。
连接判定部4d是从由图像识别部3d计算出的识别用标记9的坐标位置判定佩戴了耳机8的乘客就座于左右后座中哪一个座位,即,将显示器7a、7b中的哪一个显示器用的音频通道与耳机8相连接的组成部。此外,连接判定部4d基于图像识别部3d对乘客手势的识别结果来最终判定将显示器7a、7b中的哪一个显示器用的音频通道与耳机8相连接。
音频通信部5d是在建立耳机8和连接判定部4d的判定结果所对应的音频通道之间的连接后,利用无线通信向耳机8发送确认判定结果的引导音频,当图像识别部3d中识别出是肯定的应答(肯定的手势)时,利用无线通信将由后座AV重放部6重放的音频信号发送给耳机8的组成部。
接下来对动作进行说明。
图20是表示实施方式7的AV系统的动作流程的流程图,表示了判定将哪一个显示器用的音频通道作为耳机8的连接目标的处理细节。下面按照该图20对处理的细节进行说明。
首先,当佩戴了耳机8的乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使用未图示的输入装置指示RSE系统1F对内容数据进行重放时,摄像机2对后座侧进行拍摄,并向图像识别部3d输出拍摄图像数据。
图像识别部3d对从摄像机2输入的拍摄图像数据进行图像识别,并对设置在耳机8上的识别用标记9在拍摄图像中的坐标位置进行计算,将结果输出到连接判定部4d(步骤ST1e)。
连接判定部4d判定从图像识别部3d输入的识别用标记9的坐标位置在从摄像机2来看时,是在摄像机2定点拍摄到的后座侧的拍摄图像中与左侧后座相对应的图像区域中,还是在与右侧后座相对应的图像区域中(步骤ST2e)。
这里,当识别用标记9在与左侧后座相对应的图像区域中时(步骤ST2e:从摄像机2来看在左侧),连接判定部4d判断佩戴了耳机8的乘客坐在与右座用显示器7b相对的后座上,并想要收看由右座用显示器7b所重放的内容,于是指示音频通信部5d将耳机8连接至右座用显示器7b用的音频通道(步骤ST3e-1)。
此外,当识别用标记9在与右侧后座相对应的图像区域中时(步骤ST2e:从摄像机2来看在右侧),连接判定部4d判断佩戴了耳机8的乘客坐在与左座用显示器7a相对的后座上,并想要收看由左座用显示器7a所重放的内容,于是指示音频通信部5d将耳机8连接至左座用显示器7a用的音频通道(步骤ST3e-2)。
对于音频通信部5d,若在步骤ST3e-1中收到连接至右座用显示器7b用的音频通道的指示,或在步骤ST3e-2中收到连接至左座用显示器7a用的音频通道的指示,则与耳机8之间建立逻辑连接(步骤ST4e)。由此,利用经由音频通信部5d的无线通信将由后座AV重放部6所重放的右座用显示器7b用或左座用显示器7a用的音频通道的音频信号发送给耳机8。
接着,音频通信部5d将预先登录的引导音频发送给耳机8(步骤ST5e)。由此,经由耳机8将例如“该耳机当前正在对左(或右)显示器的音频进行重放。可以吗?”的引导音频通知给乘客。对于乘客,在接收到该引导音频后,若当前的音频是所期望的重放系列,则在摄像机2前做肯定的手势,若当前的音频不是所期望的重放系列,则在摄像机2前做否定的手势。摄像机2对该手势进行拍摄,并将拍摄图像数据输出到图像识别部3d。
图像识别部3d对从摄像机2输入的拍摄图像数据进行图像识别来识别乘客的手势是肯定的还是否定的,并将识别结果输出到连接判定部4d(步骤ST6e)。连接判定部4d判定图像识别部3d的识别结果是表示肯定的手势还是表示否定的手势(步骤ST7e)。这里,若识别结果是否定的手势,则向音频通信部5d发出指示,将当前与耳机8连接的音频通道变更为另一个显示器用的音频通道。另外,也可以是连接判定部4d对除判定结果的后座以外的后座重新进行判定,并变更到与重新判定后得到的后座相对的显示器的音频通道。
音频通信部5d根据来自连接判定部4d的指示来切断当前的耳机8与音频通道的连接,并将另一个显示器用的音频通道与耳机8相连接(步骤ST8e)。由此,利用经由音频通信部5d的无线通信将由后座AV重放部6所重放的另一个显示器用的音频通道的音频信号发送给耳机8。由此,通过耳机8来输出另一个显示器用的音频通道的音频信号。此外,若识别结果是肯定的手势,则结束处理。对于这种情况,继续通过耳机8输出当前的音频通道的音频信号。
另外,步骤ST7e中对手势的判定也可以以动态图像为对象。例如,在输出引导音频后,图像识别部3d从摄像机2中获取规定期间的视频,并对图像数据在每个规定时刻下的特征图案与预先存放的标准图案进行比较来识别手势。
如上所述,根据本实施方式7,若通过连接判定部4d判定佩戴耳机8的乘客就座于后座上,则音频通信部5d向耳机8发送使乘客确认该判定结果的引导音频,若从乘客收到肯定判定结果的应答,则将与该判定结果的后座相对的显示画面中显示的视频数据所对应的音频数据发送给耳机8来进行音频输出,若从乘客收到否定判定结果的应答,则连接判定部4d对除判定结果的后座之外的后座重新进行判定,将与该重新判定得到的后座相对的显示画面中显示的视频数据所对应的音频数据发送给耳机8来进行音频输出。由此,能得到更人性化的人机界面。
另外,上述实施方式7中表示了乘客通过手势来对引导音频进行应答的情况,但也可以提供使用了输入装置及显示器的应答用的人机界面,并由乘客对是否使用当前的音频输出进行直接操作输入。
实施方式8
图21是表示本发明实施方式8所涉及的AV系统的结构的框图,表示了将本发明应用到能利用设置在车辆左右座位上的显示器来分别对不同的视频和音频进行重放的构成两个重放系列的RSE系统中的情况。
如图21所示,在RSE系统1G中,利用左座用显示器7a及右座用显示器7b来重放视频,并向分别与显示器7a、7b的某一个相对应的耳机8a、8b输出与显示器的显示内容相对应的音频。
其结构中没有上述实施方式1到上述实施方式7中不同的图像识别部,具备码读取部13a、13b、连接判定部4e、音频通信部5e、及后座AV重放部6。
另外,将设定为本身所固有的ID信息以QR码(注册商标;下文省略记载)等二维信息码的形式附加在耳机8a、8b上。
连接判定部(判定部)4e是根据由码读取部13a、13b读取到的二维信息码来判定佩戴了具有二维信息码的耳机8a、8b的乘客就座于左右后座中的哪一个座位上,即,将显示器7a、7b中的哪一个显示器用的音频通道与耳机8a、8b相连接的组成部。
音频通信部5e是登录了耳机8a所固有的ID信息(ID=1)和耳机8b所固有的ID信息(ID=2)来作为用于对成为无线通信的连接对象的耳机进行确定的ID信息,分别建立利用ID信息所确定的耳机8a、8b与连接判定部4e的判定结果所对应的音频通道之间的连接,并利用无线通信将由后座AV重放部6所重放的音频信号发送给耳机8a、8b的组成部。
码读取部13a是与左座用显示器7a对应设置,对附加在耳机8a、8b上的二维信息码进行读取,并将表示对耳机8a、8b中哪一个的二维信息码进行了读取的信息输出到连接判定部4e的组成部。同样地,码读取部13b与右座用显示器7b对应设置,对附加在耳机8a、8b上的二维信息码进行读取,并将表示对耳机8a、8b中哪一个的二维信息码进行了读取的信息输出到连接判定部4e。
接下来对动作进行说明。
图22是表示实施方式8的AV系统的动作流程的流程图,表示了判定将哪一个显示器用的音频通道作为耳机8a、8b的连接目标的处理细节。下面按照该图22对处理的细节进行说明。
佩戴了耳机8a的乘客及佩戴了耳机8b的乘客坐在与左座用显示器7a或右座用显示器7b相对的后座上,并使码读取部13a、13b中的某一个码读取部读取附加在该码读取部所对应的耳机上的二维信息码。
例如,当乘客所就座的后座与左座用显示器7a相对,并想要收看该左座用显示器7a中重放的内容时,使对应的码读取部13a读取二维信息码。此外,当乘客所就座的后座与左座用显示器7a相对,但想要收看右座用显示器7b中重放的内容时,使右座用显示器7b所对应的码读取部13b读取二维信息码。
首先,在码读取部13a中对是否有二维信息码的读取动作进行判定(步骤ST1f)。这里,若码读取部13a中没有读取动作(步骤ST1f:否),则移至步骤ST4f。对于码读取部13a中有读取动作的情况(步骤ST1f:是),码读取部13a判定读取到的二维信息码是表示ID信息(ID=1)的码1,还是表示ID信息(ID=2)的码2(步骤ST2f)。
当读取到的二维信息码是表示ID信息(ID=2)的码2时,码读取部13a向连接判定部4e通知这一情况。对于连接判定部4e,当码读取部13a向其通知的码是码2时,判断佩戴了耳机8b的乘客想要收看左座用显示器7a中重放的内容,并向音频通信部5e发出指示,将耳机8b连接到左座用显示器7a用的音频通道。
对于音频通信部5e,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4e的指示,将左座用显示器7a用的音频通道与耳机8b相连接(步骤ST3f-1)。由此,利用经由音频通信部5e的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8b。
另一方面,若读取到的二维信息码是表示ID信息(ID=1)的码1,则码读取部13a向连接判定部4e通知这一情况。对于连接判定部4e,当码读取部13a向其通知的码是码1时,判断佩戴了耳机8a的乘客想要收看左座用显示器7a中重放的内容,并向音频通信部5e指示,将耳机8a连接到左座用显示器7a用的音频通道。
对于音频通信部5e,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4e的指示,将左座用显示器7a用的音频通道与耳机8a相连接(步骤ST3f-2)。由此,利用经由音频通信部5e的无线通信将由后座AV重放部6所重放的左座用显示器7a用的音频通道的音频信号发送给耳机8a。
若步骤ST1f中没有在码读取部13a中进行的读取动作,或者,步骤ST3f-1、3f-2中某一个步骤的处理结束,则在码读取部13b中判定是否有二维信息码的读取动作(步骤ST4f)。这里,若码读取部13b中没有读取动作(步骤ST5f:否),则结束处理。此外,对于码读取部13b中有读取动作的情况(步骤ST4f:是),码读取部13b判定读取到的二维信息码是表示ID信息(ID=1)的码1,还是表示ID信息(ID=2)的码2(步骤ST5f)。
当读取到的二维信息码是表示ID信息(ID=2)的码2时,码读取部13b向连接判定部4e通知这一情况。对于连接判定部4e,当码读取部13b向其通知的码是码2时,判断佩戴了耳机8b的乘客想要收看右座用显示器7b中重放的内容,并向音频通信部5e发出指示,将耳机8b连接到右座用显示器7b用的音频通道。
对于音频通信部5e,若使用ID信息(ID=2)确定耳机8b,则根据来自连接判定部4e的指示,将右座用显示器7b用的音频通道与耳机8b相连接(步骤ST6f-1)。由此,利用经由音频通信部5e的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8b。
另一方面,若读取到的二维信息码是表示ID信息(ID=1)的码1,则码读取部13a向连接判定部4e通知这一情况。对于连接判定部4e,当码读取部13a向其通知的码是码1时,判断佩戴了耳机8a的乘客想要收看右座用显示器7b中重放的内容,并向音频通信部5e发出指示,将耳机8a连接到右座用显示器7b用的音频通道。
对于音频通信部5e,若使用ID信息(ID=1)确定耳机8a,则根据来自连接判定部4e的指示,将右座用显示器7b用的音频通道与耳机8a相连接(步骤ST6f-2)。由此,利用经由音频通信部5e的无线通信将由后座AV重放部6所重放的右座用显示器7b用的音频通道的音频信号发送给耳机8a。
如上所述,根据本实施方式8,具备设置在每个显示器7a、7b上并对耳机上设定的固有的二维信息码进行读取的读取部13a、13b,判定读取了二维信息码的码读取部13a、13b的显示器7a、7b的显示画面所面对的后座为佩戴了设置有该二维信息码的耳机8a、8b的乘客所就座的后座,将与判定为乘客所就座的后座相对的显示画面中显示的视频数据所对应的音频数据发送给该乘客所佩戴的耳机8a、8b来进行音频输出。
由此,当乘客进行音频通道的选择时,只需使耳机的二维信息码(例如QR码)靠近码读取部13a、13b即可,因此不需要手动的开关操作。此外,由于不需要耳机的开关,因此能简化HW结构。特别地,比起使用利用了摄像机2的图像解析部3的情况,使用对QR码等二维信息码进行读取的码读取部13a、13b有时能更便宜,在这种情况下能降低成本。
在上述实施方式1实施方式8中,举出了耳机8、8a、8b的例子来作为对显示器7a、7b中重放的内容进行收看的设备,但也可以通过将上述实施方式1到上述实施方式7中说明的识别用标记附加到观赏3D视频的眼镜或对内容的重放进行控制的遥控器上,或者设置上述实施方式8所示的二维信息码,来对用来收看显示器7a、7b中哪一个显示器的重放系列所重放的内容进行识别。
另外,本发明申请在其发明范围内可以进行各实施方式的自由组合,对各实施方式的任意构成要素进行变形,或者在各实施方式中省略任意构成要素。
工业上的实用性
本发明所涉及的AV系统能在具有多个视频和音频的重放系列的AV系统中,对各重放系列所对应的设备进行自动识别而不会削弱在各重放系列的视频和音频的重放中所用的设备的通用性,因此,能有效地用作例如车载用的RSE系统。

Claims (11)

1.一种AV系统,其特征在于,包括:
多个显示装置,该多个显示装置的显示画面朝向相互靠近的多个座位;
摄像机部,该摄像机部对所述显示画面朝向的座位侧进行拍摄;
图像识别部,该图像识别部从所述摄像机部所拍摄到的拍摄图像中对设置在音频输出装置上的识别用标记进行图像识别,并计算出所述识别用标记在所述拍摄图像中的坐标位置;
判定部,该判定部基于所述图像识别部计算出的所述识别用标记的坐标位置,来判定佩戴了所述音频输出装置的使用者就座于所述多个座位中的哪一个座位上;
AV重放部,该AV重放部对视频数据及音频数据进行重放;以及
音频通信部,该音频通信部将由所述AV重放部重放的音频数据中与由所述判定部判定为所述使用者所就座的座位相对的显示画面中显示的视频数据所对应的音频数据,发送给该使用者所佩戴的所述音频输出装置来进行音频输出。
2.如权利要求1所述的AV系统,其特征在于,
在所述音频输出装置上与使用者的脸的方向垂直的平面上的位置设置有多个识别用标记,
所述图像识别部从所述摄像机部拍摄到的拍摄图像中,对设置在所述音频输出装置上的所述多个识别用标记进行图像识别,并计算所述多个识别用标记在所述拍摄图像中的坐标位置及所述多个识别用标记间的间隔,
所述判定部基于由所述图像识别部计算出的所述识别用标记的坐标位置,来判定佩戴了所述音频输出装置的使用者就座于所述多个座位中的哪一个座位上,并且基于所述多个识别用标记间的间隔与规定阈值的比较结果,来对就座于判定得到的所述座位上的所述使用者的脸朝向所述多个显示装置中的哪一个显示装置的显示画面进行判定,
所述音频通信部将由所述AV重放部重放的音频数据中由所述判定部判定为所述使用者的脸所朝向的显示画面中显示的视频数据所对应的音频数据,发送给该使用者所佩戴的所述音频输出装置来进行音频输出。
3.如权利要求2所述的AV系统,其特征在于,
设置有多个所述摄像机部,
所述判定部以所述多个摄像机部分别拍摄到的拍摄图像为基础,并基于由所述图像识别部计算出的所述多个识别用标记的坐标位置,来判定佩戴了所述音频输出装置的使用者就座于所述多个座位中的哪一个座位上,并且基于所述多个摄像机部分别拍摄到的各拍摄图像中所述多个识别用标记间的间隔与规定阈值的各比较结果,来判定所述使用者的脸朝向所述多个显示装置中的哪一个显示装置的显示画面。
4.如权利要求3所述的AV系统,其特征在于,
所述摄像机部设置在每个所述显示装置上。
5.如权利要求1所述的AV系统,其特征在于,
在多个所述音频输出装置上分别设置有互不相同的识别用标记,
所述图像识别部从所述摄像机部拍摄到的拍摄图像中对所述互不相同的识别用标记进行图像识别,并分别计算所述互不相同的识别用标记在所述拍摄图像中的坐标位置,
所述判定部基于由所述图像识别部计算出的所述互不相同的识别用标记的坐标位置,来判定分别佩戴了所述多个音频输出装置的多个使用者分别就座于所述多个座位中的哪一个座位上,
所述音频通信部将由所述AV重放部重放的音频数据中分别与由所述判定部判定为所述多个使用者分别就座的所述多个座位相对的显示画面中显示的视频数据所对应的音频数据,分别发送给所述多个音频输出装置来进行音频输出。
6.如权利要求5所述的AV系统,其特征在于,
所述互不相同的识别用标记是印刷在所述音频输出装置上且颜色或形状互不相同的印刷物。
7.如权利要求5所述的AV系统,其特征在于,该AV系统还包括:
LED元件,该LED元件分别设置在所述多个音频输出装置上;以及
LED闪烁部,该LED闪烁部分别设置在所述多个音频输出装置上,并使所述各音频输出装置的所述LED元件以互不相同的频率进行闪烁,
所述图像识别部从所述摄像机部拍摄到的拍摄图像中对通过所述LED闪烁部进行闪烁的所述LED元件来作为所述互不相同的识别用标记进行图像识别,并分别计算该互不相同的识别用标记在所述拍摄图像中的坐标位置。
8.如权利要求1所述的AV系统,其特征在于,该AV系统还包括:
LED元件,该LED元件分别设置在所述多个音频输出装置上;以及
LED点亮部,该LED点亮部分别设置在所述多个音频输出装置上,并根据从所述音频通信部接收到的点亮或熄灭命令来使所述各音频输出装置的所述LED元件点亮或熄灭,
所述图像识别部从所述摄像机部拍摄到的拍摄图像中,对分别设置在所述多个音频输出装置上的LED元件中按照所述摄像机部的拍摄时序进行点亮的LED元件作为所述识别用标记来进行图像识别,并计算该识别用标记在所述拍摄图像中的坐标位置,
所述判定部基于由所述图像识别部计算出的所述识别用标记的坐标位置,来判定佩戴了所述LED元件以所述摄像机部的拍摄时序进行点亮的所述音频输出装置的使用者就座于所述多个座位中的哪一个座位上,
所述音频通信部将由所述AV重放部重放的音频数据中与由所述判定部判定为所述使用者就座的座位相对的显示画面中显示的视频数据所对应的音频数据,发送给所述音频输出装置来进行音频输出,并向分别设置在所述多个音频输出装置上的所述LED点亮部发送点亮或熄灭命令,来使分别设置在所述多个音频输出装置上的LED元件以互不相同的时序进行点亮。
9.如权利要求1所述的AV系统,其特征在于,
当所述判定部判定出佩戴了所述音频输出装置的使用者所就座的座位时,所述音频通信部向所述音频输出装置发送使所述使用者确认该判定结果的引导音频,
若所述使用者作出肯定所述判定结果的应答,则将与该判定结果的座位相对的显示画面中显示的视频数据所对应的音频数据发送给所述音频输出装置来进行音频输出,
若所述使用者作出否定所述判定结果的应答,则所述判定部对所述相互靠近的多个座位中除作出了该否定应答的判定结果的座位以外的座位重新进行判定,将与通过该重新判定得到的座位相对的显示画面中显示的视频数据所对应的音频数据发送给所述音频输出装置来进行音频输出。
10.一种AV系统,其特征在于,包括:
多个显示装置,该多个显示装置的显示画面朝向相互靠近的多个座位;
码读取部,该码读取部设置在每个所述多个显示装置上,并对音频输出装置上设定成固有的二维信息码进行读取;
判定部,该判定部将读取了所述二维信息码的所述码读取部的所述显示装置的显示画面所朝向的座位,判定为佩戴了设置有该二维信息码的音频输出装置的使用者所就座的座位;
AV重放部,该AV重放部对视频数据及音频数据进行重放;以及
音频通信部,该音频通信部将由所述AV重放部重放的音频数据中与由所述判定部判定为所述使用者所就座的座位相对的显示画面中显示的视频数据所对应的音频数据,发送给该使用者所佩戴的所述音频输出装置来进行音频输出。
11.如权利要求1所述的AV系统,其特征在于,
在具有接收修正信号的通信功能和根据该修正信号对视频的形态进行调整的功能的立体视频用眼镜上设置有识别用标记,
所述图像识别部从所述摄像机部所拍摄到的拍摄图像中对设置在所述立体视频用眼镜上的识别用标记进行图像识别,并对所述识别用标记在所述拍摄图像中的坐标位置进行计算,
所述判定部基于所述图像识别部计算出的所述识别用标记的坐标位置,来判定佩戴了所述立体视频用眼镜的使用者就座于所述多个座位中的哪一个座位上,
所述音频通信部将与由所述判定部判定为所述使用者所就座的座位相对的显示画面中显示的视频数据所对应的所述修正信号,发送给该使用者所佩戴的所述立体视频用眼镜来使该立体视频用眼镜对视频的形态进行调整。
CN201080068753.6A 2010-10-06 2010-10-06 Av系统 Expired - Fee Related CN103069843B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/005992 WO2012046276A1 (ja) 2010-10-06 2010-10-06 Avシステム

Publications (2)

Publication Number Publication Date
CN103069843A true CN103069843A (zh) 2013-04-24
CN103069843B CN103069843B (zh) 2015-09-02

Family

ID=45927303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080068753.6A Expired - Fee Related CN103069843B (zh) 2010-10-06 2010-10-06 Av系统

Country Status (5)

Country Link
US (1) US9344632B2 (zh)
JP (1) JP5414907B2 (zh)
CN (1) CN103069843B (zh)
DE (1) DE112010005927B4 (zh)
WO (1) WO2012046276A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108621883A (zh) * 2017-03-22 2018-10-09 福特全球技术公司 监控车辆车厢

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080061B1 (en) 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
JP2014169022A (ja) * 2013-03-04 2014-09-18 Mitsubishi Electric Corp モニタ装置
US9681219B2 (en) * 2013-03-07 2017-06-13 Nokia Technologies Oy Orientation free handsfree device
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
US20150310831A1 (en) * 2014-04-29 2015-10-29 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using camera
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
DE102015005704A1 (de) * 2015-05-04 2016-11-10 Audi Ag Fahrzeug mit einem Infotainmentsystem
JP6520635B2 (ja) * 2015-10-15 2019-05-29 トヨタ車体株式会社 車載ディスプレイシステム
JP6769077B2 (ja) * 2016-04-08 2020-10-14 いすゞ自動車株式会社 顔向き特定装置及び顔向き特定方法
US10205906B2 (en) 2016-07-26 2019-02-12 The Directv Group, Inc. Method and apparatus to present multiple audio content
CN110278469A (zh) * 2018-03-16 2019-09-24 上海博泰悦臻电子设备制造有限公司 多媒体播放方法、播放控制系统、存储介质及车载终端
JP7219041B2 (ja) * 2018-10-05 2023-02-07 現代自動車株式会社 注視検出装置及びその輻輳制御方法
KR20210080993A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 전자 장치 및 그의 동작 방법
US11451855B1 (en) 2020-09-10 2022-09-20 Joseph F. Kirley Voice interaction with digital signage using mobile device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048601A (ja) * 2002-07-15 2004-02-12 Alpine Electronics Inc 車載オーディオ装置
JP2006133665A (ja) * 2004-11-09 2006-05-25 Seiko Epson Corp 立体画像表示装置
CN101218129A (zh) * 2005-07-05 2008-07-09 罗伯特·博世有限公司 车辆系统
JP2009224841A (ja) * 2008-03-13 2009-10-01 Honda Motor Co Ltd ディスプレイ位置調整装置
JP2010123085A (ja) * 2008-11-21 2010-06-03 Fujitsu Fsas Inc 検査システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) * 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7904187B2 (en) * 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
JP2000278626A (ja) 1999-03-29 2000-10-06 Sanyo Electric Co Ltd マルチ画面音声出力制御装置
JP2003025911A (ja) 2001-07-11 2003-01-29 Denso Corp 車載用映像表示装置
JP4635477B2 (ja) * 2003-06-10 2011-02-23 カシオ計算機株式会社 画像撮影装置、擬似3次元画像生成方法、及び、プログラム
JP2005170138A (ja) 2003-12-09 2005-06-30 Mitsubishi Electric Corp 車載用後席ディスプレイ装置
JP4042112B2 (ja) 2004-03-10 2008-02-06 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法及びオーディオ本体装置
JP2006014199A (ja) * 2004-06-29 2006-01-12 Alpine Electronics Inc エンタテイメントシステムおよび使用機器の組み合わせの設定方法
JP4472478B2 (ja) * 2004-09-27 2010-06-02 クラリオン株式会社 車載モニタシステム、モニタ方向調整装置、及び、モニタ方向調整方法
JP2006133655A (ja) * 2004-11-09 2006-05-25 Canon Inc 投射型表示装置
EP1815471B1 (en) * 2004-11-12 2012-08-01 Koninklijke Philips Electronics N.V. Apparatus and method for sharing contents via headphone set
JP4479487B2 (ja) * 2004-11-30 2010-06-09 株式会社デンソー 車載制御装置
JP2006287730A (ja) * 2005-04-01 2006-10-19 Alpine Electronics Inc オーディオ装置
JP2007008289A (ja) 2005-06-29 2007-01-18 Alpine Electronics Inc 車載用オーディオ/ビデオシステム
JP4926817B2 (ja) * 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
WO2008087974A1 (ja) * 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
US7780522B2 (en) * 2007-02-23 2010-08-24 Cfph, Llc Game at cash register
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US20100118200A1 (en) * 2008-11-10 2010-05-13 Geoffrey Michael Gelman Signage
US20100149100A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Electronic Devices, Systems, Methods and Computer Program Products for Detecting a User Input Device Having an Optical Marker Thereon
TWI436646B (zh) * 2010-08-19 2014-05-01 Univ Nat Taiwan Science Tech 顯示畫面可對應於運動者身體狀態而移動之裝置及其執行方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048601A (ja) * 2002-07-15 2004-02-12 Alpine Electronics Inc 車載オーディオ装置
JP2006133665A (ja) * 2004-11-09 2006-05-25 Seiko Epson Corp 立体画像表示装置
CN101218129A (zh) * 2005-07-05 2008-07-09 罗伯特·博世有限公司 车辆系统
JP2009224841A (ja) * 2008-03-13 2009-10-01 Honda Motor Co Ltd ディスプレイ位置調整装置
JP2010123085A (ja) * 2008-11-21 2010-06-03 Fujitsu Fsas Inc 検査システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108621883A (zh) * 2017-03-22 2018-10-09 福特全球技术公司 监控车辆车厢

Also Published As

Publication number Publication date
JPWO2012046276A1 (ja) 2014-02-24
CN103069843B (zh) 2015-09-02
JP5414907B2 (ja) 2014-02-12
US9344632B2 (en) 2016-05-17
DE112010005927B4 (de) 2014-07-17
US20130088581A1 (en) 2013-04-11
WO2012046276A1 (ja) 2012-04-12
DE112010005927T5 (de) 2013-08-08

Similar Documents

Publication Publication Date Title
CN103069843A (zh) Av系统
CN106467062B (zh) 车辆内摄像机系统
EP3794851B1 (en) Shared environment for vehicle occupant and remote user
US9423880B2 (en) Head-mountable apparatus and systems
US10712998B2 (en) Information processing device, information processing method, and program
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
US20140362113A1 (en) Change nature of display according to overall motion
KR20170017111A (ko) 이동단말기 및 그 제어방법
US20210162925A1 (en) Immersive display
CN103731659A (zh) 头戴式显示设备
US20200089333A1 (en) Virtual reality
GB2557594A (en) Image processing system and method
GB2565836A (en) Data processing
JP2022052193A (ja) 画像処理装置、及び画像処理プログラム
KR20160064601A (ko) 차량 내의 객체 검출 장치 및 이의 방법
US20230168522A1 (en) Eyewear with direction of sound arrival detection
WO2022064774A1 (ja) 画像処理装置、及び画像処理プログラム
US20200241296A1 (en) Synchronized Shared Mixed Reality for Co-Located Participants, Apparatus, System and Method
JP2022040819A (ja) 画像処理装置及び画像処理方法
CN116486383A (zh) 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质
JP2022052681A (ja) 画像処理装置、及び画像処理プログラム
JP2024034145A (ja) システム及びプログラム等
KR20190069068A (ko) 카메라 영상 조절이 가능한 차량 주변 영상 출력 시스템
JP2020145564A (ja) 画像処理装置および画像処理方法
JP2015184409A (ja) 車両用投影装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220302

Address after: 251 Little Falls Avenue, Wilmington, Delaware, USA

Patentee after: Automotive Technology Group Co.,Ltd.

Address before: Tokyo

Patentee before: MITSUBISHI ELECTRIC Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150902

Termination date: 20211006