CN103283243A - 图像显示系统及三维用眼镜 - Google Patents
图像显示系统及三维用眼镜 Download PDFInfo
- Publication number
- CN103283243A CN103283243A CN2012800043519A CN201280004351A CN103283243A CN 103283243 A CN103283243 A CN 103283243A CN 2012800043519 A CN2012800043519 A CN 2012800043519A CN 201280004351 A CN201280004351 A CN 201280004351A CN 103283243 A CN103283243 A CN 103283243A
- Authority
- CN
- China
- Prior art keywords
- signal
- glasses
- organism
- wesy
- image display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/008—Aspects relating to glasses for viewing stereoscopic images
Abstract
本发明提供一种图像显示系统,能够使用三维用眼镜和图像显示装置可靠地进行判定视听者的疲劳状态等的协调处理,而且不会扩大系统的规模。三维显示电视机(10)具有的收发部(150)向三维用眼镜(20)发送规格指定信号,用于指定通信信号的至少包括数据格式的规格,三维用眼镜(20)具有的收发部(270)接收从三维显示电视机(10)发送的规格指定信号,按照由接收到的规格指定信号指定的规格,将由生物体信号传感器(240)取得的生物体信号变换为通信信号并发送给三维显示电视机(10)。
Description
技术领域
本发明涉及图像显示系统,该图像显示系统包括对视听者呈现三维图像的图像显示装置和三维用眼镜。
背景技术
三维影像不仅作为基于大画面的电影得到推广,而且随着家用三维电视机和电脑显示器的普及也作为电视内容和游戏的影像得到推广。三维影像是通过在呈现给右眼的图像和呈现给左眼的图像之间形成视差,使视听者产生诸如具有进深感的错觉的影像。在视听三维影像时,与过去的二维影像不同,右眼和左眼分别随着被摄体的进深而移动。即,在进深较小、被摄体看起来好像飞出到跟前时,左右眼睛向成为对眼的方向移动,在进深较大、被摄体看起来较远时,接近于两眼直直地注视前方的状态。另一方面,由于显示器的位置不移动,因而为了看清楚需要持续使焦点对准显示器的位置,而焦距被一定在显示器的位置。这样由于眼睛相对于被摄体的假想进深的移动与焦距的矛盾,在视听立体影像时,存在视听者出现疲劳和影像眩晕等身体症状的情况。因此,过去在专利文献1中通过测定正在视听三维影像的视听者的眼睛的光学特性,判别视听者的疲劳。
另一方面,在一个显示器中,为了对左右眼睛呈现不同的图像,需要使用专用的眼镜(下面也称为“三维用眼镜”)利用闸门来选择到达左右眼睛的光。通过与右眼用及左眼用的画面显示同步地以足够快的频次切换闸门,视听者能够将两眼的信息作为融像进行立体视,而且不会注意到左右图像的切换。
可是,在显示三维影像时,在不戴专用眼镜来观察显示器的情况下,不仅不能实现立体视,而且看起来是双像。因此,为了能够可靠地实现立体视,在专利文献2中,在接触或者不接触专用眼镜的状态下,感测是否是视听者佩戴了眼镜的状态,从专用眼镜向电视机、计算机或者游戏机等控制影像显示的显示装置发送表示佩戴状态的信号。由此,在显示装置中控制二维影像和三维影像的显示的切换。
现有技术文献
专利文献
专利文献1:日本特开2006-305325号公报
专利文献2:日本特开2010-154533号公报
发明概要
发明要解决的问题
但是,在专利文献1的方法中,为了检测疲劳状态而设置包括透镜阵列的较大型测量仪器,将视听者的眼睛的位置一定来测量视听者的眼睛的光学特性,这不便于视听者以自由的位置和姿势欣赏三维影像。并且,对于包括用于判定以疲劳为代表的视听者状态的眼睛状态在内的诸多生物体信号,如专利文献1所述针对信号的种类具有特定的分析方法,即使是如专利文献2所述利用专用眼镜进行感测时,在不能实现与电视机等控制影像显示的显示装置具有的生物体信号用的分析方法的对应关系的情况下,将存在不能判定视听者的状态的问题。
发明内容
本发明的目的在于提供一种图像显示系统和三维用眼镜,能够使用三维用眼镜和图像显示装置可靠地进行判定视听者的疲劳状态等协调处理,而且不会扩大系统的规模。
用于解决问题的手段
为了达到上述目的,本发明的图像显示系统对视听者呈现三维图像,该图像显示系统具有:图像显示装置,交替地输出呈现给所述视听者的左眼的左眼用图像和呈现给右眼的右眼用图像;以及三维用眼镜,被佩戴于所述视听者的脸部或者头部,具有左眼侧的闸门和右眼侧的闸门,当在所述图像显示装置中显示左眼用图像时使所述左眼侧的闸门成为透射状态,当在所述图像显示装置中显示右眼用图像时使所述右眼侧的闸门成为透射状态,所述三维用眼镜具有:生物体信号测定部,通过测定所述视听者的身体状态来取得生物体信号;以及收发部,将由所述生物体信号测定部取得的生物体信号变换为通信信号,并发送给所述图像显示装置,所述图像显示装置具有接收从所述三维用眼镜发送的通信信号的收发部,所述图像显示装置具有的所述收发部向所述三维用眼镜发送规格指定信号,该规格指定信号用于指定所述通信信号的至少包括数据格式的规格,所述三维用眼镜具有的所述收发部接收从所述图像显示装置发送的所述规格指定信号,按照由接收到的规格指定信号指定的规格,将所述生物体信号变换为所述通信信号并发送给所述图像显示装置。
发明效果
根据本发明能够提供一种图像显示系统和三维用眼镜,能够使用三维用眼镜和图像显示装置可靠地进行判定视听者的疲劳状态等协调处理,而且不会扩大系统的规模。
因此,在家庭等中视听三维影像的机会增多的今天,本发明的实用价值极高。
附图说明
图1是表示本发明的实施方式的图像显示系统的结构一例的块图。
图2是表示在本发明的实施方式的图像显示系统中的三维显示电视机和三维用眼镜之间的通信的步骤的图。
图3是表示本发明的实施方式的图像显示系统的处理的流程的流程图。
图4是表示在发送规格蓄积部中蓄积的指标的规格信息(发送规格)的示例的图。
图5是对于在根据眼睛电位确定疲劳时能够使用的生物体信息示出了表示其取得条件的列表(上段)、以及表示单位时间和每单位时间的处理前及中间处理后的数据量的列表(下段)的图。
图6是表示本发明的实施方式的眼睛电位的测量用电极的配置例的示意图。
图7是表示本发明的实施方式的三维显示电视机的具体结构的一例的块图。
图8是表示本发明的实施方式的三维显示电视机具有的视听者状态计算部的具体结构的一例的块图。
图9是表示本发明的实施方式的三维显示电视机的处理中的疲劳指标决定步骤的具体处理的一例的流程图。
图10A是表示本发明的实施方式的三维显示电视机的处理中的疲劳指标判定步骤的具体处理的一例的流程图。
图10B是表示本实施方式的视听者的选择输入(测定精度的选择输入)的状态的图。
图11A是表示本发明的实施方式的测定规格蓄积部蓄积的测定规格的一例的图。
图11B是表示本实施方式的三维显示电视机发送的规格指定信号的数据例的图。
图12是表示本发明的实施方式的变换函数存储部保存的变换函数的一例的曲线图。
图13是表示在本发明的实施方式的变换表中存储的数据的一例的图。
图14是表示本发明的实施方式的三维用眼镜的具体结构的一例的块图。
图15是表示本发明的实施方式的三维用眼镜的处理流程的一例的流程图。
图16是表示本发明的实施方式的发送规格蓄积部蓄积的发送规格的一例的图。
图17是表示本发明的实施方式的生物体信号处理部的具体结构的一例的块图。
图18是表示本发明的实施方式的生物体信号数据生成/发送步骤的具体处理流程的一例的流程图。
图19是表示在本发明的实施方式中从三维用眼镜向三维显示电视机发送生物体信号时的通信格式的一例的图。
图20是表示本发明的实施方式的生物体信号处理部的具体结构的一例的块图。
图21是表示本发明的实施方式的生物体信号数据生成/发送步骤的具体处理流程的一例的流程图。
图22是表示在本发明的实施方式中从三维用眼镜向三维显示电视机发送生物体信号时的通信格式的一例的图。
图23是表示本发明的实施方式的生物体信号处理部的具体结构的一例的块图。
图24是表示本发明的实施方式的生物体信号数据生成/发送步骤的具体处理流程的一例的流程图。
图25是表示在本发明的实施方式的眨眼频次疲劳对应表中存储的数据的一例的图。
图26是表示在本发明的实施方式中从三维用眼镜向三维显示电视机发送生物体信号时的通信格式的一例的图。
图27是表示在利用计算机系统和软件实现本实施方式的三维显示电视机时使用的硬件结构的块图。
具体实施方式
(本发明的概要)
本发明的图像显示系统的一个方式是对视听者呈现三维图像,该图像显示系统具有:图像显示装置,交替地输出呈现给所述视听者的左眼的左眼用图像和呈现给右眼的右眼用图像;以及三维用眼镜,被佩戴于所述视听者的脸部或者头部,具有左眼侧的闸门和右眼侧的闸门,当在所述图像显示装置中显示左眼用图像时使所述左眼侧的闸门成为透射状态,当在所述图像显示装置中显示右眼用图像时使所述右眼侧的闸门成为透射状态,所述三维用眼镜具有:生物体信号测定部,通过测定所述视听者的身体状态来取得生物体信号;以及收发部,将由所述生物体信号测定部取得的生物体信号变换为通信信号,并发送给所述图像显示装置,所述图像显示装置具有接收从所述三维用眼镜发送的通信信号的收发部,所述图像显示装置具有的所述收发部向所述三维用眼镜发送规格指定信号,该规格指定信号用于指定所述通信信号的至少包括数据格式的规格,所述三维用眼镜具有的所述收发部接收从所述图像显示装置发送的所述规格指定信号,按照由接收到的规格指定信号指定的规格,将所述生物体信号变换为所述通信信号并发送给所述图像显示装置。
由此,三维用眼镜按照由从图像显示装置发送的规格指定信号指定的规格,将由三维用眼镜的生物体信号测定部取得的生物体信号变换为通信信号,并发送给图像显示装置。即,在图像显示装置和三维用眼镜之间进行从三维用眼镜发送给图像显示装置的生物体信号的数据格式等通信规格的调和。因此,任意的图像显示装置与三维用眼镜的组合,例如,即使是制造商以及/或者制造时间不同的图像显示装置与三维用眼镜的组合,也能够以图像显示装置能够接收的数据格式等通信规格从三维用眼镜向图像显示装置发送视听者的生物体信息,因而能够在图像显示装置中根据视听者的生物体信息进行各种处理(疲劳度的判定等)。
例如,能够根据视听者正在视听三维图像时的身体状态变更图像显示装置的图像显示的状态,能够实现更舒适的三维图像的视听、或防止由于向二维图像的切换、疲劳、影像眩晕而产生的问题、或进行视听图像的限制等处理。
因此,能够实现这样的图像显示系统,即能够使用三维用眼镜和图像显示装置可靠地进行判定视听者的疲劳状态等协调处理,而且不会扩大系统的规模。
其中,也可以是,所述三维用眼镜还具有蓄积至少一种发送规格的发送规格蓄积部,该发送规格是表示该三维用眼镜能够发送给所述图像显示装置的所述通信信号的规格的信息,所述三维用眼镜具有的所述收发部还将在所述发送规格蓄积部中蓄积的至少一种发送规格发送给所述图像显示装置,所述图像显示装置具有的所述收发部接收从所述三维用眼镜发送的至少一种发送规格,将表示从接收到的至少一种发送规格中选择的至少一种发送规格的信号,作为所述规格指定信号发送给所述三维用眼镜。
更具体地讲,也可以是,所述图像显示装置还具有:测定规格蓄积部,蓄积至少一种测定规格,该测定规格是表示与所述收发部能够接收的所述通信信号有关的规格的信息;以及测定规格决定部,从在所述测定规格蓄积部中蓄积的至少一种测定规格中,决定在判定所述视听者的状态时使用的一种测定规格,所述图像显示装置具有的所述收发部将表示从所述三维用眼镜发送的至少一种发送规格中与由所述测定规格决定部决定的测定规格对应的发送规格的信号,作为所述规格指定信号发送给所述三维用眼镜。
由此,首先从三维用眼镜向图像显示装置发送三维用眼镜能够采用的发送规格,接收到该发送规格的图像显示装置从接收到的发送规格中选择能够接收的发送规格(与测定规格对应的发送规格),将表示该选择结果的规格指定信号发送给三维用眼镜。因此,能够更加可靠地以图像显示装置和三维用眼镜双方能够处理的数据格式、从三维用眼镜向图像显示装置发送生物体信号。
即,在图像显示装置中,即使是图像显示装置和三维用眼镜不是同一制造商或同一型号或者彼此专用的装置的情况下,也能够使图像显示装置能够接收的生物体型号的发送规格和三维用眼镜能够发送的数据的发送规格相调和。
另外,也可以是,所述三维用眼镜具有的所述收发部还将用于识别所述三维用眼镜的信号即眼镜ID发送给所述图像显示装置,所述图像显示装置具有的所述收发部接收从所述三维用眼镜发送的眼镜ID,所述测定规格决定部判定与接收到的眼镜ID对应的测定规格是否被蓄积在所述测定规格蓄积部中,在已被蓄积时将该测定规格决定为所述一种测定规格,在未被蓄积时,请求所述三维用眼镜将在所述发送规格蓄积部中蓄积的发送规格发送给所述图像显示装置。
由此,在眼镜ID与从三维用眼镜发送给图像显示装置的生物体信息的发送规格相关联的情况下,图像显示装置只接收眼镜ID即可得知三维用眼镜能够采用的发送规格。因此,不需要发送冗余的发送规格,图像显示装置能够以较少的通信量获取三维用眼镜的发送规格。尤其是在三维用眼镜能够采用的发送规格有多个种类的情况下,无论该发送规格的种类数量如何,通过从三维用眼镜发送单一的数据(眼镜ID),图像显示装置即可取得(即识别)三维用眼镜的全部发送规格。
另外,也可以是,在所述发送规格或者所述规格指定信号中包含如下信息,该信息记述了表示由所述生物体信号测定部测定出的所述视听者的身体状态的多个信号的排列、和所述多个信号各自的数据量。
由此,在发送规格或者规格指定信号中包含用于确定具体的数据格式的信息,因而例如在不能根据图像显示装置蓄积的眼镜ID或制造商或者制造时间确定出三维用眼镜的发送规格的情况下,图像显示装置通过接收用于确定发送规格的具体信息,能够取得(即识别)三维用眼镜能够采用的发送规格的具体内容。
另外,也可以是,所述生物体信号测定部测定所述视听者的眼睛电位作为所述视听者的身体状态。
由此,能够容易利用在三维用眼镜设置的电极安全地取得视听者的生物体信号,根据分析的方式能够得到从眼睛电位得到的眼球运动、聚焦运动、视线、扫视、注视微动或者眨眼等许多指标。另外,通过利用眼睛电位能够测定视听者的疲劳、清醒度或者兴趣等。
另外,也可以是,所述生物体信号测定部测定所述视听者的皮肤电气反应或者皮肤电位作为所述视听者的身体状态。
由此,能够容易利用在三维用眼镜设置的电极取得精神性发汗的状态,并得到身体状态的指标。另外,通过利用皮肤电气反应能够测定视听者的清醒度、兴奋度。
另外,也可以是,所述生物体信号测定部拍摄所述视听者的身体的一部分作为所述视听者的身体状态。
由此,通过对图像的图案识别或图像分析,能够取得视听者的生物体信息。
另外,也可以是,所述生物体信号测定部拍摄所述视听者的静脉图案作为所述视听者的身体状态。
由此,能够实现视听者的个人验证,能够根据视听者的年龄等进行视听内容的限制、或者根据视听者的视觉特性进行进深运动的调整等的图像处理等对应于个人的处理。
另外,也可以是,所述生物体信号测定部取得表示所述视听者的身体状态的时间序列信号,作为所述生物体信号。
由此,能够分析生物体信号的时间性变化,能够判定身体状态的时间性变化。
另外,也可以是,所述三维用眼镜还具有生物体信号处理部,该生物体信号处理部进行将由所述生物体信号测定部取得的时间序列信号生成为数值序列的信号处理,所述三维用眼镜具有的所述收发部将通过所述生物体信号处理部而得到的数值序列发送给所述图像显示装置,所述图像显示装置还具有视听者状态判定部,该视听者状态判定部根据从所述三维用眼镜发送的数值序列判定所述视听者的状态。
由此,通过从三维用眼镜向图像显示装置发送原始数据(Raw Data),不需三维用眼镜进行负荷较高的处理,能够抑制功耗。另外,在图像显示装置中,通过改变生物体信号的处理,能够取出许多种类的信息。如果是眼睛电位,则能够抽取聚焦运动或扫视或眨眼等根据处理的方式而不同的生物体的状态。
另外,也可以是,所述三维用眼镜还具有生物体信号处理部,该生物体信号处理部通过对由所述生物体信号测定部取得的时间序列信号进行信号处理,生成与所述视听者的身体的运动相关的数值或者数值序列,所述三维用眼镜具有的所述收发部将通过所述生物体信号处理部而得到的数值或者数值序列发送给所述图像显示装置,所述图像显示装置还具有视听者状态判定部,该视听者状态判定部根据从所述三维用眼镜发送的数值或者数值序列判定所述视听者的状态。
由此,通过从三维用眼镜向图像显示装置发送中间处理结果,能够由三维用眼镜和图像显示装置分担处理,并削减两者之间的通信负荷。并且,能够削减图像显示装置的数据处理的负荷,能够在短时间内进行图像处理等。
另外,也可以是,所述三维用眼镜还具有生物体信号处理部,通过对由所述生物体信号测定部取得的时间序列信号进行信号处理,生成与所述视听者的身体的运动相关的数值或者数值序列,并使用所生成的数值或者数值序列判定所述视听者的身体状态,所述三维用眼镜具有的所述收发部将通过所述生物体信号处理部而判定出的结果发送给所述图像显示装置。
由此,通过从三维用眼镜向图像显示装置发送表示视听者的身体状态的信息,从三维用眼镜向图像显示装置的发送数据减小,能够削减两者之间的通信负荷和图像显示装置的处理负荷。通过减小图像显示装置的计算负荷,图像显示装置能够在短时间内进行图像处理等。
另外,也可以是,在所述规格指定信号中包含确定数据等级的信息,该数据等级表示包含于所述通信信号中的数据的加工程度,所述生物体信号处理部按照如下数据等级进行所述信号处理,该数据等级是由从所述图像显示装置发送的所述规格指定信号中所包含的信息而确定的数据等级。
由此,在三维用眼镜中按照由图像显示装置和三维用眼镜双方决定的数据等级对生物体信息进行加工,将加工后的数据发送给图像显示装置,因而能够进行图像显示装置和三维用眼镜各自的处理负荷的平衡调整、以及两者之间的通信量的调整。
另外,也可以是,所述视听者的身体状态是所述视听者的疲劳的状态。
由此,能够追随时间对视听者视听三维图像时的疲劳进行分析,能够防止视听者的眼睛疲劳或认知性疲劳、或者伴随疲劳而产生的影像眩晕或立体视的异常等。并且,针对容易疲劳程度、容易眩晕程度、或者对三维图像的适应性等个人差异也能够适应性地判定状态。
另外,也可以是,所述视听者的身体状态是对所述视听者个人的确定。
由此,能够确定个人,能够根据视听者的年龄等进行视听内容的限制、或者根据视听者的视觉特性进行进深运动的调整等的图像处理等对应于个人的处理等。
另外,也可以是一种三维用眼镜,被佩戴于视听者的脸部或者头部,与图像显示装置协作进行动作,该三维用眼镜具有:右眼侧的闸门和左眼侧的闸门,能够切换透射状态和非透射状态;生物体信号测定部,通过测定所述视听者的身体状态来取得生物体信号;以及收发部,将由所述生物体信号测定部取得的生物体信号变换为通信信号,并发送给所述图像显示装置,所述收发部接收从所述图像显示装置发送的规格指定信号,按照由接收到的规格指定信号指定的规格,将所述视听者的生物体信号变换为所述通信信号并发送给所述图像显示装置,所述规格指定信号用于指定所述通信信号的至少包括数据格式的规格。
由此,三维用眼镜按照由从图像显示装置发送的规格指定信号指定的规格,将由三维用眼镜的生物体信号测定部取得的生物体信号变换为通信信号,并发送给图像显示装置。即,在图像显示装置和三维用眼镜之间进行从三维用眼镜发送给图像显示装置的生物体信号的数据格式等通信规格的调和。因此,无论是哪种图像显示装置与三维用眼镜的组合,都能够以图像显示装置能够接收的数据格式等通信规格从三维用眼镜向图像显示装置发送视听者的生物体信息,因而能够在图像显示装置中根据视听者的生物体信息进行各种处理(疲劳度的判定等)。
另外,也可以是,所述三维用眼镜还具有蓄积至少一种发送规格的发送规格蓄积部,该发送规格是表示所述三维用眼镜能够发送给所述图像显示装置的所述通信信号的规格的信息,所述收发部还将在所述发送规格蓄积部中蓄积的至少一种发送规格发送给所述图像显示装置,所述图像显示装置接收从所述三维用眼镜发送的至少一种发送规格,将表示从接收到的至少一种发送规格中选择的至少一种发送规格的信号,作为所述规格指定信号发送给所述三维用眼镜。
由此,首先从三维用眼镜向图像显示装置发送三维用眼镜能够采用的发送规格。因此,接收到该发送规格的图像显示装置从接收到的发送规格中选择能够接收的发送规格(与测定规格对应的发送规格),将表示该选择结果的规格指定信号发送给三维用眼镜,由此能够更加可靠地以图像显示装置和三维用眼镜双方能够处理的数据格式、从三维用眼镜向图像显示装置发送生物体信号。
另外,也可以是,作为发送规格中的具体信息,例如在所述发送规格蓄积部中蓄积的至少一种发送规格分别包含以下信息:用于确定所述生物体信号的种类的信息、或者对于所述生物体信号确定在所述三维用眼镜向所述图像显示装置发送信息之前对所述生物体信号进行的处理的等级的信息、或者所述三维用眼镜向所述图像显示装置发送信息的频次、或者取得所述生物体信号时的采样频率及其数据量、或者数据精度及记述该精度的数据量、或者所述生物体信号的时间长度及其数据量、或者在对所述生物体信号进行处理时使用的电极的号码及对其进行记述用的数据量中任意一方;以及用于测定所述生物体信号的每个电极的生物体信号的数据量、或者中间处理结果的种类及记述中间处理结果的数据量、或者对所述视听者的身体状态进行判定的判定结果的种类及记述所述身体状态的数据量中任意一方。
(实施方式)
下面,使用附图说明本发明的图像显示系统及三维用眼镜的实施方式。另外,下面说明的实施方式均用于示出本发明的优选的一个具体示例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例,其主旨不是限定本发明。本发明仅利用权利要求书进行限定。因此,关于下面的实施方式的构成要素中、没有在表示本发明的最上位概念的独立权利要求中记载的构成要素,不一定是实现本发明的课题所需要的构成要素,仅是作为构成更优选的方式的构成要素进行说明的。
<图像显示系统>
图1是本实施方式的图像显示系统100的结构图。
图像显示系统100是对视听者呈现三维图像的图像显示系统,由三维显示电视机10和三维用眼镜20构成。
<三维显示电视机的概要>
三维显示电视机10是交替地输出呈现给视听者的左眼的左眼用图像和呈现给右眼的右眼用图像的图像显示装置的一例,具有内容信息蓄积部110、画面控制部120、控制信号发送部130、通信控制部140、收发部150、视听者状态判定部160和信息呈现部170。
内容信息蓄积部110蓄积包括三维图像的影像内容。
另外,内容信息蓄积部110不仅蓄积DVD等介质内容,而且也暂时蓄积通过广播波或因特网分发而取得的内容信息。
画面控制部120进行在内置或者外置的画面(未图示)上显示在内容信息蓄积部110中蓄积的影像内容(影像显示),以及获取与三维用眼镜20的同步并控制影像显示。
控制信号发送部130根据来自画面控制部120的信号,向三维用眼镜20发送用于获取影像显示与三维用眼镜20的闸门动作的同步的控制信号。
通信控制部140控制与三维用眼镜20的通信。
收发部150在通信控制部140的控制下进行与三维用眼镜20的通信。具体地讲,收发部150向三维用眼镜20发送规格指定信号,并接收从三维用眼镜20发送的通信信号。其中,通信信号是指从三维用眼镜20发送给三维显示电视机10的通信数据,包括由三维用眼镜20得到的生物体信号。另外,规格指定信号是用于指定通信信号的规格的信号,具体地讲,是用于指定至少包含于通信信号中的数据的格式(种类、个数、长度和顺序中至少一方)的信号。
视听者状态判定部160根据从三维用眼镜20接收到的数值序列等信息判定疲劳等视听者的状态。在本实施方式中,视听者状态判定部160判定视听者的疲劳状态,但也可以判定取代疲劳状态的以下状态,或者在判定疲劳状态的基础上,还根据由三维用眼镜20(具体地讲是生物体信号传感器240)取得的生物体信号,根据皮肤电气反应、脉搏、血流量、血中氧浓度和皮肤温度等至少一项判定清醒度、兴奋度和集中度中至少一种。另外,也可以根据皮肤的含水量、血中氧浓度和皮肤温度等至少一项判定健康程度。并且,还可以根据皮肤电气反应、脉搏、皮肤温度、眼睛电位和眼球运动图像等至少一项判定影像眩晕的程度。并且,还可以根据眼球图像和鼻子的静脉图案中至少一项来确定个人。
信息呈现部170在画面上呈现出表示由视听者状态判定部160判定的视听者的状态的信息。
<三维用眼镜的概要>
三维用眼镜20是视听者在视听由三维显示电视机10呈现的三维影像时使用的眼镜。即,三维用眼镜20是具有左眼侧的闸门和右眼侧的闸门的眼镜,被佩戴于视听者的脸部或者头部,当在三维显示电视机10中显示有左眼用图像时使左眼侧的闸门成为透射状态,当在三维显示电视机10中显示有右眼用图像时使右眼侧的闸门成为透射状态。
该三维用眼镜20除眼镜、左眼侧的闸门和右眼侧的闸门之外,还具有控制信号接收部210、闸门控制部220、生物体信号传感器240、状态信号生成部250、发送规格蓄积部260和收发部270。
控制信号接收部210接收从三维显示电视机10(严格地讲是控制信号发送部130)发送的、用于获取三维显示电视机10的影像显示和三维用眼镜20的闸门动作的同步的控制信号。
闸门控制部220根据来自控制信号接收部210的信号,使未图示的右眼用或者左眼用闸门与在三维显示电视机10的画面上显示的右眼用或者左眼用的图像同步地进行开闭。
生物体信号传感器240是通过测定视听者的身体状态来取得生物体信号的生物体信号测定部的一例,用于取得视听者的生物体信号。在本实施方式中,生物体信号传感器240是用于测量眼睛电位的电极。另外,生物体信号传感器240不限于测量眼睛电位的电极,也可以是测定皮肤电气反应或者皮肤的含水量的电极、测量皮肤电位的电极、测量皮肤温度的温度传感器、测量脉搏、血流量、血中氧浓度的红外线或者近红外线传感器、拍摄眼球的摄像机或者红外线摄像机、或者拍摄鼻子的静脉图案的近红外线摄像机等。
状态信号生成部250通过对由生物体信号传感器240取得的数据实施后述的信号处理,生成在判定视听者的状态时使用的信号。
发送规格蓄积部260是蓄积至少一种发送规格的存储部,该发送规格是表示三维用眼镜20能够发送给三维显示电视机10的通信信号(包括生物体信号的通信数据)的规格的信息,在本实施方式中,发送规格蓄积部260蓄积三维用眼镜20能够输出的、用于确定在判定视听者的状态时使用的信号的规格的信息(即发送规格)。
通信控制部230控制与三维显示电视机10的通信。
收发部270在通信控制部230的控制下进行与三维显示电视机10的通信。具体地讲,收发部270将由生物体信号传感器240取得的生物体信号(严格地讲是由状态信号生成部250生成的信号)变换为通信信号,并发送给三维显示电视机10。此时,收发部270接收从三维显示电视机10发送的上述的规格指定信号,按照由接收到的规格指定信号指定的规格,将生物体信号变换为通信信号并发送给三维显示电视机10。即,收发部270通过参照发送规格蓄积部260,确定与接收到的规格指定信号对应的发送规格,并按照所确定的发送规格将生物体信号变换为通信信号。另外,该收发部270在接收规格指定信号之前,向三维显示电视机10发送用于识别三维用眼镜20的信号即眼镜ID、和在发送规格蓄积部260中蓄积的至少一种发送规格。
另外,在本实施方式中,收发部150和收发部270进行无线通信。该通信采用利用RF(Radio Frequency)通信、蓝牙通信、ZigBee、Wi-Fi通信或者红外线通信等的双向通信。
图2是表示在本实施方式的三维显示电视机10和三维用眼镜20之间的通信步骤的一例的图。图3是表示本实施方式的图像显示系统100的动作的流程图。按照图2和图3来说明本实施方式的图像显示系统100的处理步骤。另外,在图2、图3中,将“三维显示电视机10”简称为“电视机”,将“三维用眼镜20”简称为“眼镜”(同样适用于后面的附图)。
首先,未图示的三维显示电视机10的电源开关被视听者按下,三维显示电视机10的电源接通,图像显示系统100开始动作(S1000)。
然后,三维显示电视机10确认三维用眼镜20的电源是否接通(S1010)。在图2中,在三维显示电视机10的电源接通后,三维用眼镜20的未图示的电源开关被视听者按下,三维用眼镜20的电源接通,从三维用眼镜20的收发部270向三维显示电视机10的收发部150发送三维用眼镜20的眼镜ID(通信1)。其中,眼镜ID是识别三维用眼镜20的信号,例如是能够确定三维用眼镜20的制造商名称、型式、型号、制造号码及固有的识别信息中至少一项的信息。另外,眼镜ID如后面所述被蓄积在三维用眼镜20的发送规格蓄积部260中。
由此(三维显示电视机10接收眼镜ID),三维显示电视机10的视听者状态判定部160确认三维用眼镜20正在动作中,然后收发部150根据通信控制部140的控制,向三维用眼镜20发送眼镜ID接收完成信号(通信2)。
另外,在图2中,三维用眼镜20的电源是在三维显示电视机10的电源之后被接通,但三维用眼镜20的电源也可以先于三维显示电视机10的电源被接通。此时,在三维用眼镜20的电源接通后,三维用眼镜20的通信控制部230按照预先设定的一定时间间隔反复进行通信1,直到接收到通信2。
在步骤S1010,在三维用眼镜20的电源接通的情况下(S1010:是),进入到步骤S1020。另一方面,当在步骤S1010三维用眼镜20的电源未接通的情况下,即未能确认到通信1的情况下(S1010:否),进入到步骤S1200。
在步骤S1200,三维显示电视机10判定是否从未图示的三维显示电视机10的电源开关等进行了视听结束信号的输入。当在步骤S1200进行了视听结束信号的输入的情况下(S1200:是),进入到步骤S1220,结束图像显示系统100的动作(S1220)。另一方面,当在步骤S1200没有进行视听结束信号的输入的情况下(S1200:否),进入到步骤S1210,画面控制部120使在未图示的三维显示电视机10的画面上显示2D图像(S1210)。在此,二维图像是通过在画面上仅显示左右任意一方的图像而实现的。另外,画面控制部120向控制信号发送部130输出发送停止信号,由此控制信号发送部130停止向三维用眼镜20发送控制信号。在执行步骤S1210后的规定时间之后,返回到步骤S1010。
当在步骤S1010三维用眼镜20的电源接通的情况下(S1010:是),视听者状态判定部160尝试选择指标,该指标用于判定与通过步骤S1010的通信1而取得的眼镜ID对应的视听者的生物体信息(S1020)。在本实施方式中,选择用于判定视听者的眼睛的疲劳状态的疲劳指标作为生物体信息。关于其选择方法将在后面进行详细说明。
在未能确定(即选择)出与眼镜ID对应的指标(疲劳指标)的情况下(S1020:否),通信控制部140向收发部150输出控制信号,然后收发部150按照该控制信号向三维用眼镜20发送用于请求三维用眼镜20的指标(疲劳指标)的规格的眼镜规格请求信号(即,请求发送三维用眼镜20能够采用的发送规格的信号)(通信3)。
在三维用眼镜20的收发部270从三维显示电视机10接收到眼镜规格请求信号后,在三维用眼镜20中,通信控制部230向收发部270输出控制信号,其结果是,收发部270按照该控制信号向三维显示电视机10发送在发送规格蓄积部260中蓄积的三维用眼镜20能够输出的指标(疲劳指标)的规格(即发送规格)(通信4)。
图4是表示在发送规格蓄积部260中蓄积的指标的规格(即发送规格)的示例的图。如该图所示,指标的规格包括利用的生物体信号的种类(“利用生物体信息ID”)、发送的数据的处理等级(“数据等级ID”)、发送频次(“发送频次”)、发送数据的结构(“数据结构”)等。在发送数据的结构(“数据结构”)中按照发送数据的内容记述了数据的分配。例如,在发送未处理的传感器输出(即原始数据)的情况下,如图4中的“利用生物体信息ID”为“001”时的“数据结构”例所示,记述了包括以下内容的发送数据的结构:即,采样频率、生物体信号的数据精度、生物体信号的时间长度、在处理中使用的电极的号码等用于发送待发送的生物体信号的属性的信息的分配,以及生物体信号自身的信息的分配。
即,在发送规格蓄积部260中蓄积的至少一种发送规格分别包含以下信息:(1)用于确定生物体信号的种类的信息、或者对于生物体信号确定在三维用眼镜20向三维显示电视机10发送信息之前对生物体信号进行的处理的等级的信息、或者三维用眼镜20向三维显示电视机10发送信息的频次、或者取得生物体信号时的采样频率及其数据量、或者数据精度及记述该精度的数据量、或者生物体信号的时间长度及其数据量、或者在对生物体信号进行处理时使用的电极的号码及对其进行记述用的数据量中任意一方,以及(2)用于测定生物体信号的每个电极的生物体信号的数据量、或者中间处理结果的种类及记述中间处理结果的数据量、或者对视听者的身体状态的判定结果的种类及记述身体状态的数据量中任意一方。
另外,如后面所述,在该发送规格蓄积部260中还蓄积了三维用眼镜20的眼镜ID。
三维用眼镜20能够输出的指标(即发送规格)根据三维用眼镜的种类而不同,根据三维用眼镜的种类,存在能够输出的指标是一种的情况、能够输出多种指标的情况、能够按照多个数据处理等级进行输出的情况。图4示出的示例是具有多种发送规格的三维用眼镜、即能够按照多个数据处理等级输出多种指标的三维用眼镜具有的发送规格的示例。在图4中,作为能够用作指标的生物体信息(“利用生物体信息ID”),在图中有分别用001、002、007示出的“聚焦散焦运动速度”、“聚焦散焦运动量”、“每一定时间的眨眼频次”。另外,关于“利用生物体信息ID”为007的“每一定时间的眨眼频次”,有用“数据等级ID”001和003示出的两个等级,即分别是“未处理的传感器输出的等级”和作为“视听者状态的判定结果”的疲劳度的值的等级。图4示出的示例是通过在眼睛的周围安装电极而测量出的、能够从眼睛电位取得的指标的规格的示例。这样,“数据等级ID”是确定从三维用眼镜20发送给三维显示电视机10的通信信号(包括生物体信号的数据)中所包含的数据的加工程度(即,三维用眼镜20对生物体信号的处理程度(数据等级))的信息,在本实施方式中,按照加工程度从低到高的顺序,将“数据等级ID”设定为001(通信信号中所包含的数据是“未处理的传感器输出的等级(原始数据)”的情况)、002(通信信号中所包含的数据是“基于滤波信号处理的已加工数据”的情况)、以及003(通信信号中所包含的数据是“视听者状态的判定结果”的情况)中任意一方。
在图4中,“数据发送规格ID”为001的发送规格,是将图5的上段第2行示出的“聚焦散焦运动速度变化”作为指标时的发送规格的示例。在图5的上段,对于能够从眼睛电位取得的疲劳指标(“能够从在疲劳检测中使用的眼睛电位抽取的指标”),示出了进行疲劳判定所需要的生物体信号的取得条件(两眼或单眼(电极数量)、采样频率、比特数、单位时间(发送间隔))。如图5的“两眼/单眼(电极数量)”所示,为了将“聚焦散焦运动速度变化”用于疲劳的判定,需要左右各个眼球运动的信息(即两眼的信息),用于取得两眼的信息的最少电极数量为6个。例如,为了按照图6所示以用两个电极夹着一只眼睛的方式配置电极,需要4个测量电极1~4、1个基准电极5、用于使身体整体的电位接地的1个接地电极(未图示),合计为6个。并且,如图5中的“采样频率”、“比特数(振幅的分辨率)”所示,为了捕捉眼睛电位的变化,通常采用在200Hz以上进行采样及数字化、针对振幅的分辨率约为16比特以上的条件。另外,如图5中的“单位时间(通信时间)”所示,用于求出指标的眼睛电位信号的持续时间约为5分钟。与此相对,在“数据发送规格ID”为001时,可知是如图4的“数据结构”所示的规格,即发送频次为2分钟1次,根据对电极1~电极5分配的数据量,发送2分钟量的眼睛电位信号。
在图4中,“数据发送规格ID”为002的发送规格是“利用生物体信息ID”为002、即将“聚焦散焦运动量”作为指标时的发送规格的示例。在图5的上段第3行示出了用于将“聚焦散焦运动量”用于疲劳的判定的测定条件。如图5的上段第3行所示,需要使用6个电极测定两眼的数据,数字化需要采样频率为100Hz以上、16比特以上的精度。在将该数据以未处理的传感器输出的状态进行发送时的数据的结构,与图4中的“数据发送规格ID”为001的情况相同,但在图4中示出了“数据等级ID”为002、即按照基于信号处理的已加工数据的中间输出等级进行发送时的规格。根据生物体信号的种类及其处理方式,存在未处理的传感器输出的数据量非常大、通信负荷较高的情况。中间处理结果往往具有将信息压缩的效果,对削减两者之间的通信负荷比较有效。
在图5的下段示出了未处理的传感器输出与中间处理后的数据量的对比。在图5的下段中,对于在图5的上段示出了测定条件的生物体信号(“能够从在疲劳检测中使用的眼睛电位抽取的指标”),按照每单位时间示出了在将各个生物体信号用作指标时所需要的传感器输出等级的数据量(“每单位时间的测定数据量”),并示出了中间处理的内容(“中间处理内容”)和中间处理结果的每单位时间的数据量(“每单位时间的中间处理结果数据量”)。在图5中示出了当作为图4的“数据发送规格ID”所示的聚焦散焦运动量的中间处理进行了带通滤波、两眼向相反方向移动的反相运动的抽取、以及所抽取的反相运动的每个采样点的差分的总和计算的情况下,在未处理的传感器输出中,作为每个电极的时间数据(“每单位时间的测定数据量”)是在5分钟内需要300000字节,然而通过计算每个采样点的差分的总和,该数据成为2字节(“每单位时间的中间处理结果数据量”)。通过进行中间处理的加工,发送数据的结构例如根据图4所示的“数据发送规格ID”为002的“数据结构”可知,对测定生物体信号的时间长度和测定时的数据精度各分配2字节,对作为生物体信号而计算出的运动量仅分配2字节。
在图4中,“数据发送规格ID”为003的发送规格是发送生物体信号的发送规格,该生物体信号用于求出图5的上段最后一行的“每一定时间的眨眼频次”的指标。该“数据发送规格ID”为003的发送规格是发送未处理的传感器输出的规格(“数据等级ID”为001),在图5中示例了发送单眼测定用的3个电极(1个测量电极和1个基准电极和接地电极)中的测量电极和基准电极这两个电极的生物体信号的规格。
与此相对,在图4中的“数据发送规格ID”为004的发送规格中,与“数据发送规格ID”为003的发送规格相同地采用每一定时间的眨眼频次,是发送“数据等级ID”为003即“视听者状态的判定结果”(即,生物体信号的处理的最终结果)的发送规格。在该发送规格中不需要以后的处理,因而不需要发送测定时的条件等,如图4的“数据结构”所示,待发送的数据仅用2字节发送视听者的状态的判定结果即疲劳度。
用于生成未处理的传感器输出、中间处理结果、状态判定结果的各个数据等级的数据的计算负荷以及发送数据量,根据指标而不同,并且,根据三维用眼镜20的CPU和存储器的规格及收发部270和收发部150的通信速度,决定能够利用的指标的种类和通信时的数据等级。三维用眼镜20在制造时根据其CPU和存储器的规格及通信速度、以及所设置的传感器的能力和数量或设置场所,决定该眼镜能够输出的指标及其规格。
在三维用眼镜20能够输出而且三维显示电视机10能够受理并进行处理的指标有多个(即后述的测定规格有多种)的情况下,通过视听者的选择或者三维显示电视机10的自动选择来决定一个指标(即测定规格)。其结果是,在三维显示电视机10中,收发部150根据通信控制部140的控制,向三维用眼镜发送与所决定的指标(即测定规格)对应的发送规格、或者用于指定发送规格的信号(即规格指定信号)(通信5)。另外,所谓测定规格如后面所述是指在三维显示电视机10具有的测定规格蓄积部163中蓄积的、表示三维显示电视机10能够接收的通信信号的规格(数据格式)的信息的一例,在此是指按照将三维显示电视机10的视听者作为对象的各种测定的每个种类来规定所需要的生物体信号(包括数据格式的发送规格)的信息。
当在步骤S1020不能决定疲劳指标(即测定规格)的情况下(S1020:否),进入到步骤S1100。在步骤S1100,收发部150根据通信控制部140的控制,向三维用眼镜20发送生物体信号测量中止信号。三维用眼镜20通过收发部270接收生物体信号测量中止信号,并停止生物体信号传感器240和状态信号生成部250的动作(S1100),进入到步骤S1090使三维影像显示,而不需进行眼睛电位的测量和视听者的状态信号的生成(S1090)。
另一方面,当在步骤S1020决定了疲劳指标的情况下(S1020:是),进入到步骤S1030。在步骤S1030,三维显示电视机10判定是否从未图示的电源开关等进行了视听结束信号的输入。当在步骤S1030进行了视听结束信号的输入的情况下(S1030:是),进入到步骤S1220,结束图像显示系统100的动作(S1220)。
另一方面,当在步骤S1030没有进行视听结束信号的输入的情况下(S1030:否),进入到步骤S1040,确认生物体信号传感器240和状态信号生成部250正在进行动作(S1040)。当在步骤S1040生物体信号传感器240和状态信号生成部250正在进行动作的情况下(S1040:是),进入到步骤S1050,另一方面,当在步骤S1040生物体信号传感器240和状态信号生成部250没有进行动作的情况下(S1040:否),进入到步骤S1090使三维影像显示,而不需进行眼睛电位的测量和视听者的状态信号的生成(S1090)。
在步骤S1050,接触到眼球周围的皮肤的电极即生物体信号传感器240取得随着眼球运动而产生的电位变动并进行蓄积(S1050)。状态信号生成部250根据在步骤S1020决定的发送规格,对在步骤S1050取得的数据进行处理,并生成待发送的生物体信号数据。三维用眼镜20的收发部270向三维显示电视机10发送生物体信号数据(通信6),三维显示电视机10的收发部150接收生物体信号数据(S1060)。步骤S1060的处理等级根据在步骤S1020决定的疲劳指标和生物体信号数据的规格而不同。该处理等级包括这样的等级:根据将在步骤S1050取得的随着眼球运动而产生的电位变动直接变换为发送数据的等级来计算疲劳指标,仅将疲劳指标的值变换为发送数据的等级。因此,根据作为生物体信号数据而进行通信的数据的处理等级,针对测量出的眼睛电位的信号处理及分析和疲劳指标的计算包括:由三维用眼镜20的状态信号生成部250进行步骤S1060的处理的情况、和由三维显示电视机10的视听者状态判定部160进行步骤S1070的处理的情况。
视听者状态判定部160根据在步骤S1060生成并发送的生物体信号数据求出疲劳指标,并判定疲劳指标是否超过了预先设定的阈值(S1070)。其结果是,当在步骤S1070疲劳指标超过了阈值的情况下(S1070:是),信息呈现部170对视听者呈现疲劳状态警告(S1080)。另一方面,当在步骤S1070疲劳指标没有超过阈值的情况下(S1070:否),进入到步骤S1090。
在步骤S1090,画面控制部120控制未图示的画面使显示三维影像,控制控制信号发送部130使其向三维用眼镜发送用于使三维用眼镜20的闸门与显示于画面的右眼用和左眼用的图像同步地进行开闭的控制信号(通信7)。其结果是,三维用眼镜20的控制信号接收部210接收从控制信号发送部130发送的控制信号,闸门控制部220使未图示的闸门开闭,使得对视听者的右眼仅呈现右眼用图像,对视听者的左眼仅呈现左眼用图像(S1090)。
在执行步骤S1090后的预先设定的时间之后,返回到步骤S1030,反复执行步骤S1030~步骤S1090,在三维显示电视机10能够受理三维用眼镜20能够输出的疲劳指标的情况下,三维显示电视机10监视视听者的疲劳程度,检测视听者未注意到的疲劳的征兆,并对视听者警告疲劳状态,由此能够防止由于视听三维显示电视机10而产生的疲劳、影像眩晕、或者立体视的异常,视听者能够舒适地欣赏三维影像。
如上所述,三维显示电视机10和三维用眼镜20通过双向通信来进行通信规格的调和,由此在三维显示电视机10和三维用眼镜20的制造商不同的情况下、制造时间不同的情况下、功能不同的情况下等,即使不是制造时预定的三维显示电视机10和三维用眼镜20的组合,也能够实现最大限度的功能。另外,通过根据双向通信来进行使用上的调和,能够调节计算负荷或对存储器的负荷或者通信负荷,并能够实现抑制三维用眼镜20的电池消耗、能够快速反应并紧急应对视听者的状态等与视听者的优先事项对应的选择。
<三维显示电视机的详细情况>
图7是本实施方式的三维显示电视机10的具体结构的块图。在图7中,将图1所示的三维显示电视机10的视听者状态判定部160和收发部150的结构具体化,对于三维用眼镜20仅示出了收发部270的具体结构,省略了其它部分。
视听者状态判定部160具有测定规格决定部161、视听者状态计算部162和测定规格蓄积部163。测定规格蓄积部163是蓄积至少一种测定规格的存储部,该测定规格是表示有关收发部150能够接收的通信信号(包括生物体信号的数据)的多种规格的信息,在此是蓄积能够在判定疲劳状态时使用的生物体信号数据的规格。测定规格决定部161是从在测定规格蓄积部163中蓄积的至少一种测定规格中,决定在判定视听者的状态时使用的一种测定规格的处理部,根据从三维用眼镜20接收到的信息决定生物体信号指标,并决定生物体信号的发送规格。视听者状态计算部162利用从三维用眼镜20接收到的生物体信号数据,计算或者取得视听者的疲劳状态,并判定视听者的疲劳状态。
收发部150具有眼镜信息接收部151和发送规格发送部152。眼镜信息接收部151是接收处理部,接收由三维用眼镜20发送的数据(眼镜ID、通信信号等)。发送规格发送部252是发送处理部,向三维用眼镜20发送表示与由测定规格决定部161决定的测定规格对应的发送规格的信号(规格指定信号)等数据发送请求信号。
图8是图7所示的视听者状态计算部162的具体结构的块图。视听者状态计算部162具有切换部610、根据切换部610的切换而有选择地执行的3个处理部(聚焦散焦运动速度变化处理部601、聚焦散焦运动量处理部602和疲劳指标取得部603)、根据3个处理部的处理结果判定视听者的疲劳的疲劳判定部611。
切换部610根据利用的生物体信号数据的规格,有选择地执行3个处理部(聚焦散焦运动速度变化处理部601、聚焦散焦运动量处理部602和疲劳指标取得部603)中的任意一个处理部,由此切换3个处理。
在由生物体信号传感器240取得的生物体信号数据未经处理即直接从三维用眼镜20发送过来的情况下,聚焦散焦运动速度变化处理部601利用接收到的生物体信号数据,求出有关视听者的眼睛的聚焦散焦运动的速度变化,并计算出疲劳指标。在从三维用眼镜20发送来聚焦散焦运动量的每单位时间的总和的情况下,聚焦散焦运动量处理部602将接收到的聚焦散焦运动量的每单位时间的总和进行累计,将累计得到的聚焦散焦运动量的总和变换为疲劳指标。在从三维用眼镜20发送了疲劳指标的情况下,疲劳指标取得部603取得该疲劳指标。疲劳判定部611根据从3个处理部(聚焦散焦运动速度变化处理部601、聚焦散焦运动量处理部602和疲劳指标取得部603)中的任意一个处理部输出的疲劳指标,判定视听者的疲劳。
聚焦散焦运动速度变化处理部601包括:信号取得部621,取得接收到的信号;信号存储部622,存储所取得的信号;信号处理部623;聚焦运动抽取部624;运动速度计算部625;方均差计算部626;初期状态存储部627,存储视听开始时的视听者的状态;运动速度比较部628,将视听开始时的视听者的状态和当前的视听者的状态进行比较;变换函数存储部629,存储从聚焦散焦运动的速度的变化向疲劳指标的变换函数;以及疲劳指标计算部630。聚焦散焦运动量处理部602包括信号取得部641、累计运动量存储部642、累计运动量计算部643、变换表644和疲劳指标计算部645。
图9是详细说明图3的流程图中步骤S1020的处理(疲劳指标的决定)的流程图。图10A是详细说明图3的流程图中步骤S1070的处理(疲劳指标的判定)的流程图。按照图7~图10A详细说明三维显示电视机10的动作中步骤S1020和步骤S1070的处理。
当在步骤S1010确认到三维用眼镜20的电源接通的情况下,即在从三维用眼镜20发送了眼镜ID、从三维显示电视机10向三维用眼镜20发送了眼镜ID接收完成信号后,测定规格决定部161参照测定规格蓄积部163,检索与接收到的眼镜ID对应的在计算疲劳指标时使用的生物体信息及其发送规格(S2010)。测定规格蓄积部163例如以图11A所示的形式蓄积三维显示电视机10能够利用的发送规格(“数据发送规格”)和对应的眼镜ID。在此,“眼镜ID”是识别眼镜的信息,例如是按照每个公司、每个商品而赋予的。“数据发送规格”是构成发送规格的数据,在此是由“利用生物体信息”、“数据等级”、“数据结构”构成的信息。“利用生物体信息”表示利用的生物体信息的种类(例如“聚焦散焦运动速度变化”或者“聚焦散焦运动量”等)。“数据等级”表示使用的数据的变换状态(加工程度),例如是确定直接使用传感器输出的信息、或者对传感器输出的信息进行变换(加工处理)后使用等的信息。“数据结构”表示实际的数据的内容(例如采样频率、数据精度、时间长度、电极等)。
在该步骤S2010,当在测定规格蓄积部163中具有相应眼镜ID、并能够确定在计算疲劳指标时使用的生物体信息和数据的发送规格的情况下(S2010:是),进入到步骤S2050。另一方面,在步骤S2010,当在测定规格蓄积部163中没有相应眼镜ID、不能确定在计算疲劳指标时使用的生物体信息和数据的发送规格的情况下(S2010:否),进入到步骤S2020。
在步骤S2020,测定规格决定部161请求通信控制部140向三维用眼镜20发送眼镜规格请求信号。通信控制部140按照该请求,向收发部150的发送规格发送部152输出控制信号。其结果是,发送规格发送部152向三维用眼镜20发送用于请求三维用眼镜20具有的疲劳指标的规格的眼镜规格请求信号(通信3,S2020)。
在三维用眼镜20中,在收发部270的发送规格接收部272从三维显示电视机10接收到眼镜规格请求信号时,三维用眼镜20的通信控制部230向收发部270的眼镜信息发送部271输出控制信号。其结果是,眼镜信息发送部271向三维显示电视机10发送在发送规格蓄积部260中蓄积的三维用眼镜20能够输出的疲劳指标的规格(即至少一种发送规格)(通信4)。另外,存在三维用眼镜20能够输出的疲劳指标的规格是一种的情况和有多种的情况。
三维显示电视机10的眼镜信息接收部151接收从三维用眼镜20发送的疲劳指标的规格(即至少一种发送规格)(S2030)。测定规格决定部161参照测定规格蓄积部163,检索在步骤S2030取得的疲劳指标的规格(即至少一种发送规格)中、与三维显示电视机10能够利用的数据发送规格(即测定规格)中的某一种规格一致的规格(S2040)。
其结果是,在步骤S2040,当在步骤S2030取得的疲劳指标的规格(即至少一种发送规格)都不与三维显示电视机10能够利用的数据发送规格(即任意一种测定规格)一致的情况下(S2040:否),进入到步骤S1100,向三维用眼镜20发送生物体信号测量中止信号,使三维用眼镜20的生物体测量停止(S1100)。另一方面,在步骤S2040,当在步骤S2030取得的疲劳指标的规格(即至少一种发送规格)中一种以上的规格与三维显示电视机10能够利用的数据发送规格(即任意一种测定规格)一致的情况下(S2040:是),进入到步骤S2050。
在步骤S2050,确认与三维用眼镜20能够输出的疲劳指标的规格一致的三维显示电视机10能够利用的数据发送规格的数量(S2050)。其结果是,在步骤S2050,当与三维用眼镜20能够输出的疲劳指标的规格一致的三维显示电视机10能够利用的数据发送规格只有一种的情况下(S2050:否),进入到步骤S2070。另一方面,在步骤S2050,当与三维用眼镜20能够输出的疲劳指标的规格一致的三维显示电视机10能够利用的数据发送规格有两种以上的情况下(S2050:是),测定规格决定部161从这些数据发送规格中选择一种数据发送规格(S2060)。测定规格决定部161例如选择与三维用眼镜20能够输出的疲劳指标的规格一致的三维显示电视机10能够利用的数据发送规格中、三维用眼镜20的处理量最少的数据发送规格即发送数据的数据等级为传感器输出或与其接近的中间输出的数据发送规格。或者,例如选择通信负荷最小的数据发送规格。在这种情况下,选择用于发送疲劳指标或与其接近的中间输出的规格。例如,也可以呈现图10B所示的画面显示,按照视听者的选择输入进行选择。
在步骤S2060,在选择一种数据发送规格后,发送规格发送部152根据通信控制部140的控制,向三维用眼镜发送所决定的疲劳指标用的数据发送规格(即规格指定信号)(通信5)。例如,在发送来眼镜ID为P12-34的情况下,假设在图11A的数据发送规格中只对应于数据发送规格ID为001的规格。此时,事前从该三维显示电视机10发送图11B所示的数据(即规格指定信号;通信5的内容),以便按照数据发送规格ID为001的规格从三维用眼镜20接收生物体信号数据。由此,在三维用眼镜20不是三维显示装置附带的三维用眼镜的情况下,通过事前发送生物体数据的发送格式或者指定发送格式的信息,能够利用由三维用眼镜20测定出的数据。
在步骤S1070,首先视听者状态计算部162的切换部610将眼镜信息接收部151和以在步骤S1020决定的疲劳指标的规格为对象的处理部连接(S3010)。在本实施方式的示例中,切换部610切换聚焦散焦运动速度变化处理部601和聚焦散焦运动量处理部602和疲劳指标取得部603中任意一方与眼镜信息接收部151的连接。另外,关于切换部610在步骤S3010进行的切换,在此是在步骤S1060三维显示电视机接收到生物体信号数据后进行的,但除此之外,只要是在通过步骤S1020决定了疲劳指标的规格之后、而且是执行在步骤S1070接收到的生物体信号数据的处理之前,则可以在任何时刻进行。
视听者状态计算部162确认疲劳指标是否是“聚焦散焦运动的运动速度变化”(S3020)。在疲劳指标是“聚焦散焦运动的运动速度变化”的情况下(S3020:是),聚焦散焦运动速度变化处理部601的信号取得部621从眼镜信息接收部151取得生物体信号数据,并存储在信号存储部622中(S3021)。另一方面,在步骤S3020,在疲劳指标不是“聚焦散焦运动的运动速度变化”的情况下(S3020:否),视听者状态计算部162确认疲劳指标是否是“聚焦散焦运动的运动量”(S3040)。在疲劳指标是“聚焦散焦运动的运动量”的情况下(S3040:是),聚焦散焦运动量处理部602的信号取得部641从眼镜信息接收部151取得生物体信号数据(S3041)。另一方面,在步骤S3040,在疲劳指标不是“聚焦散焦运动的运动量”的情况下(S3040:否),疲劳指标取得部603从眼镜信息接收部151取得生物体信号数据,并进入到步骤S3050。
以后从步骤S3022到步骤S3030的处理由聚焦散焦运动速度变化处理部601进行。聚焦散焦运动速度变化处理部601通过选择图5所示的基于生物体信号的疲劳判定的示例中利用聚焦散焦运动速度变化的示例、即在三维用眼镜20中不进行信号处理而发送数据的规格,削减三维用眼镜20的计算负荷,并削减存储量。由此,通过削减三维用眼镜20的成本来削减功耗,能够实现长时间使用,或者通过抑制电池的尺寸(电池容量),能够提供设计的自由度较高且较轻的眼镜。另外,通过使计算能力和存储容量具有富余,并由不会产生电池容量的问题的三维显示电视机10进行具体的信号处理,能够实现精度较高的疲劳判定。
在步骤S3021取得的生物体信号数据是如图6所示在三维用眼镜20上设置的各个电极的电位数据。另外,在右侧面的三维用眼镜20的挂耳部分设有未图示的接地电极。信号处理部623计算以与眼睛周围的皮肤接触的方式设置的4个测量电极1~4各自与在眼镜腿的挂耳部设置的基准电极5的电位之差(S3022)。另外,信号处理部623使在步骤S3022计算出的测量电极1~4与基准电极5的电位差的数据通过带通滤波器(S3023)。带通滤波器例如是将10Hz~100Hz设为通过频带的滤波器。聚焦运动抽取部624计算测量电极1与基准电极5的电位差、和测量电极4与基准电极5的电位差之差分,作为对于左右两眼共用的水平方向的运动成分。并且,计算测量电极1和测量电极4的平均、与测量电极2和测量电极3的平均之差分,作为对于左右两眼共用的垂直方向的运动成分。另外,聚焦运动抽取部624求出测量电极1与测量电极2之差分、以及测量电极4与测量电极3之差分,从这两个差分分别减去对于两眼共用的水平方向和垂直方向的运动成分,并抽取测量电极1与测量电极2之间的视听者的右眼的聚焦运动成分、和测量电极3与测量电极4之间的视听者的左眼的聚焦运动成分(S3024)。运动速度计算部625对于作为运动速度的在步骤S3024抽取的左右眼睛的聚焦运动成分,针对电位变动的所有峰值,将峰值与下一个峰值的电位差用峰值之间的时间去除,由此计算各个运动速度(S3025)。方均差计算部626对于在步骤S3025计算出的峰值之间的运动速度,计算在步骤S3021取得的数据的总体时间范围内的运动速度的平均和方差(S3026)。方均差计算部626确认在初期状态存储部627中是否存储有运动速度的视听开始时的初始值(S3027)。在步骤S3027,当在初期状态存储部627中存储有初始值的情况下(S3027:是),进入到步骤S3029。另一方面,在步骤S3027,当在初期状态存储部627中没有存储初始值的情况下(S3027:否),方均差计算部626将在步骤S3026计算出的运动速度的平均和方差的值输出给初期状态存储部627。并且,初期状态存储部627存储在步骤S3026计算出的运动速度的平均和方差的值(S3028)。运动速度比较部628求出在步骤S3026计算出的运动速度的平均与在初期状态存储部627中存储的运动速度的平均之差,并求出在步骤S3026计算出的运动速度的方差与在初期状态存储部627中存储的运动速度的方差之差。并且,计算对平均之差及方差之差分别乘以常数并相加得到的值,作为运动速度变化量(S3029)。疲劳指标计算部630根据计算出的运动速度变化量,参照在变换函数存储部629中存储的变换函数来计算疲劳指标(S3030)。该变换函数例如是如图12所示的表示运动速度变化量与疲劳指标的关系的函数。
下面,说明聚焦散焦运动量处理部602的处理。聚焦散焦运动量处理部602进行图5所示的基于生物体信号的疲劳判定的示例中利用聚焦散焦运动量的示例的处理。在此,选择由三维用眼镜20进行信号处理并向三维显示电视机10发送数据的发送规格。在疲劳判定中使用的聚焦散焦运动量是指一定时间区间内的聚焦运动的总和。在该信号处理中,对于信号处理的计算负荷较小而且是时间波形的电位数据,运动总和为一个数值,因而通过进行信号处理,数据量被大幅压缩。由此,能够大幅减小通信的负荷。三维显示电视机10的处理较少,因而也能够应对诸多视听者同时视听的情况。
在步骤S3041取得的生物体信号是在三维用眼镜20的动作中利用后述的方法根据眼睛电位而求出的。生物体信号是指根据眼睛电位而求出的一定时间区间内的聚焦散焦运动的总和。在累计运动量存储部642中存储有从开始视听三维影像起的聚焦散焦运动的累计值。累计运动量计算部643计算在步骤S3041取得的聚焦散焦运动的每单位时间的总和、与在累计运动量存储部642中存储的从开始视听三维影像到取得信号的聚焦散焦运动的累计值之和,计算包括新取得的信号量在内的聚焦散焦运动的最新的累计值,并存储在累计运动量存储部642中(S3042)。疲劳指标计算部645参照变换表644来确定与计算出的聚焦散焦运动的累计值对应的疲劳指标,由此计算疲劳指标(S3043)。变换表644例如是如图13所示的存储了聚焦散焦运动的累计值的范围(“累计聚焦散焦运动”)与“疲劳指标”的对应关系的表。
下面,说明疲劳指标取得部603的处理。疲劳指标取得部603进行图5所示的基于生物体信号的疲劳判定的示例中利用每一定时间的眨眼频次的示例的处理。在此,选择由三维用眼镜20计算疲劳指标、并将表示其结果的数据发送给三维显示电视机10的规格。在疲劳判定中使用的眨眼的频次是指一定时间区间内的眨眼的次数。眨眼时的电位相比基于眼球运动的眼睛电位非常大,因而容易检测出来,即使在测定时电位相对于振幅的分辨率(精度)较低,也能够检测出来。因此,在三维用眼镜20进行处理时数据量较少,计算负荷较小,存储器也较小。因此,即使是由三维用眼镜20计算疲劳指标,也能够以较小的计算能力或存储容量完成,因而能够削减成本。另外,由于不是时间数据,而仅是一个疲劳指标的值,因而通信的负荷较小。并且,几乎没有在三维显示电视机10中进行的处理,因而也能够应对人数较多的人进行视听的情况。
疲劳指标取得部603在步骤S3051取得生物体信号作为疲劳指标。
疲劳判定部611将在步骤S3030或者步骤S3043计算出的疲劳指标或者在步骤S3051取得的疲劳指标、与预先设定的阈值进行比较(S3050)。关于阈值例如设为5,在疲劳指标为5以上的情况下(S3050:否),进入到步骤S1080,另一方面在疲劳指标小于5的情况下(S3050:是),进入到步骤S1090。
如上所述,三维显示电视机10按照三维用眼镜20能够发送的通信规格(即发送规格),接收从三维用眼镜20发送的生物体信号,并根据接收到的生物体信号判定视听者的疲劳状态。由此,通过应对多种生物体信号的通信规格,在视听者利用制造商或者制造时间不同的眼镜、或者型号不同的眼镜视听三维图像时,三维显示电视机10能够取得与视听者使用的三维用眼镜20对应的生物体信号,并判定视听者的疲劳状态,能够保证舒适地视听三维图像。
<三维用眼镜的详细情况>
图14是三维用眼镜20的具体结构的块图。在图14中,将图1所示的三维用眼镜20的状态信号生成部250和收发部270的结构具体化,对于三维显示电视机10仅示出了收发部150和其具体结构,省略了其它部分。
状态信号生成部250具有生物体信号蓄积部251、信号生成控制部252、生物体信号处理部253、发送信号生成部254。生物体信号蓄积部251蓄积由生物体信号传感器240测定的每个电极的电位数据。信号生成控制部252根据由发送规格接收部272接收到的来自三维显示电视机10的请求规格,控制发送数据的规格。生物体信号处理部253根据信号生成控制部252的控制,进行在生物体信号蓄积部251中蓄积的生物体信号的处理。发送信号生成部254根据信号生成控制部252的控制,生成包括生物体信号的发送数据(即通信信号)。
图15是表示三维用眼镜20的处理的流程图。对与图3相同的处理标注相同的标号。
按照图14、图15以及表示通信步骤的图2来说明三维用眼镜20的动作。
首先,通过未图示的电源开关的输入,三维用眼镜20的电源接通(S1010)。生物体信号传感器240开始测定视听者的生物体信号,将测定结果蓄积在生物体信号蓄积部251中(S4000)。眼镜信息发送部271按照通信控制部230的控制,发送在发送规格蓄积部260中蓄积的三维用眼镜20的眼镜ID(通信1,S4010)。在发送规格蓄积部260中蓄积的数据(发送规格)例如是如图16所示的数据(例A或者例B)。在此示出了三维用眼镜20的眼镜ID与三维用眼镜20能够采用的至少一种发送规格的组合(两个组合例)。图16的例A是三维用眼镜20能够发送的生物体信号的规格是一种规格时的发送规格的示例,图16的例B是三维用眼镜20能够发送的生物体信号的规格是多种规格时的发送规格的示例。在该步骤S4010(通信1),眼镜信息发送部271从发送规格蓄积部260仅读出眼镜ID,并发送给三维显示电视机10。
然后,发送规格接收部272确认是否从三维显示电视机10接收到了眼镜ID接收信号(表示接收到了眼镜ID的信号)(通信2,S4020)。在接收到眼镜ID接收信号的情况下(S4020:是),进入到步骤S4030。另一方面,在没有接收到眼镜ID接收信号的情况下(S4020:否),发送规格接收部272确认是否有结束信号(S4070)。通过根据未图示的电源开关的输入来进行三维用眼镜20的电源切断,结束信号被输入发送规格接收部272。或者,通过从三维显示电视机10接收结束信号,结束信号被输入发送规格接收部272。当在步骤S4070没有结束信号的情况下(S4070:否),返回到步骤S4010,反复进行步骤S4010~步骤S4020直到接收到眼镜ID接收信号。当在步骤S4070有结束信号的情况下(S4070:是),进入到步骤S4090,结束三维用眼镜20的动作。
在步骤S4030,发送规格接收部272确认是否从三维显示电视机10接收到眼镜规格请求信号(通信3、S4030)。当在步骤S4030接收到眼镜规格请求信号的情况下(S4030:是),发送规格接收部272发送在发送规格蓄积部260中蓄积的三维用眼镜20的发送规格(通信4、S4040)。另一方面,当在步骤S4030没有接收到眼镜规格请求信号的情况下(S4030:否),进入到步骤S4050。
在步骤S4050,信号生成控制部252确认发送规格接收部272是否接收到测定中止信号(S4050)。当在步骤S4050没有接收到测定中止信号的情况下(S4050:否),进入到步骤S5000。另一方面,当在步骤S4050接收到测定中止信号的情况下(S4050:是),信号生成控制部252使生物体信号传感器240停止,将在生物体信号蓄积部251中蓄积的生物体信号数据删除(S4060)。然后,信号生成控制部252确认是否有结束信号、即是否发生了从未图示的电源开关进行了输入或者发送规格接收部272接收到结束信号的任意一种情况(S4080)。当在步骤S4080有结束信号的情况下(S4080:是),进入到步骤S4090,结束三维用眼镜20的动作。另一方面,当在步骤S4080没有结束信号的情况下(S4080:否),反复进行步骤S4080。
在步骤S5000,信号生成控制部252确认发送规格接收部272是否从三维显示电视机10接收到数据发送规格信号(指定发送规格的信号,即规格指定信号)(S5000)。当在步骤S5000接收到了数据发送规格信号的情况下(通信5)(S5000:是),进入到步骤S5010。另一方面,当在步骤S5000没有接收到数据发送规格信号的情况下(S5000:否),返回到步骤S4030,反复进行步骤S4030~步骤S5000来进行数据发送规格的决定。
在步骤S5010,信号生成控制部252根据发送规格接收部272接收到的数据发送规格信号(规格指定信号),选择生物体信号处理部253对生物体信号的处理内容和由发送信号生成部254生成的发送信号的规格(即发送规格)。其中,仅在三维用眼镜20保存了多种生物体信号的处理方式、并且能够生成与各种处理方式对应的发送信号的情况下,执行步骤S5010。在三维用眼镜20保存的生物体信号的处理方式是一种方式的情况下,不执行该步骤。
然后,信号生成控制部252确认是否有结束信号(S1040)。当在步骤S1040有结束信号的情况下(S1040:是),进入到步骤S4090,结束三维用眼镜20的动作。另一方面,当在步骤S1040没有结束信号的情况下(S1040:否),控制信号接收部210接收闸门控制信号(通信7,S5030),闸门控制部220按照在步骤S5030接收到的控制信号,切换未图示的闸门的遮挡和透射(S5040)。由此,当在三维显示电视机10的画面上呈现了右眼用的图像时,在三维用眼镜20中右眼的闸门成为透射状态,左眼的闸门成为遮挡状态。另一方面,当在三维显示电视机10的画面上呈现了左眼用的图像时,在三维用眼镜20中左眼的闸门成为透射状态,右眼的闸门成为遮挡状态。即,通过与三维显示电视机10的画面显示同步地切换闸门,能够对视听者的左右眼睛准确呈现左右的图像,能够实现三维图像的视听。
另外,当在步骤S1040没有结束信号的情况下(S1040:否),与上述处理(S5030、S5040)并行地,生物体信号处理部253还确认在生物体信号蓄积部251中是否蓄积了1次量以上的规定的信号处理的生物体信号(S5020)。当在步骤S5020没有蓄积规定的生物体信号的情况下(S5020:否),返回到步骤S1040。
在反复步骤S1040和步骤S5020的期间,当在进行在步骤S4000开始的生物体信号的测定和蓄积的步骤S5020中蓄积了规定的生物体信号的情况下(S5020:是),生物体信号处理部253进行在步骤S5010决定的信号处理和数据的分析。然后,发送信号生成部254将处理或者分析结果变换为在步骤S5010决定的规格的发送数据(S1060)。关于信号处理和发送数据的生成的详细情况将在后面进行说明。
在执行步骤S1060后返回到步骤S1040。并且,反复进行步骤S1040~步骤S1060,按照规定的时间持续向三维显示电视机发送生物体信号,直到被输入结束信号。由此,在视听者持续视听三维图像的期间,图像显示系统100能够持续监视视听者的状态,能够根据需要对视听者的疲劳状态进行适当的处理。
<通信用数据格式的说明:发送信号生成部的具体动作>
图17是三维用眼镜20的生物体信号处理部253的具体结构的一例(在此示出了生物体信号处理部253a的结构)的块图。生物体信号处理部253a是进行与数据等级ID为001时对应的信号处理(即生成未处理的传感器输出(原始数据)的处理)的处理部,具有计时部711和信号处理部712。图18是表示三维用眼镜20的处理中步骤S1060的具体处理的一例(在此指生物体信号处理部253a的处理(S1060a))的流程图。图19是表示由生物体信号处理部253a生成的发送数据的形式的一例的图,更具体地讲,图19(a)表示利用二进制数据或文本数据进行发送的示例,图19(b)表示发送利用XML格式记述的数据的示例。图17、图18及图19示出的示例是发送规格为如下发送规格时的说明图,该发送规格是将利用眼睛电位的测量电极和基准电极按照采样周期而测定的电位设为16比特的数值序列进行发送的发送规格。该发送规格是在如下情况时使用的数据规格,即在三维显示电视机10接收到生物体信号时,在聚焦散焦运动速度变化处理部601中经过步骤S3021~步骤S3030的处理来进行疲劳判定的情况。
计时部711计时与对规格设定的1次量的信号处理对应的规定的时间。信号处理部712确认在生物体信号蓄积部251中蓄积了规定时间量的生物体信号(S5020)。当在步骤S5020没有蓄积规定的生物体信号的情况下(S5020:否),返回到步骤S1040。另一方面,当在步骤S5020蓄积了规定的生物体信号的情况下(S5020:是),信号处理部712从生物体信号蓄积部251切取并读出规定时间量的生物体信号(S6010)。
然后,将4个测量电极设为电极1~电极4,将基准电极设为电极5,发送信号生成部254按照将由各个电极测定出的电位连续记述为电极1的1分钟内的电位的数值序列、电极2的1分钟内的电位的数值序列、……一直到电极5的1分钟内的电位的数值序列的发送形式,从在步骤S6010读出的数据生成发送数据(S6020)。此时,发送信号生成部254如图19所示利用二进制数据或文本数据或者XML格式记述发送数据,由此生成发送信号。
最后,眼镜信息发送部271将发送信号生成部254在步骤S6020生成的发送信号发送给三维显示电视机10(S6030)。
图20是三维用眼镜20的生物体信号处理部253的具体结构的一例(在此示出了生物体信号处理部253b的结构)的块图。生物体信号处理部253b是进行与数据等级ID为002时对应的信号处理(即生成通过滤波等信号处理后的已加工数据(中间处理结果)的处理)的处理部,具有计时部711、信号处理部721、聚焦运动抽取部723、聚焦运动量计算部724。图21是表示三维用眼镜20的处理中步骤S1060的具体处理的一例(在此指生物体信号处理部253b的处理(S1060b))的流程图。图22是表示由生物体信号处理部253b生成的发送数据的形式的一例的图,更具体地讲,图22(a)表示利用二进制数据或文本数据进行发送时的示例,图22(b)表示发送利用XML格式记述的数据的示例。图20、图21及图22示出的示例是发送规格为如下发送规格的说明图,该发送规格从眼睛电位抽取聚焦散焦运动,并将对规定时间内的运动量进行总体相加得到的值作为16比特的数值进行发送的规格。该发送规格是在如下情况时使用的数据规格,即在三维显示电视机10接收到生物体信号时,在聚焦散焦运动量处理部602中经过步骤S3041~步骤S3043的处理来进行疲劳判定的情况。
计时部711计时与对规格设定的1次量的信号处理对应的规定的时间。信号处理部722确认在生物体信号蓄积部251中蓄积了规定时间量的生物体信号(S5020)。当在步骤S5020没有蓄积规定的生物体信号的情况下(S5020:否),返回到步骤S1040。另一方面,当在步骤S5020蓄积了规定的生物体信号的情况下(S5020:是),信号处理部722从生物体信号蓄积部251切取并读出规定时间量的生物体信号(S6010)。
然后,信号处理部722根据在步骤S6010读出的数据,在4个测量电极与基准电极之间进行差分放大处理(S6110)。差分放大是通过按照电位的每个采样点从测量电极的电位减去基准电极的电位来进行的。由此,能够去除对于测量电极和基准电极共用的广范围的噪声。
并且,信号处理部722使被差分放大后的4个测量电极的电位的时间波形通过带通滤波器(S6120)。带通滤波器例如是将10Hz~100Hz作为通过频带的滤波器。由此,能够取出作为疲劳的指标的比较早的眼球运动的范围,而且能够去除从眼睛周围的筋肉等产生的噪声。
然后,聚焦运动抽取部723对于在步骤S6120进行滤波后的4个测量电极的电位波形获取电极间的差分,由此去除对于两眼共用的水平成分和垂直成分(S6130)。具体地讲,在电极例如按照图6所示进行配置的情况下,聚焦运动抽取部723计算与视听者的脸部的水平轴平行地设置的测量电极1的差分放大电位波形与测量电极4的差分放大电位波形之差,作为对于左右两眼共用的水平方向的运动成分。并且,聚焦运动抽取部723计算处于视听者的脸部的垂直轴上共用位置的测量电极1和测量电极4的差分放大电位的平均、与测量电极2和测量电极3的差分放大电位的平均之差分,作为对于左右两眼共用的垂直方向的运动成分。另外,聚焦运动抽取部723求出测量电极1与测量电极2的差分放大电位波形的差分作为右眼的眼球运动电位,并求出测量电极4与测量电极3的差分放大电位波形的差分作为左眼的眼球运动电位。最后,聚焦运动抽取部723从左右眼睛的眼球运动电位减去先前求出的对于两眼共用的水平方向和垂直方向的运动成分,由此抽取视听者的右眼的聚焦运动成分和视听者的左眼的聚焦运动成分。
然后,聚焦运动量计算部724对于在步骤S6130求出的右眼和左眼的聚焦运动成分波形,针对电位变动的所有峰值,求出峰值与下一个峰值的电位差,并求出其绝对值的总和,由此计算聚焦运动量(S6140)。
并且,发送信号生成部254按照图22所示利用二进制数据或文本数据或者XML格式记述发送数据,由此生成发送信号(S6150)。
最后,眼镜信息发送部271将发送信号生成部254在步骤S6150生成的发送信号发送给三维显示电视机10(S6030)。
这样,三维用眼镜20向三维显示电视机10发送从生物体信号变换为疲劳指标的过程的中间处理结果,由此能够大幅削减通信的数据量。
另外,在上述示例中将聚焦运动之和作为中间输出进行输出,但是也可以输出聚焦运动的速度平均、扫视的速度平均、或者扫视或眨眼的频次等中间处理结果。如图5示出的示例所示,在测定生物体信号时和信号处理过程中的计算负荷和数据量,根据在计算疲劳指标时使用的生物体信息的内容而不同。根据输出中间处理结果的方法,能够进行三维用眼镜20和三维显示电视机10的计算及存储器的负荷和通信的负荷的调整(平衡调整),能够设定与制造成本或功耗对应的规格。
图23是三维用眼镜20的生物体信号处理部253的具体结构的一例(在此示出了生物体信号处理部253c的结构)的块图。生物体信号处理部253c是进行与数据等级ID为003时对应的信号处理(即生成表示有关视听者的状态的判定结果(例如疲劳度)的数据的处理)的处理部,具有计时部711、信号处理部732、眨眼抽取部733、眨眼频次疲劳对应表734、疲劳指标计算部735。图24是表示三维用眼镜20的处理中步骤S1060的具体处理的一例(在此指生物体信号处理部253c的处理(S1060c))的流程图。图26是表示由生物体信号处理部253c生成的发送数据的形式的一例的图,更具体地讲,图26(a)表示利用二进制数据或文本数据进行发送的示例,图26(b)表示发送利用XML格式记述的数据的示例。图23、图24及图26示出的示例是发送规格为如下规格的说明图,该规格是从眼睛电位抽取眨眼、根据规定时间内的眨眼次数求出疲劳指标并作为8比特的数值进行发送的规格。该发送规格是在如下情况时使用的数据规格,即在三维显示电视机10接收到生物体信号时,在疲劳指标取得部603中经过步骤S3051的处理来进行疲劳判定的情况。
计时部711计时与对规格设定的1次量的信号处理对应的规定的时间。信号处理部732确认在生物体信号蓄积部251中蓄积了规定时间量的生物体信号(S5020)。当在步骤S5020没有蓄积规定的生物体信号的情况下(S5020:否),返回到步骤S1040。另一方面,当在步骤S5020蓄积了规定的生物体信号的情况下(S5020:是),信号处理部732从生物体信号蓄积部251切取并读出规定时间量的生物体信号(S6010)。
然后,信号处理部732对在步骤S6010读出的数据进行向下采样,将采样频率设为50Hz(S6210)。
另外,眨眼抽取部733抽取眨眼并计数其次数(S6220)。具体地讲,例如在电极的配置是如图6所示的情况下,眨眼抽取部733从电极1的电位波形减去电极2的电位波形来求出右眼的电位变动。另一方面,从电极4的电位波形减去电极3的电位波形来求出左眼的电位变动。并且,眨眼抽取部733求出右眼的电位变动与左眼的电位变动之和,针对电位变动的所有峰值,求出峰值与下一个峰值的电位差。另外,眨眼抽取部733将峰值之间的电位差超过规定的阈值例如200μV以上的情况作为眨眼进行抽取,并计数每规定时间例如每10分钟的眨眼的次数。
然后,疲劳指标计算部735根据在眨眼频次疲劳对应表734中存储的每单位时间的眨眼的次数与疲劳指标的对应表,确定与所计数的每单位时间的眨眼的次数对应的疲劳指标,由此求出疲劳指标(S6230)。图25表示在眨眼频次疲劳对应表734中存储的眨眼的次数(“眨眼频次(次)”)与“疲劳指标”的对应表的示例。通常,眨眼的次数在眼睛疲劳时减少。因此,对应表的值被设定成在眨眼的频次降低时疲劳指标增大。
发送信号生成部254按照图26所示利用二进制数据或文本数据或者XML格式记述发送数据,由此生成发送信号(S6240)。
最后,眼镜信息发送部271将发送信号生成部254在步骤S6240生成的发送信号发送给三维显示电视机10(S6030)。
眨眼比眼睛电位容易测定出来。因此,即使是生物体传感器的精度较低时,也能够测量眼睛电位,能够以较低的成本取得生物体信号。
另外,在上述示例中,使用眨眼的频次计算疲劳指标并发送给三维显示电视机10,但也可以发送使用如图5所示的其它生物体信息来求出疲劳指标的结果。
另外,在上述示例中,将图17、图20及图23分别作为图14中的生物体信号处理部253的具体结构的一例进行了说明,但是生物体信号处理部253也可以包括图17、图20及图23所示的结构中的任意一种结构,还可以包括多种结构(例如所有结构)。生物体信号处理部253在包括图17、图20及图23所示的结构(即多种结构)的情况下,按照在步骤S5000接收到的发送规格在步骤S5010选择多种结构中的进行动作的结构。由此,能够在三维显示电视机10和三维用眼镜20之间进行计算量、数据量、通信量的优化。
另外,在本实施方式中对于以下三种情况进行了说明:(1)从三维用眼镜20发送各个电极的眼睛电位,三维显示电视机10接收眼睛电位并利用聚焦散焦运动的速度变化计算疲劳指标的情况,(2)从三维用眼镜20发送聚焦散焦运动量的每单位时间的总和,三维显示电视机10接收聚焦散焦运动量的总和,并将聚焦散焦运动量的总和变换为疲劳指标的情况,(3)由三维用眼镜20利用各个电极的眼睛电位计算聚焦散焦运动量的总和,由此从三维用眼镜20发送疲劳指标,三维显示电视机10接收疲劳指标并且仅进行疲劳判定的情况,即由三维用眼镜20利用各个电极的眼睛电位抽取眨眼并计算疲劳指标的情况。但是根据眼睛电位求出疲劳指标的方法有如图5的示例的各种方法。
在使用眼睛电位求出疲劳指标的各种方法中,都是执行对电位数据进行滤波处理、并计算电极间的差分的信号处理,并得到进行信号处理后的结果的中间输出。关于生物体信号的数据发送规格可以考虑如下的无数个模式,(1)使用什么作为生物体信号(聚焦散焦运动、注视微动、扫视、眨眼等),(2)将来自生物体信号传感器240的输出直接进行发送并由三维显示电视机10进行所有处理,或者发送中间处理的输出并由三维显示电视机10根据中间处理输出进行疲劳指标的计算,或者由三维用眼镜20进行疲劳指标的计算,由三维显示电视机10仅进行疲劳判定即呈现给使用者的判定的组合。
另外,关于中间输出,在信号处理具有多个阶段的情况下,存在各种中间输出。假设视听者状态计算部162的结构是利用软件实现的,当在步骤S1020从三维用眼镜20发送的生物体信号的发送数据的发送规格不是三维显示电视机10能够使用的形式的情况下,也可以通过网络来取得与从三维用眼镜20发送的发送规格对应的软件,或者通过从眼镜附带的DVD等介质进行取得等来取得软件,并利用三维用眼镜20的发送规格的生物体信号。
另外,在本实施方式中示出了这样的示例:测定生物体信号中、在眼睛周围设置的电极根据眼球的运动而变化的电位,使用眼睛电位判定视听者的疲劳。但是作为除此以外的生物体信号,也可以从眼球的图像取得眼球的运动以及根据眼球运动而计算出的视线或瞳孔的反应或眨眼,并判定视听者的疲劳、清醒度或者兴奋度。另外,也可以根据从接触额头的电极得到的因精神性发汗而产生的皮肤的电气电阻的变化,判定视听者的兴奋度或者清醒度。另外,还可以按照夹着鼻梁的形状设置光源和摄像机,通过近红外光的透射来拍摄静脉图案,并进行个人验证来限制能够视听的内容,实现进深程度的个人适应。
如上所述,本申请发明涉及用于判定视听者的状态的如下技术:利用三维用眼镜测量包括眼睛状态的生物体信号,根据其测量结果控制三维显示电视机的影像显示。通常,针对生物体信号的信号种类有特定的分析方法。因此,本申请发明是针对如下课题而完成的:用三维用眼镜20进行生物体信号的感测,在不能获取三维显示电视机10能够执行的生物体信号用的分析方法与在三维用眼镜20中感测到的生物体信号的对应关系的情况下,将不能判定视听者的状态。
例如,对利用三维用眼镜20具有的眼睛电位测量用的电极测量出的各个电极的电位数据(相当于图4的“数据等级ID”为001的数据)进行滤波(S3023)。另外,对每个采样点,利用各个测量电极之间的电位差来抽取包含于所测量出的眼睛电位中的聚焦运动成分(相当于图4的“数据等级ID”为002的数据)(S3024)。根据聚焦运动成分的速度的变化(S3025~S3030)求出疲劳指标(相当于图4的“数据等级ID”为003的数据)。此时,考虑三维用眼镜20发送各个电极的电位数据、三维显示电视机10受理聚焦运动成分数据的情况。在这种情况下,两者的数据等级不一致,不能对接收到的数据进行正确处理。
为了解决上述问题,在本实施方式中,使明确了三维用眼镜20能够输出的生物体信号的数据等级的发送规格、和明确了三维显示电视机10能够接收并利用的生物体信号的数据等级的接收规格一致。为此,三维用眼镜20具有发送规格蓄积部260,而三维显示电视机10具有测定规格蓄积部163、测定规格决定部161、和发送规格发送部152。
另外,为了决定从三维用眼镜20向三维显示电视机10发送数据时的数据等级,在图2的通信4中,从三维用眼镜20向三维显示电视机10发送在发送规格蓄积部260中蓄积的包括三维用眼镜20能够发送的数据等级的信息的发送规格。三维显示电视机10接收从三维用眼镜20发送的发送规格(S2030),测定规格决定部161参照测定规格蓄积部163,选择与和从三维用眼镜20发送的发送规格一致的测定规格对应的一种发送规格(S2040~S2060),在通信5中,向三维用眼镜20发送当前选择的发送规格(即规格指定信号)(S2070)。三维用眼镜接收在步骤S2070发送的发送规格(S5000),按照该发送规格决定包括三维用眼镜20发送的数据等级的数据规格(S5010)。
这样,在本实施方式中,对于三维显示电视机10接收的生物体信号和三维用眼镜20发送的生物体信号,根据用于使包括数据等级的数据规格一致的结构和动作,无论三维显示电视机10和三维用眼镜20的组合如何,都能够利用由三维用眼镜20取得的生物体信号调节三维显示电视机10的影像,以减轻视听者的疲劳。
另外,在日本特开2011-188118号公报(专利文献3)中公开了从三维用眼镜向图像显示装置的通信单元、从三维用眼镜向图像显示装置通信包括生物体信号的信息、以及从三维用眼镜向图像显示装置通信用于识别三维用眼镜的属性的信号,但对于通信用于确定生物体信号的处理状态(即数据等级)的数据规格(即发送规格)没有记述。
如上所述,根据本实施方式,在视听三维图像时,通过取得视听者的生物体信号,并按照未处理的信号或者中间处理结果或者处理结果中任意一方的数据等级从三维用眼镜向图像显示装置发送生物体信息,能够在图像显示装置中判定视听者的状态,并根据视听者的状态变更图像的显示方法等。能够实现针对视听者自身也未注意到的疲劳的征兆对视听者呈现疲劳警告等无强迫的三维图像的视听。
以上对于本发明涉及的图像显示系统和三维用眼镜,根据实施方式进行了说明,但本发明不限于这种实施方式。在不脱离本发明的宗旨的范围内对实施方式实施本行业人员能够想到的各种变形而得到的方式、和将实施方式和公知的构成要素进行任意组合而得到的方式,都包含在本发明中。
另外,在本实施方式的块图(图1、图7、图8、图14、图17、图20、图23)中示出的各个功能单元也可以利用半导体集成电路即LSI实现。该LSI可以按照每个功能单元而被单片化,也可以在三维显示电视机10和三维用眼镜20中分别以包含其一部分或者全部的方式被单片化。另外,在此,LSI根据集成程度的不同,包括被称为IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
另外,集成电路化的方法不限于LSI,也可以利用专用电路或者通用处理器实现。也可以采用在制作LSI后能够编程的可现场编程门阵列(FPGA:Field Programmable Gate Array)、能够重构架LSI内部的电路单元的连接和设定的可配置处理器(reconfigurable processor)来实现集成电路化。
另外,构成本发明涉及的图像显示系统的图像显示装置(本实施方式等的三维显示电视机)也可以利用计算机系统和软件实现。图27是表示在利用计算机系统19和软件实现本实施方式的三维显示电视机10时使用的硬件结构的块图。该计算机系统19如图27所示由键盘和鼠标等输入部11、硬盘等存储部12、显示器装置等输出部13、CPU14、ROM15、RAM16、与外部设备之间进行信号的输入输出的输入输出I/F17构成。具体地讲,收发部150和控制信号发送部130利用输入输出I/F17实现。信息呈现部170利用输出部13实现。并且,内容信息蓄积部110利用存储部12实现。并且,按照在ROM15或者存储部12中存储的程序将RAM16用作暂时的存储区域并由CPU14执行,由此实现画面控制部120、通信控制部140和视听者状态判定部160。在此,计算机程序为了实现规定的功能,可以组合表示针对计算机的指令的多个命令代码而构成。
另外,构成上述实施方式中的三维显示电视机的构成要素的一部分或者全部也可以由能够插拔的IC卡或者单体模块构成。IC卡或者模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或者模块也可以包含超多功能LSI。微处理器按照计算机程序进行动作,由此IC卡或者模块实现其功能。该IC卡或者该模块可以具有反篡改性。
另外,本发明也可以实现为上述实施方式中的流程图所示的方法(图像显示系统的图像显示方法)。并且,也可以实现为利用计算机实现该方法的计算机系统,还可以实现为表示该计算机程序的数字信号。另外,本发明也可以实现为将该计算机程序或者数字信号记录在计算机可以读取的记录介质例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc:蓝光盘)、半导体存储器等中的记录介质。
另外,当然也可以经由电气通信线路、无线或者有线通信线路、以因特网为代表的网络、数据广播等,传输所述计算机程序或者所述数字信号。
另外,将所述计算机程序或者数字信号记录在所述记录介质中并传输,或者经由网络等传输所述计算机程序或者数字信号,从而能够利用独立的其他计算机系统来实施本发明的图像显示系统的图像显示装置或者图像显示方法。
产业上的可利用性
本发明的图像显示系统能够广泛应用于利用三维用眼镜视听立体影像的图像显示系统,在利用电影院的屏幕、电视机、计算机的显示画面等显示三维影像时比较有用。因此,本发明不仅能够应用于内容视听,而且也能够应用于图像诊断装置或内窥镜等医疗设备的图像显示、或手术或交通工具的模拟等游戏或培训用的系统等用途中。
标号说明
10三维显示电视机;20三维用眼镜;100图像显示系统;110内容信息蓄积部;120画面控制部;130控制信号发送部;140通信控制部;150、270收发部;151眼镜信息接收部;152发送规格发送部;160视听者状态判定部;161测定规格决定部;162视听者状态计算部;163测定规格蓄积部;170信息呈现部;210控制信号接收部;220闸门控制部;230通信控制部;240生物体信号传感器;250状态信号生成部;251生物体信号蓄积部;252信号生成控制部;253、253a、253b、253c生物体信号处理部;254发送信号生成部;260发送规格蓄积部;271眼镜信息发送部;272发送规格接收部;601聚焦散焦运动速度变化处理部;602聚焦散焦运动量处理部;603疲劳指标取得部;610切换部;611疲劳判定部;621、641信号取得部;622信号存储部;623、712、722、732信号处理部;624、723聚焦运动抽取部;625运动速度计算部;626方均差计算部;627初期状态存储部;628运动速度比较部;629变换函数存储部;630、645、735疲劳指标计算部;642累计运动量存储部;643累计运动量计算部;644变换表;711计时部;724聚焦运动量计算部;733眨眼抽取部;734眨眼频次疲劳对应表。
Claims (19)
1.一种对视听者呈现三维图像的图像显示系统,该图像显示系统具有:
图像显示装置,交替地输出呈现给所述视听者的左眼的左眼用图像和呈现给右眼的右眼用图像;以及
三维用眼镜,被佩戴于所述视听者的脸部或者头部,具有左眼侧的闸门和右眼侧的闸门,当在所述图像显示装置中显示左眼用图像时使所述左眼侧的闸门成为透射状态,当在所述图像显示装置中显示右眼用图像时使所述右眼侧的闸门成为透射状态,
所述三维用眼镜具有:
生物体信号测定部,通过测定所述视听者的身体状态来取得生物体信号;以及
收发部,将由所述生物体信号测定部取得的生物体信号变换为通信信号,并发送给所述图像显示装置,
所述图像显示装置具有接收从所述三维用眼镜发送的通信信号的收发部,
所述图像显示装置具有的所述收发部向所述三维用眼镜发送规格指定信号,该规格指定信号用于指定所述通信信号的至少包括数据格式的规格,
所述三维用眼镜具有的所述收发部接收从所述图像显示装置发送的所述规格指定信号,按照由接收到的规格指定信号指定的规格,将所述生物体信号变换为所述通信信号并发送给所述图像显示装置。
2.根据权利要求1所述的图像显示系统,所述三维用眼镜还具有蓄积至少一种发送规格的发送规格蓄积部,该发送规格是表示该三维用眼镜能够发送给所述图像显示装置的所述通信信号的规格的信息,
所述三维用眼镜具有的所述收发部还将在所述发送规格蓄积部中蓄积的至少一种发送规格发送给所述图像显示装置,
所述图像显示装置具有的所述收发部接收从所述三维用眼镜发送的至少一种发送规格,将表示从接收到的至少一种发送规格中选择的至少一种发送规格的信号,作为所述规格指定信号发送给所述三维用眼镜。
3.根据权利要求2所述的图像显示系统,所述图像显示装置还具有:
测定规格蓄积部,蓄积至少一种测定规格,该测定规格是表示与所述收发部能够接收的所述通信信号有关的规格的信息;以及
测定规格决定部,从在所述测定规格蓄积部中蓄积的至少一种测定规格中,决定在判定所述视听者的状态时使用的一种测定规格,
所述图像显示装置具有的所述收发部将表示从所述三维用眼镜发送的至少一种发送规格中与由所述测定规格决定部决定的测定规格对应的发送规格的信号,作为所述规格指定信号发送给所述三维用眼镜。
4.根据权利要求3所述的图像显示系统,所述三维用眼镜具有的所述收发部还将用于识别所述三维用眼镜的信号即眼镜ID发送给所述图像显示装置,
所述图像显示装置具有的所述收发部接收从所述三维用眼镜发送的眼镜ID,
所述测定规格决定部判定与接收到的眼镜ID对应的测定规格是否被蓄积在所述测定规格蓄积部中,在已被蓄积时将该测定规格决定为所述一种测定规格,在未被蓄积时,请求所述三维用眼镜将在所述发送规格蓄积部中蓄积的发送规格发送给所述图像显示装置。
5.根据权利要求2~4中任意一项所述的图像显示系统,在所述发送规格或者所述规格指定信号中包含如下信息,该信息记述了表示由所述生物体信号测定部测定出的所述视听者的身体状态的多个信号的排列、和所述多个信号各自的数据量。
6.根据权利要求1~5中任意一项所述的图像显示系统,所述生物体信号测定部测定所述视听者的眼睛电位作为所述视听者的身体状态。
7.根据权利要求1~5中任意一项所述的图像显示系统,所述生物体信号测定部测定所述视听者的皮肤电气反应或者皮肤电位作为所述视听者的身体状态。
8.根据权利要求1~5中任意一项所述的图像显示系统,所述生物体信号测定部拍摄所述视听者的身体的一部分作为所述视听者的身体状态。
9.根据权利要求8所述的图像显示系统,所述生物体信号测定部拍摄所述视听者的静脉图案作为所述视听者的身体状态。
10.根据权利要求1~9中任意一项所述的图像显示系统,所述生物体信号测定部取得表示所述视听者的身体状态的时间序列信号,作为所述生物体信号。
11.根据权利要求10所述的图像显示系统,所述三维用眼镜还具有生物体信号处理部,该生物体信号处理部进行将由所述生物体信号测定部取得的时间序列信号生成为数值序列的信号处理,
所述三维用眼镜具有的所述收发部将通过所述生物体信号处理部而得到的数值序列发送给所述图像显示装置,
所述图像显示装置还具有视听者状态判定部,该视听者状态判定部根据从所述三维用眼镜发送的数值序列判定所述视听者的状态。
12.根据权利要求10所述的图像显示系统,所述三维用眼镜还具有生物体信号处理部,该生物体信号处理部通过对由所述生物体信号测定部取得的时间序列信号进行信号处理,生成与所述视听者的身体的运动相关的数值或者数值序列,
所述三维用眼镜具有的所述收发部将通过所述生物体信号处理部而得到的数值或者数值序列发送给所述图像显示装置,
所述图像显示装置还具有视听者状态判定部,该视听者状态判定部根据从所述三维用眼镜发送的数值或者数值序列判定所述视听者的状态。
13.根据权利要求10所述的图像显示系统,所述三维用眼镜还具有生物体信号处理部,通过对由所述生物体信号测定部取得的时间序列信号进行信号处理,生成与所述视听者的身体的运动相关的数值或者数值序列,并使用所生成的数值或者数值序列判定所述视听者的身体状态,
所述三维用眼镜具有的所述收发部将通过所述生物体信号处理部而判定出的结果发送给所述图像显示装置。
14.根据权利要求11~13中任意一项所述的图像显示系统,在所述规格指定信号中包含确定数据等级的信息,该数据等级表示包含于所述通信信号中的数据的加工程度,
所述生物体信号处理部按照如下数据等级进行所述信号处理,该数据等级是由从所述图像显示装置发送的所述规格指定信号中所包含的信息而确定的数据等级。
15.根据权利要求1~14中任意一项所述的图像显示系统,所述视听者的身体状态是所述视听者的疲劳的状态。
16.根据权利要求1~14中任意一项所述的图像显示系统,所述视听者的身体状态是对所述视听者个人的确定。
17.一种三维用眼镜,被佩戴于视听者的脸部或者头部,与图像显示装置协作进行动作,该三维用眼镜具有:
右眼侧的闸门和左眼侧的闸门,能够切换透射状态和非透射状态;
生物体信号测定部,通过测定所述视听者的身体状态来取得生物体信号;以及
收发部,将由所述生物体信号测定部取得的生物体信号变换为通信信号,并发送给所述图像显示装置,
所述收发部接收从所述图像显示装置发送的规格指定信号,按照由接收到的规格指定信号指定的规格,将所述视听者的生物体信号变换为所述通信信号并发送给所述图像显示装置,所述规格指定信号用于指定所述通信信号的至少包括数据格式的规格。
18.根据权利要求17所述的三维用眼镜,所述三维用眼镜还具有蓄积至少一种发送规格的发送规格蓄积部,该发送规格是表示所述三维用眼镜能够发送给所述图像显示装置的所述通信信号的规格的信息,
所述收发部还将在所述发送规格蓄积部中蓄积的至少一种发送规格发送给所述图像显示装置,
所述图像显示装置接收从所述三维用眼镜发送的至少一种发送规格,将表示从接收到的至少一种发送规格中选择的至少一种发送规格的信号,作为所述规格指定信号发送给所述三维用眼镜。
19.根据权利要求18所述的三维用眼镜,在所述发送规格蓄积部中蓄积的至少一种发送规格分别包含以下信息:
用于确定所述生物体信号的种类的信息、或者对于所述生物体信号确定在所述三维用眼镜向所述图像显示装置发送信息之前对所述生物体信号进行的处理的等级的信息、或者所述三维用眼镜向所述图像显示装置发送信息的频次、或者取得所述生物体信号时的采样频率及其数据量、或者数据精度及记述该精度的数据量、或者所述生物体信号的时间长度及其数据量、或者在对所述生物体信号进行处理时使用的电极的号码及对其进行记述用的数据量中任意一方;以及
用于测定所述生物体信号的每个电极的生物体信号的数据量、或者中间处理结果的种类及记述中间处理结果的数据量、或者对所述视听者的身体状态进行判定的判定结果的种类及记述所述身体状态的数据量中任意一方。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011112198 | 2011-05-19 | ||
JP2011-112198 | 2011-05-19 | ||
PCT/JP2012/002910 WO2012157195A1 (ja) | 2011-05-19 | 2012-04-27 | 画像表示システムおよび3次元用メガネ |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103283243A true CN103283243A (zh) | 2013-09-04 |
Family
ID=47176549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012800043519A Pending CN103283243A (zh) | 2011-05-19 | 2012-04-27 | 图像显示系统及三维用眼镜 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9268145B2 (zh) |
JP (1) | JP5503081B2 (zh) |
CN (1) | CN103283243A (zh) |
WO (1) | WO2012157195A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104932679A (zh) * | 2014-03-21 | 2015-09-23 | 三星电子株式会社 | 可穿戴设备及其操作方法 |
CN104967837A (zh) * | 2015-06-30 | 2015-10-07 | 西安三星电子研究有限公司 | 用于调整三维显示效果的设备和方法 |
CN106200908A (zh) * | 2016-06-28 | 2016-12-07 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5665241B2 (ja) * | 2012-03-21 | 2015-02-04 | パナソニックIpマネジメント株式会社 | 眼球疲労判定装置およびその作動方法 |
JP2014092940A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
US10302944B2 (en) * | 2013-06-28 | 2019-05-28 | Seiko Epson Corporation | Head-mount type display device and method of controlling head-mount type display device |
US8903958B1 (en) | 2013-11-20 | 2014-12-02 | Zspace, Inc. | System and methods for cloud based 3D design and collaboration |
KR20150089283A (ko) * | 2014-01-27 | 2015-08-05 | 엘지전자 주식회사 | 웨어러블 단말기 및 이를 포함하는 시스템 |
US9699436B2 (en) | 2014-09-16 | 2017-07-04 | Microsoft Technology Licensing, Llc | Display with eye-discomfort reduction |
KR20160073812A (ko) * | 2014-12-17 | 2016-06-27 | 삼성디스플레이 주식회사 | 표시장치 및 그의 구동방법 |
KR102072788B1 (ko) | 2015-04-30 | 2020-03-12 | 삼성전자주식회사 | 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법 |
JP2017054457A (ja) * | 2015-09-11 | 2017-03-16 | 株式会社コーエーテクモゲームス | 情報処理装置、表示制御方法、及び表示制御プログラム |
CN116269262A (zh) | 2016-12-01 | 2023-06-23 | 松下知识产权经营株式会社 | 生物体信息检测装置、生物体信息检测方法及存储介质 |
JP2019101811A (ja) | 2017-12-04 | 2019-06-24 | 富士通株式会社 | 処理プログラム、処理方法及び処理装置、並びに表示プログラム、表示方法及び表示制御装置 |
JP2018163662A (ja) * | 2018-04-16 | 2018-10-18 | 株式会社東芝 | 電子機器、支援システムおよび支援方法 |
JP7224559B2 (ja) * | 2020-12-10 | 2023-02-17 | 三菱電機株式会社 | 遠隔制御マニピュレータシステムおよび遠隔制御支援システム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5821989A (en) * | 1990-06-11 | 1998-10-13 | Vrex, Inc. | Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals |
JPH06326856A (ja) * | 1993-05-17 | 1994-11-25 | Hitachi Ltd | データ記録装置および方法 |
US5522041A (en) | 1992-12-17 | 1996-05-28 | Hitachi, Ltd. | Data processor and data transfer method |
DE69534796T2 (de) | 1994-12-01 | 2006-10-12 | Sharp K.K. | Kommunikationseinrichtung |
JP3547191B2 (ja) * | 1995-01-23 | 2004-07-28 | シャープ株式会社 | 通信装置 |
US6508709B1 (en) * | 1999-06-18 | 2003-01-21 | Jayant S. Karmarkar | Virtual distributed multimedia gaming method and system based on actual regulated casino games |
US7027621B1 (en) * | 2001-03-15 | 2006-04-11 | Mikos, Ltd. | Method and apparatus for operator condition monitoring and assessment |
JP4176503B2 (ja) * | 2003-02-14 | 2008-11-05 | シャープ株式会社 | 表示装置、3d表示時間設定方法、3d表示時間設定プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体 |
JP4890060B2 (ja) | 2005-03-31 | 2012-03-07 | 株式会社トプコン | 眼科装置 |
JP2007319187A (ja) * | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | 動作補助装置及びその制御方法 |
JP4925786B2 (ja) * | 2006-10-26 | 2012-05-09 | 京セラ株式会社 | 携帯電話システム、携帯端末装置、サーバ、携帯電話システムの制御方法、および携帯端末装置の制御方法 |
JP4609475B2 (ja) * | 2007-10-11 | 2011-01-12 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに記録媒体 |
KR20100075068A (ko) | 2008-12-24 | 2010-07-02 | 삼성전자주식회사 | 입체영상 표시장치 및 그 제어방법 |
JP5209545B2 (ja) * | 2009-03-09 | 2013-06-12 | 株式会社デンソー | 生体検査装置、プログラム、及び記録媒体 |
WO2010144478A2 (en) * | 2009-06-08 | 2010-12-16 | Reald Inc. | Shutter-glass eyewear control |
WO2010143455A1 (ja) * | 2009-06-11 | 2010-12-16 | 株式会社日立製作所 | 表示装置 |
JP2011028633A (ja) | 2009-07-28 | 2011-02-10 | Sony Corp | 情報処理装置及び方法、並びに、プログラム |
JP4951076B2 (ja) | 2010-03-05 | 2012-06-13 | 株式会社東芝 | 表示装置、システム、及びメガネに関する |
-
2012
- 2012-04-27 CN CN2012800043519A patent/CN103283243A/zh active Pending
- 2012-04-27 JP JP2013514974A patent/JP5503081B2/ja active Active
- 2012-04-27 WO PCT/JP2012/002910 patent/WO2012157195A1/ja active Application Filing
-
2013
- 2013-04-18 US US13/865,684 patent/US9268145B2/en active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104932679A (zh) * | 2014-03-21 | 2015-09-23 | 三星电子株式会社 | 可穿戴设备及其操作方法 |
US10551920B2 (en) | 2014-03-21 | 2020-02-04 | Samsung Electronics Co., Ltd. | Wearable device and method of operating the same |
CN104932679B (zh) * | 2014-03-21 | 2020-09-22 | 三星电子株式会社 | 可穿戴设备及其操作方法 |
US10955919B2 (en) | 2014-03-21 | 2021-03-23 | Samsung Electronics Co., Ltd. | Wearable device and method of operating the same |
CN104967837A (zh) * | 2015-06-30 | 2015-10-07 | 西安三星电子研究有限公司 | 用于调整三维显示效果的设备和方法 |
US10531066B2 (en) | 2015-06-30 | 2020-01-07 | Samsung Electronics Co., Ltd | Method for displaying 3D image and device for same |
CN106200908A (zh) * | 2016-06-28 | 2016-12-07 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
CN106200908B (zh) * | 2016-06-28 | 2019-03-08 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5503081B2 (ja) | 2014-05-28 |
JPWO2012157195A1 (ja) | 2014-07-31 |
US20130229711A1 (en) | 2013-09-05 |
WO2012157195A1 (ja) | 2012-11-22 |
US9268145B2 (en) | 2016-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103283243A (zh) | 图像显示系统及三维用眼镜 | |
CN103281959A (zh) | 视觉疲劳度测定装置、视觉疲劳度测定方法、视觉疲劳度测定系统及三维眼镜 | |
US9538947B2 (en) | Method, system and device for assisting diagnosis of autism | |
JP6447108B2 (ja) | 利用可能性算出装置、利用可能性算出方法及び利用可能性算出プログラム | |
US20180125409A1 (en) | Program and system for early detection and prevention of mild dementia | |
CN109646022B (zh) | 儿童注意力评估系统及其方法 | |
CN110680314B (zh) | 基于脑电多参数的虚拟现实情境任务注意力测训系统 | |
US20070265507A1 (en) | Visual attention and emotional response detection and display system | |
CN104142583A (zh) | 一种具有眨眼检测功能的智能眼镜及实现方法 | |
CN106060142A (zh) | 一种能够检查视力的手机及使用其进行视力检查的方法 | |
KR101854812B1 (ko) | 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템 | |
EP3599990A1 (en) | System for assessing a health condition of a user | |
CN101652740A (zh) | 被编入脑波接口系统的修正装置、方法及计算机程序 | |
WO2019013786A1 (en) | DIAGNOSIS OF BRAIN INJURY USING A VIRTUAL REALITY SYSTEM | |
CN206863748U (zh) | 一种家庭健康管理系统 | |
KR101731561B1 (ko) | 성격 검사 장치 및 그 방법 | |
CN107767965A (zh) | 多因素关联比对的健康监测系统及方法 | |
CN108697389B (zh) | 用于支持神经状态评估和神经康复的系统和方法,尤其是认知和/或言语功能障碍 | |
US9621847B2 (en) | Terminal, system, display method, and recording medium storing a display program | |
CN113111745B (zh) | 基于openpose的产品关注度的眼动识别的方法 | |
CN106663140A (zh) | 用于检测对象的健康状况的设备、系统和方法 | |
KR102168219B1 (ko) | 가상 현실 기기의 멀미를 약화시키기 위한 가상 현실 멀미 측정 장치 및 방법 | |
Thompson et al. | Perspective cues make eye-specific contributions to 3-D motion perception | |
CN108495584A (zh) | 用于通过触觉界面确定眼球运动的装置和方法 | |
CN112515687A (zh) | 测量精神疾病指标的方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130904 |