CN104010184A - 信号处理设备和存储介质 - Google Patents
信号处理设备和存储介质 Download PDFInfo
- Publication number
- CN104010184A CN104010184A CN201410056483.7A CN201410056483A CN104010184A CN 104010184 A CN104010184 A CN 104010184A CN 201410056483 A CN201410056483 A CN 201410056483A CN 104010184 A CN104010184 A CN 104010184A
- Authority
- CN
- China
- Prior art keywords
- characteristic parameter
- unit
- perception data
- data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title abstract description 34
- 238000003860 storage Methods 0.000 title description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 83
- 230000008447 perception Effects 0.000 claims description 150
- 230000000007 visual effect Effects 0.000 claims description 76
- 230000008859 change Effects 0.000 claims description 15
- 230000008786 sensory perception of smell Effects 0.000 claims description 7
- 230000014860 sensory perception of taste Effects 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 3
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 88
- 238000003384 imaging method Methods 0.000 description 66
- 230000004438 eyesight Effects 0.000 description 46
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 43
- 230000002093 peripheral effect Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 21
- 230000005236 sound signal Effects 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 17
- 238000013519 translation Methods 0.000 description 17
- 210000004027 cell Anatomy 0.000 description 14
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 10
- 238000005286 illumination Methods 0.000 description 8
- 230000004456 color vision Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000004020 luminiscence type Methods 0.000 description 6
- 241000251468 Actinopterygii Species 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 5
- 241000283973 Oryctolagus cuniculus Species 0.000 description 5
- 241000238631 Hexapoda Species 0.000 description 4
- 108050001704 Opsin Proteins 0.000 description 4
- 244000141353 Prunus domestica Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 240000006409 Acacia auriculiformis Species 0.000 description 2
- 241000692783 Chylismia claviformis Species 0.000 description 2
- 241000282819 Giraffa Species 0.000 description 2
- 206010018612 Gonorrhoea Diseases 0.000 description 2
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 241000726096 Aratinga Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000252229 Carassius auratus Species 0.000 description 1
- 241000272201 Columbiformes Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000270722 Crocodylidae Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 102000010175 Opsin Human genes 0.000 description 1
- 208000028804 PERCHING syndrome Diseases 0.000 description 1
- 241000269799 Perca fluviatilis Species 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 241001464837 Viridiplantae Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- LNNWVNGFPYWNQE-GMIGKAJZSA-N desomorphine Chemical compound C1C2=CC=C(O)C3=C2[C@]24CCN(C)[C@H]1[C@@H]2CCC[C@@H]4O3 LNNWVNGFPYWNQE-GMIGKAJZSA-N 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 244000038280 herbivores Species 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 210000002752 melanocyte Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
提供了一种信号处理设备和存储介质,该信号处理设备包括:设置单元,被配置成设置用于将感知数据改变为期望感知数据的感知特性参数;以及转换单元,被配置成根据设置单元设置的感知特性参数,实时地将当前获取的感知数据转换为期望感知数据。
Description
对相关申请的交叉引用
该申请要求2013年2月26日提交的日本优先权专利申请JP2013-035591的权益,其全部内容通过引用合并于此。
技术领域
本公开涉及一种信号处理设备和存储介质。
背景技术
JP2011-13373A、JP2008-154192A和JP2003-84658A被提出作为用于允许用户虚拟地体验视觉状态的设备。
具体来说,JP2011-13373A公开了用于允许用户具有视觉体验的设备,该设备包括:滤波器,布置在观看者与目标之间并且被配置成对光进行散射;以及计算单元,被配置成根据已输入的模拟体验年龄而计算目标与滤波器之间的距离。
JP2008-154192A还公开了一种图像显示系统,其被配置成获取和显示由外部成像设备(诸如其他人佩戴的成像设备和安装在汽车、火车和包括鸟的动物上的成像设备)成像的图像数据。
另外,JP2003-84658A公开了一种衰老体验设备,其包括:白光灯和黄光灯,对显示空间进行照射;以及光控制板,安装在显示空间前方并且能够可选地在透明状态与白浊状态之间切换。JP2003-84658A中公开的衰老体验设备可以通过在白光灯或黄光灯下通过白浊光控制板示出显示空间,虚拟地示出具有老年人的眼睛并且具有白内障的老年人看到的视觉视图。
发明内容
JP2011-13373A和JP2003-84659A确实描述了视觉的退化影响视图看起来如何,但是没有提及视觉的结构差别改变了视图看起来如何。
JP2008-154192A还公开了用于示出其他人的视场的技术,但是没有提及关于实时地将一个人的当前视场转换为除他/她自己的眼睛结构之外的眼睛结构看到的视图的任何东西。
本公开因此提出了如下新颖且改进的信号处理设备和存储介质:其可以实时地将当前感测到的感知数据转换为由其他生物的感测机制感测的感知数据。
根据本公开的实施例,提供了一种信号处理设备,其包括:设置单元,被配置成设置用于将感知数据改变为期望感知数据的感知特性参数;以及转换单元,被配置成根据设置单元已设置的感知特性参数,实时地将当前获取的感知数据转换成期望感知数据。
根据本公开的另一实施例,提供了一种其中存储有程序的非暂态计算机可读存储介质,该程序使得计算机用作:设置单元,被配置成设置用于将感知数据改变为期望感知数据的感知特性参数;以及转换单元,被配置成根据设置单元已设置的感知特性参数,实时地将当前获取的感知数据转换成期望感知数据。
根据本公开的一个或多个实施例,变得可以实时地将当前感测的感知数据转换成由其他生物的感测机制感测的感知数据。
附图说明
图1是用于描述根据本公开的实施例的HMD(头戴式显示器)的概况的图;
图2是示出根据第一实施例的HMD的内部结构示例的图;
图3是示出根据第一实施例的视觉转换处理的流程图;
图4是示出根据第一实施例的生物选择屏幕的示例的图;
图5是示出根据第一实施例的基于视觉特性参数的拍摄图像的转换示例的示意图;
图6A是示出根据第一实施例的基于视觉特性参数的拍摄图像的另一转换示例的示意图;
图6B是示出根据第一实施例的基于视觉特性参数的拍摄图像的另一转换示例的示意图;
图6C是示出根据第一实施例的基于视觉特性参数的拍摄图像的另一转换示例的示意图;
图7是示出可以指定期望生物的年代的、根据第一实施例的输入屏幕的示例的图;
图8是示出根据第一实施例的听觉转换处理的流程图;
图9是示出根据第一实施例的其他视觉转换处理的流程图;
图10是示出基于视觉特性参数的彩虹图像的转换示例的示意图;
图11是示出基于视觉特性参数的月亮图像的转换示例的示意图;
图12是示出基于视觉特性参数的视图图像的转换示例的示意图;
图13是用于描述第二实施例的概况的图;
图14是示出根据第二实施例的主控制单元的功能结构的图;
图15是示出根据第二实施例的感知转换处理的流程图;
图16是示出根据第二实施例的视觉转换处理的流程图;
图17是示出根据第二实施例的听觉转换处理的流程图;以及
图18是示出根据第二实施例的其他感知转换处理的流程图。
具体实施方式
在下文中,将参照附图详细描述本公开的优选实施例。注意,在该说明书和附图中,具有基本上相同的功能和结构的结构元件以相同的附图标记来表示,并且省略对这些结构元件的重复说明。
将按以下顺序进行描述。
1.根据本公开的实施例的HMD的概况
2.实施例
2-1.第一实施例
2-2.第二实施例
3.结论
<<1.根据本公开的实施例的HMD的概况>>
首先,参照图1,将描述根据本公开的实施例的HMD1(信号处理设备)的概况。
图1是用于描述根据本公开的实施例的HMD1的概况的图。如图1所示,用户8正佩戴眼镜型头戴式显示器(HMD)1。HMD1包括可佩带单元,可佩带单元具有例如被构造为从头的两侧延伸到头的后面的框。如图1所示,用户8将可佩带单元挂在两个耳廓处,使得用户8可以佩戴HMD1。
HMD1包括在用户8正佩戴HMD1时布置在用户8的两只眼睛前方的、用于左眼和右眼的一对显示单元2。即,显示单元2放置在普通眼镜的透镜的位置处。例如,显示单元2显示由成像透镜3a成像的、真实空间的拍摄图像(静止图像/运动图像)。显示单元2可以是透射的。当HMD1具有处于通过状态的显示单元2时,即表示显示单元2是透明或半透明的,如果用户8如眼镜一样一直佩戴HMD1,则HMD1不会干扰用户8的日常生活。
如图1所示,HMD1具有面向前方的成像透镜3a,使得当用户8正佩戴HMD1时用户在视觉上识别的方向上的区域被成像为主体方向。HMD1上还安装了照射成像透镜3a的成像方向上的区域的发光单元4a。发光单元4a由例如发光二级管(LED)构成。
尽管图1示出了单独用于左耳的耳机扬声器5a之一,但是还安装了在佩戴时可以被插入到用户的右耳洞和左耳洞的一对耳机扬声器5a。收集外部声音的麦克风6a和6b还分别对于右眼布置在显示单元2的右侧以及对于左眼布置在显示单元2的左侧。
图1所示的HMD1的外观仅是示例。可想到用于用户戴上HMD1的各种结构。一般来说,HMD1可仅由眼镜型可佩带单元或头戴式可佩带单元构成。至少在本实施例中,HMD1可仅具有布置在用户的眼睛附近以及前方的显示单元2。这对显示单元2被安装用于双眼,但是也可仅安装显示单元2之一用于一只眼睛。
在图1的所示示例中,成像透镜3a和执行照射的照射单元4a布置在右眼侧以面向前方。然而,成像透镜3a和照射单元4a也可布置在左眼侧或者布置在两侧。
尽管耳机扬声器5a被安装作为用于右耳和左耳的立体声扬声器,但是耳机扬声器5a之一也可单独安装并且被戴在耳朵上。类似地,麦克风6a和6b单独一个也可以是足够的。
还可想到不安装麦克风6a和6b或者耳机扬声器5a和5b。发光单元4a也不需要必须安装。
如上,描述了根据本实施例的HMD1(信号处理设备)的外部结构。HMD1在这里用作对诸如图像数据和音频数据的感知数据进行转换的信号处理设备的示例。然而,根据本公开的实施例的信号处理设备不限于HMD1。例如,信号处理设备也可以是智能电话、移动电话终端、个人数字助理(PDA)、个人计算机(PC)和平板终端。
人类和其他动物、昆虫等具有不同结构的眼睛和视觉机制,使得视图对它们看起来是不同的。例如,人类没有感测紫外和红外范围中的波长的受体分子,因此不能看见任何紫外线和红外线。相反,已知诸如老鼠和鼠的啮齿类以及蝙蝠可以感测紫外线。受体分子(视觉物质)位于控制视觉的视觉细胞中。视觉物质包括称为视蛋白的蛋白质。大量哺乳动物仅具有两种类型的视蛋白基因用于色视觉,使得例如狗和猫具有二色视觉。同时,包括人类的大部分灵长类具有三种类型的视蛋白基因用于色视觉,使得它们具有三色视觉。一些鱼、鸟和爬行类(诸如金鱼、鸽子和蛙)具有四种类型的视蛋白基因用于色视觉,并且它们具有四色视觉。因此,由于鸟具有反射紫外线的一些羽毛,因此鸟容易找到较好反射紫外线的对象(诸如草莓),并且容易区分对人类的眼睛看起来相同的其他鸟的性别。
如上所述,已详细描述了不同生物的视觉差别。然而,在感测机制当中不仅视觉不同,而且听觉机制、嗅觉机制和触觉机制对每种生物也是不同的。例如,人类的可听见范围大约是15Hz至60kHz,蝙蝠的可听见范围大约是1.2kHz至400kHz,鱼的可听见范围一般大约是20Hz至3.5kHz,并且长尾鹦鹉的可听见范围大约是200Hz至8.5kHz。不同的生物具有不同的可听见范围。
以此方式,由于其他生物具有与人类的感测机制不同的感测机制,因此其他生物更可能看到与人类不同的视图并且听到与人类通常所听到的声音不同的声音。
然而,尚未提供实时地提供其他生物分别看见和听到的世界和声音的任何设备。例如,JP2011-13373A和JP2003-84658A描述了视觉退化影响视图看起来如何,但是没有提及视觉的结构差别改变视图看起来如何。JP2008-154192A还公开了用于示出其他人的视场的技术,但是没有提及关于如果一个人的当前视场被除他的/她的眼睛结构之外的眼睛结构看到可以获得什么视图的任何东西。
因此,鉴于这样的情形,将提出根据本公开的各个实施例的HMD1(信号处理设备)。根据本公开的各个实施例的HMD1可以实时地将当前感测的感知数据转换成由具有结构上不同的感测机制的其他生物感测的感知数据。
预定的感知特性参数在这里用于将诸如图像数据(静止图像/运动图像)和音频数据的感知数据转换成由具有感测机制的期望生物感测的感知数据。感测特性参数针对每种生物预先在累积在数据库中。
如上,描述了根据本公开的实施例的HMD1(信号处理设备)的概况。接下来,将参考多个实施例来详细描述HMD1对感知数据执行的转换处理。
<<2.实施例>>
<2-1.第一实施例>
首先,参照图2至图12,将具体描述根据第一实施例的HMD1。
(2-1-1.结构)
图2是示出根据第一实施例的HMD1的内部结构示例的图。如图2所示,根据本实施例的HMD1包括显示单元2、成像单元3、照射单元4、音频输出单元5、音频输入单元6、主控制单元10、成像控制单元11、成像信号处理单元12、拍摄图像分析单元13、照射控制单元14、音频信号处理单元15、显示控制单元17、音频控制单元18、通信单元21和存储单元22。
(主控制单元10)
主控制单元10例如包括配备有中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、非易失性存储器和接口单元的微计算机,并且控制HMD1的各个结构元件。
如图2所示,主控制单元10还用作感知特性参数设置单元10a、感知数据转换单元10b、生物识别单元10c和选择屏幕生成单元10d。
感知特性参数设置单元10a设置用于将感知数据转换为期望感知数据的感知特性参数。感知数据在这里也是例如图像数据(静止图像数据/运动图像数据)、音频数据(音频信号数据)、压力数据、温度数据、湿度数据、味道数据或气味数据,并且由各种获取单元(诸如成像单元3、音频输入单元6、压力传感器、温度传感器、湿度传感器、味道传感器和气味传感器(均未示出))来获取。感知特性参数还是用于感知数据转换的参数,该参数根据生物的类型而不同。感知特性参数作为数据库被存储和累积在存储单元22中或者存储在云(外部空间)上,并且经由通信单元21来获取。具体地,感知特性参数包括视觉特性参数、听觉特性参数、触觉特性参数、味觉特性参数和嗅觉特性参数。
期望感知数据是用户8(HMD1的佩戴者)根据生物选择屏幕(参见图4)而选择的生物或者存在于周围区域中并且被生物识别单元10c识别的生物感测的感知数据。感知特性参数设置单元10a经由通信单元21从存储单元22或云获取用于转换为这样的期望感知数据的感知特性参数。根据设置了一般感知转换模式、视觉转换模式、听觉转换模式等中的哪个,可确定获取了哪个感知特性参数。
例如,当在视觉转换模式选择了“鸟”时,感知特性参数设置单元10a获取并设置鸟视觉特性参数。例如,由于鸟的眼睛被构造为看见紫外线(四色视觉),因此鸟视觉特性参数也可以是用于紫外线的可视化的参数。
当在听觉转换模式选择了“狗”时,感知特性参数设置单元10a获取并设置狗听觉特性参数。例如,由于狗的可听见范围大约是15Hz至60kHz并且狗被构造为听见人类不能听见的超声,因此狗听觉特性参数也可以是用于高达大约60kHz的超声的可听化的参数。
感知数据转换单元10b根据感知特性参数设置单元10a设置的感知特性参数,实时地将每个获取单元当前获取的感知数据转换为期望感知数据,并且将转换后的感知数据输出到再现单元。每个获取单元表示例如成像单元3和音频输入单元6。各个再现单元是例如显示单元2和音频输出单元5。
例如,感知数据转换单元10b根据感知特性参数设置单元10a设置的鸟视觉特性参数,实时地将成像单元3成像的拍摄图像转换成鸟的视觉机制看见的视图,并且将转换后的视图输出到显示控制单元17。成像单元3要成像的拍摄图像可包括正常(可见光)拍摄图像和紫外拍摄图像。基于这样的拍摄图像,感知数据转换单元10b根据所设置的鸟视觉特性参数,实时地将拍摄图像转换为鸟的视觉机制看见的视图。感知数据转换单元10b对感知数据的转换在这里是包括感知数据的替换的概念。即,例如,感知数据的转换包括将拍摄图像切换为具有不同性质的多个成像单元(诸如红外/紫外摄像装置、全景摄像装置、以及鱼眼摄像装置)或具有不同成像范围(视角)和成像方向的多个成像单元所成像的图像之一。感知数据转换单元10b可以根据所设置的视觉特性参数,通过利用由预定成像单元成像的拍摄图像进行替换来转换感知数据。
生物识别单元10c自动识别存在于周围区域中的生物。具体地,生物识别单元10c可以基于拍摄图像分析单元13对成像单元3对周围区域进行成像而获得的拍摄图像的分析结果,识别存在于周围区域中的生物。
选择屏幕生成单元10d生成用于选择期望感知数据的选择屏幕,并且将所生成的选择屏幕输出到显示控制单元17。具体地,选择屏幕生成单元10d生成以下将参照图4描述的选择屏幕,该选择屏幕包括表示动物和昆虫的图标。用户由此可以通过眼注视输入、姿势输入、音频输入等而选择期望的动物或昆虫。
(成像单元)
成像单元3包括例如包括成像透镜3a、光圈、缩放透镜和聚焦透镜的透镜系统、使得透镜系统执行聚焦操作和缩放操作的驱动系统、以及对透镜系统获取的成像光执行光电转换并且生成成像信号的固态图像传感器阵列。固态图像传感器阵列可由例如电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。
除了正常(可见光)成像之外,根据本实施例的成像单元3可以执行诸如紫外成像和红外成像的特殊成像。
根据本实施例的HMD1还可包括能够在佩戴者正佩戴HMD1时对佩戴者的眼睛进行成像的成像透镜,从而允许用户(佩戴者)进行眼注视输入。
(成像控制单元)
成像控制单元11基于来自主控制单元10的指示而控制成像单元3和成像信号处理单元12的操作。例如,成像控制单元11控制成像单元3和成像信号处理单元12的操作的接通/关断。成像控制单元11还被配置成执行如下控制(马达控制):该控制用于使得成像单元3执行诸如自动聚焦、调整自动曝光、调整光圈和缩放的操作。成像控制单元11还包括定时发生器,并且基于定时发生器生成的定时信号而控制固态图像传感器以及成像信号处理单元12的样本保持/AGC电路和视频A/D转换器的信号处理操作。定时控制允许可变地控制成像帧速率。
另外,成像控制单元11控制固态图像传感器和成像信号处理单元12的成像灵敏度和信号处理。例如,成像控制单元11可以对从固态图像传感器读取的信号执行作为成像灵敏度控制的增益控制,并且还执行黑色水平设置控制、用于数字数据中的成像信号处理的各种系数控制和抖动校正处理中的校正量控制。
(成像信号处理单元)
成像信号处理单元12包括对成像单元3的固态图像传感器获取的信号执行增益控制和波形整形的样本保持/自动增益控制(AGC)电路和视频模拟/数字(A/D)转换器。成像信号处理单元12由此获取作为数字数据的成像信号。另外,成像信号处理单元12对成像信号执行白平衡处理、亮度处理、颜色信号处理、抖动校正处理等。
(拍摄图像分析单元)
拍摄图像分析单元13对成像单元3成像的并且由成像信号处理单元12处理的图像数据(拍摄图像)进行分析,并且获取关于包括在图像数据中的图像的信息。具体地,例如,拍摄图像分析单元13对图像数据执行诸如点检测、线条/轮廓检测和区域分割的分析,并且将分析结果输出到主控制单元10的生物识别单元10c和感知数据转换单元10b。由于根据本实施例的HMD1包括成像单元3和拍摄图像分析单元13,因此HMD1可以例如从用户接收姿势输入。
(照射单元和照射控制单元)
照射单元4包括图1所示的发光单元4a和使得发光单元4a(诸如LED)发光的发光电路。照射控制单元14在主控制单元10的控制下使得照射单元4发光。照射单元4具有如图1所示的与其附接的发光单元4a以便照射其前方的区域,使得照射单元4照射用户的视场方向上的区域。
(音频输入单元和音频信号处理单元)
音频输入单元6包括图1所示的麦克风6a和6b以及对麦克风6a和6b获取的音频信号进行放大的麦克风/放大器单元和A/D转换器,并且将音频数据输出到音频信号处理单元15。音频信号处理单元15对音频输入单元6获取的音频数据执行诸如降噪和声音源分离的处理。音频信号处理单元15将处理后的音频数据提供到主控制单元10。由于根据本实施例的HMD1包括音频输入单元6和音频信号处理单元15,因此HMD1可以例如从用户接收音频输入。
除了正常声音(人类的可听见范围中)之外,根据本实施例的音频输入单元6可以收集诸如超声的特殊声音并且拾取通过固体的振动作为声音。
(显示控制单元)
显示控制单元17在主控制单元10的控制之下执行驱动控制,使得显示单元2显示感知数据转换单元10b转换的图像数据和选择屏幕生成单元10d生成的图像数据。显示控制单元17可包括用于显示单元2上的显示的像素驱动电路,显示单元2例如是液晶显示器。显示控制单元17还可以控制显示单元2上的每个像素的透射率,并且将显示单元2置于通过状态(透射状态或半透射状态)。
(显示单元)
显示单元2在显示控制单元17的控制之下显示图像数据。显示单元2由使得显示控制单元17控制透射率并且可以处于通过状态的装置来实现。
(音频控制单元)
音频控制单元18在主控制单元10的控制之下执行控制,使得感知数据转换单元10b转换的音频信号数据从音频输出单元5输出。
(音频输出单元)
音频输出单元5包括图1所示的一对耳机扬声器5a和用于耳机扬声器5a的放大器电路。音频输出单元5也可被配置为所谓的骨传导扬声器。
(存储单元)
存储单元22是记录并再现预定记录介质上的数据的单元。存储单元22被实现为例如硬盘驱动器(HDD)。无需说,可想到各种记录介质,诸如包括闪存的固态存储器、其中构建有固态存储器的存储卡、光盘、磁光盘和全息存储器。存储单元22仅需要被配置成根据要采用的记录介质而记录和再现数据。
根据本实施例的存储单元22存储每种生物的感知特性参数。例如,存储单元22存储作为用于将人类的眼睛看见的视图转换成其他生物的眼睛看见的视图的视觉特性参数的转换Eye-Tn。存储单元22还存储作为用于将人类的耳朵听见的声音转换成其他生物的耳朵听见的声音的听觉特性参数的转换Ear-Tn。注意,n在这里表示自然数,并且n根据针对每种生物在数据库中累积了多少感知特性参数而增加。存储单元22可利用经由通信单元21在网络上获取的最新感知特性参数自动替换感知特性参数。
(通信单元)
通信单元21将数据传送到外部设备以及从外部设备接收数据。通信单元21与外部设备直接通信或者在诸如无线局域网(LAN)、无线保真(Wi-Fi,注册商标)、红外通信和蓝牙(注册商标)的方案中经由网络接入点与外部设备无线地通信。
如上,已详细描述了根据本实施例的HMD1的内部结构。图2所示的内部结构仅是示例。根据本实施例的HMD1的内部结构不限于图2所示的示例。例如,HMD1还可包括各种再现单元,每个再现单元对感知数据转换单元10b转换的压力数据、温度数据、湿度数据、味道数据或气味数据进行再现。
上述结构允许根据本实施例的HMD1基于根据期望生物的感知特性参数而实时地转换成像单元3或音频输入单元6获取的感知数据,以及提供转换后的感知数据。接下来,将描述根据本实施例的HMD1的操作处理。
(2-1-2.操作处理)
图3是示出根据第一实施例的视觉转换处理的流程图。如图3所示,首先,在步骤S103中,用户8将HMD1设置为视觉转换模式。HMD1还可通过例如安装在HMD1的显示单元2附近的开关(未示出)的操作而被设置为视觉转换模式。
接下来,在步骤S106中,HMD1的主控制单元10向显示控制单元17发出指示,使得显示单元2显示选择屏幕生成单元10d生成的生物选择屏幕。图4示出了生物选择屏幕的示例。如图4所示,包括表示生物的图标31a至31h的选择屏幕30实时地叠加在显示单元2所显示的拍摄图像P1上或者显示在处于透射状态的显示单元2上。用户8通过眼注视输入、姿势输入或音频输入选择表示期望生物的图标31。
随后,在步骤S109中,感知特性参数设置单元10a根据所选择的生物调用转换Eye-Tn表,并且设置用于视觉转换的视觉特性参数。
接下来,在步骤S112中,成像单元3对周围区域的视图进行成像,并且经由成像信号处理单元12和拍摄图像分析单元13将拍摄图像传送到感知数据转换单元10b。一旦在S103中设置了视觉转换模式,成像单元3就可连续地对视图进行成像。
随后,在步骤S115中,感知数据转换单元10b基于感知特性参数设置单元10a设置的视觉特性参数,对成像单元3成像的拍摄图像进行转换。参照图5至图6(图6A至图6C),将描述图像数据的转换示例。
图5是示出基于视觉特性参数的拍摄图像的转换示例的示意图。图5具有示出用于人类的眼睛的视图的拍摄图像P1、被转换以示出用于鸟的眼睛的视图的转换图像P2、被转换以示出用于蝴蝶的眼睛的视图的转换图像P3以及被转换以示出用于狗的眼睛的视图的转换图像P4。
例如,当基于用于转换为用于鸟的眼睛的视图的视觉特性参数Eye-T1对拍摄图像P1进行转换时,拍摄图像P1被转换为转换图像P2,转换图像P2以特定颜色或特定图案表示检测到紫外线的反射的区域,这是由于鸟的眼睛被构造为甚至看见紫外线(四色视觉)。用户8由此被提供有表示鸟的眼睛看见的视图的图像。
类似地,当基于用于转换为用于蝴蝶的眼睛的视图的视觉特性参数Eye-T2对拍摄图像P1进行转换时,拍摄图像P1被转换为转换图像P3,转换图像P3以特定颜色等表示紫外反射区域并且接近焦点且使得焦点模糊,这是由于蝴蝶的眼睛也被构造为甚至看见紫外线(四色视觉)并且具有比人类的视力低的视力。用户8由此被提供有表示蝴蝶的眼睛看见的视图的图像。
当基于用于转换为用于狗的眼睛的视图的视觉特性参数Eye-T3对拍摄图像P1进行转换时,拍摄图像P1被转换为转换图像P4,转换图像P4以预定两个原色(诸如蓝色和绿色)来表示并且接近焦点且使得焦点模糊,这是由于狗的眼睛被构造为具有二色视觉并且具有比人类的视力低的视力。用户8由此被提供有表示狗的眼睛看见的视图的图像。
图6A至图6C是示出基于视觉特性参数的拍摄图像的其他转换示例的示意图。感知数据转换单元10b基于每种生物的视觉特性参数Eye-Tn将成像透镜3a全景成像的拍摄图像P0转换为图像数据,该图像数据是通过从拍摄图像P0根据每种生物的视角或视点修剪范围而获得的。
例如,如图6A所示,当基于长颈鹿视觉特性参数Eye-T4时,感知数据转换单元10b将全景成像的拍摄图像P0转换成通过以大约350度的视角(长颈鹿的视角)从全景成像的拍摄图像P0修剪上部范围(长颈鹿的视点)而获得的转换图像P6。如图6B所示,当基于马视觉特性参数Eye-T5时,感知数据转换单元10b将全景成像的拍摄图像P0转换成通过以大约350度的视角(马的视角)从全景成像的拍摄图像P0修剪中间范围(马的视点)而获得的转换图像P7。另外,马都不能看见视角内的鼻子的尖端,这是由于鼻子的尖端是马的盲区。然而,转换图像P7没有反映(示出)该盲区。如图6C所示,当基于猫视觉特性参数Eye-T6时,感知数据转换单元10b将全景成像的拍摄图像P0转换成通过以大约280度的视角(猫的视角)从全景成像的拍摄图像P0修剪下部范围(猫的视点)而获得的转换图像P8。
如上,参照图5和图6,描述了基于视觉特性参数的图像数据的具体转换示例。基于视觉特性参数的、根据本实施例的图像数据的转换示例不限于图5和图6所示的转换。拍摄图像也可被转换为基于如下视觉特性参数的图像数据:该视觉特性参数是通过将诸如猫和狗的肉食动物具有双目视觉以及诸如长颈鹿和马的食草动物具有双目视觉纳入考虑而获得的。拍摄图像P0可由多个成像透镜3a成像的多个拍摄图像构成。由此可基于所设置的视觉特性参数从拍摄图像修剪预定范围,该拍摄图像是通过对比戴上HMD1的用户(人类)的视角宽的区域进行成像而获得的。
在图3的步骤S118中,主控制单元10向显示控制单元17发出指示,使得显示单元2显示感知数据转换单元10b转换后的图像数据(转换图像)。
如上所述,根据本实施例的HMD1可以实时地将用户8看见的视图转换成用户8选择的生物的眼睛看见的视图,并且提供转换后的视图。根据本实施例的感知数据转换单元10b还可以根据每种生物的进化而基于感知特性参数对感知数据进行转换。由于生物具有根据进化而改变的感测机制,因此一旦感知数据转换单元10b获取了在数据库中被累积作为视觉特性参数的内容,感知数据转换单元10b还可以例如提供三千万年前或两亿年前的所选择的生物看见的视图。
图7示出了可以指定期望生物的年代的输入屏幕32的示例。如图7所示,例如,当选择表示鱼的图标31c时,显示输入屏幕32。输入屏幕32包括所选择的鱼图标31c和用于指定鱼年代的年代条显示33。用户8可以通过眼注视输入、姿势输入或音频输入而指定期望的年代。
如上,参照图3至图7,已具体描述了根据本实施例的视觉转换处理。根据本实施例的HMD1不限于图7所示的视觉转换处理。根据本实施例的HMD1还可以对各种感测器官感测的感知数据进行转换(如听觉转换处理和嗅觉转换处理)。作为示例,参照图8,将描述根据本实施例的听觉转换处理。
图8是示出根据第一实施例的听觉转换处理的流程图。如图8所示,首先,在步骤S123中,用户8将HMD1设置为听觉转换模式。HMD1还可例如通过安装在HMD1的耳机扬声器5a附近的开关(未示出)的操作而被设置为听觉转换模式。
接下来,在步骤S126中,HMD1的主控制单元10向显示控制单元17发出指示,使得显示单元2显示选择屏幕生成单元10d生成的生物选择屏幕(参见图4)。用户8通过眼注视输入、指示输入或音频输入选择表示期望生物的图标31。HMD1还可以利用来自耳机扬声器5a的音频输出有利于用户8选择期望的生物。
随后,在步骤S129中,视觉特性参数设置单元10a根据所选择的生物调用转换Ear-Tn表,并且设置用于听觉转换的听觉特性参数。
接下来,在步骤S132中,音频输入单元6收集周围区域中的声音。所收集的音频信号经由音频信号处理单元15被传送到感知数据转换单元10b。由于在S123中设置了听觉转换模式,因此音频输入单元6可继续收集声音。
随后,在步骤S135中,感知数据转换单元10b基于感知特性参数设置单元10a设置的听觉特性参数,对音频输入单元6收集的音频信号进行转换。例如,感知数据转换单元10b基于所设置的听觉特性参数将音频输入单元6收集的超声转换成可听见的声音。
在步骤S138中,主控制单元10向音频控制单元18发出指示,使得从音频输出单元5再现感知数据转换单元10b转换后的音频信号(转换后的音频数据)。
HMD1由此可以实时地将用户8听见的声音转换成期望生物的耳朵听见的声音,并且再现转换后的声音。
如上,已描述了HMD1执行的听觉转换处理。
此外,根据本实施例的HMD1不限于用户从如图4所示的选择屏幕30选择的生物。根据本实施例的HMD1还可自动地识别存在于周围区域中的生物,并且根据所识别的生物来设置感知特性参数。HMD1因此可以自动地设置居住在用户8周围的区域中的生物的感知特性参数。接下来,参照图9,以下将描述自动地识别存在于周围区域中的生物的操作处理。
图9是示出根据第一实施例的其他视觉转换处理的流程图。如图9所示,首先,在步骤S143中,用户8将HMD1设置为视觉转换模式。HMD1也可例如通过安装在HMD1的显示单元2附近的开关(未示出)的操作而被设置为视觉转换模式。
接下来,在步骤S146中,HMD1的生物识别单元10c识别存在于用户8周围的区域中的生物。也可基于成像单元3对周围区域进行成像而获得的拍摄图像的分析结果来识别生物。所识别的生物在这里包括除人类之外的动物、昆虫以及除用户8之外的人类。当识别了人类时,生物识别单元10c例如识别人类的类型(种族)或性别。例如,属于不同种族的人类可具有不同颜色的眼睛、不同地感觉到光或者不同地看见视图。种族差别可引起环境和文化差别并且使得人类不同地对颜色进行分类,结果使得人类不同地看见视图。此外,性别也可影响视图看起来如何。例如,与女人的眼睛相比,诸如橙子的水果对男人的眼睛来说可能看起来稍微更红。类似地,绿色植物几乎任何时候对女人的眼睛来说可能看起来更绿,但是它们对男人的眼睛来说可能看起来一点微黄。以此方式,种族和性别差别可改变世界看起来如何。因此,生物识别单元10c还识别作为存在于周围区域中的生物的其他人类,并且将识别结果输出到感知特性参数设置单元10a。
随后,在步骤S149中,感知特性参数设置单元10a经由通信单元21从存储单元22或云调用根据生物识别单元10c识别的生物的转换Tn表,并且设置用于视觉转换的视觉特性参数。
接下来,在步骤S152中,成像单元3对周围区域的视图进行成像。拍摄图像经由成像信号处理单元12和拍摄图像分析单元13被传送到感知数据转换单元10b。一旦在S103中设置了视觉转换模式,成像单元3还可连续对视图进行成像。
随后,在步骤S155中,感知数据转换单元10b基于感知特性参数设置单元10a设置的视觉特性参数对成像单元3成像的拍摄图像进行转换。
在步骤S158中,主控制单元10向显示控制单元17发出指示,使得显示单元2显示感知数据转换单元10b转换后的图像数据(转换图像)。
以此方式,HMD1可以根据存在于周围区域中的生物设置视觉特性参数,实时地将用户8看见的视图转换成存在于周围区域中的生物的眼睛看见的视图,并且提供转换后的视图。HMD1还可以识别作为存在于周围区域中的生物的其他人类,并且提供由于种族和性别差别而导致的视图差别。因此,当在已婚夫妇或夫妇或者在居家目的地处使用时,HMD1允许用户了解视图对用户附近的并且属于不同的性别或不同的种族的人看起来如何。用户由此可以找到用户附近的人不同地看到的惊奇视图。
除了由于种族和性别差别而导致的视图差别之外,HMD1还可提供由于年龄差别而导致的视图差别。在该情况下,变得可以了解视图对不同年龄的人(诸如孩子和父母、孙子女和祖父母以及成人和儿童(包括教师和学生))看起来如何。作为示例,参照图10至图12,将描述将由于种族差别导致的视图差别纳入考虑的图像数据的转换示例。
图10是示出基于视觉特性参数的彩虹图像的转换示例的示意图。已知一些国家、民族和文化关于彩虹具有六种颜色或七种颜色,而其他具有四种颜色。这是由于尽管人类具有相同的眼结构,但是不同的文化可能对颜色不同地分类并且具有不同的公知常识。
因此,根据本实施例的HMD1基于根据所识别(标识)的人的种族(诸如国家、民族和文化)的视觉特性参数,为具有A国家的国籍的人提供例如强调七种颜色的彩虹的转换图像P10,而HMD1为具有B国家的国籍的人提供强调四种颜色的彩虹的转换图像P11。用户8由此可以了解视图对属于不同种族和具有不同文化的人看起来如何。
图11是示出基于视觉特性参数的月亮图像的转换示例的示意图。已知对一些国家、民族和文化,月亮的图案看起来像“捣年糕的兔子”、“大螃蟹”或者“咆哮的狮子”。月亮始终具有暴露于地球的相同表面,使得可以从地球看到月亮的同一图案。然而,月亮的图案根据观察月亮的位置的自然条件、习惯和传统而看起来不同。例如,月亮的图案对大量日本人来说看起来像捣年糕的兔子。同时,在没有兔子栖息的太平洋中的岛中的人不会将月亮的图案与兔子相关联,而他们可能将图案与栖息在该区域中的动物(诸如狮子和鳄鱼)相关联。他们还可将月亮的图案与在该区域中流传下来的传说或神话中的男人或女人(诸如携带桶的男人和女人)相关联。
因此,根据本实施例的HMD1基于根据所识别(标识)的人类的种族(诸如国家、民族和文化)的视觉特性参数,为日本人提供例如以兔子的形式强调月亮图案的转换图像P13,而HMD1为南部欧洲人提供以螃蟹的形式强调月亮图案的转换图像P14。用户8由此可以了解对属于不同种族并且具有不同文化的人来说月亮图案看起来如何。
图12是示出基于视觉特性参数的视图图像的转换示例的示意图。例如,已知虽然人类具有相同的眼结构,但是眼睛的不同颜色(虹膜的颜色)使得人不同地感觉到光。眼睛的颜色是遗传物理特征,并且主要由虹膜中的黑素细胞产生的黑色素的比例来确定。由于蓝色眼睛具有较少的黑色素,因此与棕色眼睛相比,蓝色眼睛例如更易于强烈地感觉到光(感觉光更耀眼)。
因此,根据本实施例的HMD1基于根据从所识别(标识)的人类的种族估计的眼睛的颜色或所标识的眼睛的颜色的视觉特性参数,为例如具有棕色眼睛的人提供曝光水平降低的转换图像P16,而HMD1为具有蓝色眼睛的人提供曝光水平提高的转换图像P17。用户8由此可以了解属于不同种族(具有不同颜色的眼睛)的人如何感觉到光。
如上,描述了将种族差别影响视图看起来如何纳入考虑的图像数据的转换示例。根据本实施例的转换处理不限于参照图9至图12描述的视觉转换处理。还可想到对各种感测器官感测的感知数据的转换处理,诸如听觉转换处理和嗅觉转换处理。
根据本实施例的HMD1还可由医生用于诊断。医生佩戴的HMD1自动识别存在于周围区域中的患者,经由通信单元21从网络上的医疗信息服务器获取患者的感知特性参数,并且设置感知特性参数。医疗信息服务器预先存储基于患者的诊断信息或症状信息的感知特性参数。HMD1根据所设置的感知特性参数实时地对成像单元3成像的拍摄图像或音频输入单元6收集的音频信号数据进行转换,并且分别从显示单元2或音频输出单元5再现转换后的拍摄图像或转换后的音频信号。
因此,甚至当患者不能口头上以及正确地表述其症状时,医生也可以通过基于患者的感知特性参数对感知数据的转换而了解患者看见什么视图以及患者听见什么声音。
<2-2.第二实施例>
如上,描述了根据第一实施例的HMD1。在第一实施例中描述了单个HMD1单独执行感知转换处理。然而,当存在多个HMD1时,HMD1也可以彼此传送和接收感知数据和感知特性参数。接下来,参照图13至图18,将描述多个HMD1执行的感知转换处理作为第二实施例。
(2-2-1.概况)
图13是用于描述第二实施例的概况的图。如图13所示,用户8j佩戴HMD1j,而用户8t佩戴HMD1t。HMD1j可以将用户8j的感知特性参数传送到HMD1t,并且还将HMD1j获取的感知数据传送到HMD1t。
用户8j由此可以向用户8t示出用户8j如何看见视图和听见声音。当例如在居家目的地处在已婚夫妇或夫妇之间或者在父母与孩子之间或者在成人与儿童之间(诸如教师与学生之间)使用多个HMD1j和HMD1t时,可以向存在于周围区域中的属于不同性别、种族和不同年龄的人示出视图看起来如何以及声音听起来如何。
(2-2-2.结构)
接下来,参照图14,将描述根据本实施例的HMD1j和HMD1t的内部结构。根据本实施例的HMD1j和HMD1t具有图2所示的HMD1的基本上相同的结构,但是仅主控制单元10具有不同的结构。图14是示出根据第二实施例的HMD1j和HMD1t中的每个的主控制单元10’的功能结构的图。
如图14所示,主控制单元10’用作感知特性参数设置单元10a、感知数据转换单元10b、感知特性参数比较单元10e和通信控制单元10f。
感知特性参数比较单元10e将从对方HMD接收的感知特性参数与佩戴当前HMD的佩戴者的感知特性参数进行比较,并且确定感知特性参数是否彼此匹配。如果参数彼此不匹配,则感知特性参数比较单元10e将比较结果(指示感知特性参数彼此不匹配)输出到通信控制单元10f或感知特性参数设置单元10a。
当通信控制单元10f从感知特性参数比较单元10e接收到指示感知特性参数彼此不匹配的比较结果时,通信控制单元10f执行控制以使得通信单元21将佩戴当前HMD的佩戴者的感知特性参数传送到对方HMD。通信控制单元10f还可执行控制以使得当前HMD获取的感知数据与佩戴当前HMD的佩戴者的感知特性参数一起也被传送到对方HMD。
当感知特性参数设置单元10a从感知特性参数比较单元10e接收到指示感知特性参数彼此不匹配的比较结果时,感知特性参数设置单元10a设置从对方HMD接收的感知特性参数。替选地,当对方HMD比较了感知特性参数时以及当由于感知特性参数彼此不匹配而从对方HMD传送了感知特性参数时,感知特性参数设置单元10a可设置所传送的感知特性参数。
感知数据转换单元10b基于感知特性参数设置单元10a设置的感知特性参数(在本实施例中从对方HMD接收的感知特性参数),对当前HMD获取的感知数据或者从对方HMD接收的感知数据进行转换。
如上,描述了根据本实施例的HMD1j和HMD1t中的每个的主控制单元10’的功能结构。另外,感知特性参数设置单元10a和感知数据转换单元10b也可以执行与根据第一实施例的结构元件执行的处理基本上相同的处理。
(2-2-3.操作处理)
接下来,参照图15至图18,将具体描述根据本实施例的转换处理。
图15是示出根据第二实施例的感知转换处理的流程图。如图15所示,首先,在步骤S203中,用户8j将HMD1j设置为用于人类的感知转换模式。HMD1j也可例如通过安装在HMD1的显示单元2或耳机扬声器5a附近的开关(未示出)的操作而被设置为感知转换模式。
随后,在步骤S206中,HMD1j识别存在于周围区域中的生物(诸如用户8t),并且访问用户8t的HMD1t。例如,HMD1j自动识别图13的所示示例中的周围区域中的用户8t,并且访问HMD1t以从用户8t佩戴的HMD1t请求用户8t的感知特性参数。
接下来,在步骤S209中,HMD1t响应于来自HMD1j的请求而将用户8t的感知特性参数传送到HMD1j。
随后,在步骤S212中,HMD1j的感知特性参数比较单元10e将根据作为佩戴HMD1j的佩戴者的用户8j的感知特性参数与从HMD1t传送的感知特性参数进行比较,并且确定感知特性参数是否彼此不同。
如果感知特性参数不是不同的(S212/否),则HMD1j在步骤S213中不将感知特性参数传送到HMD1t。
相反,如果感知特性参数彼此不同(S212/是),则HMD1j在步骤S215中调用转换Tn表并且提取佩戴HMD1j的用户8j的感知特性参数Tj。
随后,在步骤S218中,HMD1j的通信控制单元10f执行控制以使得感知特性参数Tj被传送到HMD1t。
接下来,在步骤S221中,HMD1t从用户8t周围的区域中获取感知数据。
随后,在步骤S224中,HMD1t使得感知特性参数设置单元10a设置从HMD1j接收的感知特性参数Tj,并且使得感知数据转换单元10b基于感知特性参数Tj对从用户8t周围的区域获取的感知数据进行转换。
在步骤S227中,HMD1t输出转换后的感知数据。
用户8j佩戴的HMD1j由此可以将用户8j的感知特性参数传送到用户8t的HMD1t,并且为用户8t提供HMD1t基于用户8j的感知特性参数而转换的感知数据。基于用户8j的感知特性参数对在用户8t周围的区域中获取的感知数据进行转换和输出,并且用户8t可以体验用户8j的感测机制如何感测到感知数据。
如上,参照图15描述了根据本实施例的HMD1j和HMD1t中的每个的感知转换处理。上述感知转换处理包括视觉转换处理、听觉转换处理和嗅觉转换处理。参照图16,以下将描述HMD1j和HMD1t均执行视觉转换处理作为感知转换处理的具体示例。
图16是示出根据第二实施例的视觉转换处理的流程图。如图16所示,首先,在步骤S243中,用户8j将HMD1j设置为用于人类的视觉转换模式。HMD1j也可例如通过安装在HMD1j的显示单元2附近的开关(未示出)的操作而被设置为视觉转换模式。
随后,在步骤S246中,HMD1j访问存在于周围区域中的HMD1t。具体地,HMD1j从HMD1t请求佩戴HMD1t的用户8t的视觉特性参数。
接下来,在步骤S249中,HMD1t响应于来自HMD1j的请求而将用户8t的视觉特性参数Eye-Tt传送到HMD1j。
随后,在步骤S252中,HMD1j的视觉特性参数比较单元10e将作为佩戴HMD1j的佩戴者的用户8j的视觉特性参数与从HMD1t传送的视觉特性参数Eye-Tt进行比较,并且确定视觉特性参数是否彼此不同。
如果视觉特性参数不是彼此不同的(S252/否),则HMD1j在步骤S253中不向HMD1t传送任何东西。
相反,如果视觉特性参数彼此不同(S252/是),则HMD1j在步骤S255中调用转换Tn表,并且提取佩戴者8j的视觉特性参数Eye-Tj。
随后,在步骤S258中,HMD1j的通信控制单元10f执行控制,以使得视觉特性参数Eye-Tj被传送到HMD1t。
接下来,在步骤S261中,HMD1t利用HMD1t的成像单元3对周围区域的视图进行成像,并且获取拍摄图像。
随后,在步骤S264中,HMD1t使得感知特性参数设置单元10a设置从HMD1j接收的视觉特性参数Eye-Tj,并且使得感知数据转换单元10b基于视觉特性参数Eye-Tj对在S261中获取的拍摄图像进行转换。
在步骤S267中,HMD1t在HMD1t的显示单元2上显示转换图像数据。
用户8j佩戴的HMD1t由此可以将用户8j的视觉特性参数传送到用户8t的HMD1t,并且向用户8t示出HMD1t基于用户8j的视觉特性参数转换的图像数据。基于用户8j的视觉特性参数对用户8t周围的区域的视图进行转换和显示,并且用户8t可以体验周围区域的视图对用户8j的眼睛看起来如何。
如上,具体描述了HMD1j和HMD1t均执行视觉转换处理。接下来,参照图17,将描述HMD1j和HMD1t均执行听觉转换处理。
图17是示出根据第二实施例的听觉转换处理的流程图。如图17所示,首先,用户8j在步骤S273中将HMD1j设置为用于人类的听觉转换模式。HMD1j也可例如通过安装在HMD1j的耳机扬声器5a附近的开关(未示出)的操作而被设置为听觉转换模式。
随后,在步骤S276中,HMD1j访问存在于周围区域中的HMD1t。具体地,HMD1j从HMD1t请求佩戴HMD1t的用户8t的听觉特性参数。
接下来,在步骤S279中,HMD1t响应于来自HMD1j的请求而将用户8t的听觉特性参数Ear-Tt传送到HMD1j。
随后,在步骤S282中,HMD1j的感知特性参数比较单元10e将作为佩戴HMD1j的佩戴者的用户8j的听觉特性参数与从HMD1t传送的听觉特性参数Ear-Tt进行比较,并且确定听觉特性参数是否彼此不同。
如果听觉特性参数不是彼此不同的(S282/否),则HMD1j在步骤S283中不向HMD1t传送任何东西。
相反,如果感知特性参数彼此不同(S282/是),则HMD1j在步骤S285中调用转换Tn表,并且提取佩戴者8j的听觉特性参数Ear-Tj。
随后,在步骤S288中,HMD1j的通信控制单元10f执行控制,以使得听觉特性参数Ear-Tj被传送到HMD1t。
接下来,在步骤S291中,HMD1t利用HMD1t的音频输入单元6收集周围区域中的声音,并且获取音频信号数据(音频信号)。
随后,在步骤S294中,HMD1t使得感知特性参数设置单元10a设置从HMD1j接收的听觉特性参数Ear-Tj,并且使得感知数据转换单元10b基于听觉特性参数Ear-Tj对在S291中获取的音频信号进行转换。
在步骤S297中,HMD1t从HMD1t的音频输出单元5(扬声器)再现转换后的音频信号。
用户8j佩戴的HMD1j由此可以将用户8j的听觉特性参数传送到用户8t的HMD1t,并且允许用户8t听见HMD1t基于用户8j的听觉特性参数转换的音频信号。基于用户8j的听觉特性参数对用户8t周围的区域中的声音进行转换和再现,以使得用户8t可以体验周围区域中的声音对用户8j的耳朵听起来如何。
如上,参照图15至图17描述了HMD1j将用户8j的感知特性参数传送到用户8t佩戴的HMD1t。根据本实施例的HMD1j和HMD1t执行的感知转换处理不限于图15至图17所示的示例。例如,HMD1j获取的感知数据可一起被传送到HMD1t。接下来,参照图18,将进行详细描述。
图18是示出根据第二实施例的其他感知转换处理的流程图。图18中的步骤S203至步骤S218所示的处理与图15所示的步骤中的处理基本上相同,使得这里将省略描述。
随后,在步骤S222中,HMD1j从用户8j周围的区域获取感知数据。具体地,HMD1j例如获取由HMD1j的成像单元3对用户8j周围的区域的视图进行成像而获得的拍摄图像,或者获取由HMD1j的音频输入单元6收集用户8j周围的区域中的声音而获得的音频信号。
接下来,在步骤S223中,HMD1j的通信控制单元10f执行控制,以使得从用户8j周围的区域获取的感知数据被传送到HMD1t。
随后,在步骤S225中,HMD1t使得感知特性参数设置单元10a设置从HMD1j接收的感知特性参数Tj,并且使得感知数据转换单元10b基于感知特性参数Tj对从HMD1j传送的感知数据进行转换。
在步骤S227中,HMD1t输出转换后的感知数据。
用户8j佩戴的HMD1j由此可以将用户8j的感知特性参数和感知数据传送到HMD1t,并且为用户8t提供HMD1t基于用户8j的感知特性参数而转换的感知数据。基于用户8j的感知特性参数对在用户8j周围的区域中获取的感知数据进行转换和输出,并且用户8t可以体验用户8j利用用户8j的感测机制感测到周围区域如何。
具体地,例如,如同用户8t利用用户8j的眼睛看见视图一样,用户8t可以看见用户8j当前看见的视图。
如上,描述了HMD1j将感知特性参数和感知数据传送到HMD1t。当从HMD1t接收的感知特性参数与用户8j的感知特性参数不同时,HMD1j可设置从HMD1t接收的感知特性参数,基于该感知特性参数对HMD1j获取的感知数据进行转换,并且为用户8j提供转换后的感知数据。此外,当从HMD1t接收的感知特性参数与用户8j的感知特性参数不同时,HMD1j可设置从HMD1t接收的感知特性参数,基于该感知特性参数对从HMD1t接收的感知数据进行转换,并且为用户8j提供转换后的感知数据。
<<3.结论>>
如上所述,根据本实施例的HMD1可以基于根据期望生物的感知特性参数,实时地将用户8当前感测的感知数据转换为由具有结构上不同的感测机制的其他生物感测的感知数据。用户8由此可以体验作为由其他生物的眼睛和耳朵感测到的视图和声音的、周围区域中的视图和声音。
根据本实施例的HMD1的感知特性参数设置单元10a根据用户8选择的生物或者自动被识别为存在于周围区域中的生物而设置感知特性参数。
另外,根据本实施例的HMD1的感知特性参数设置单元10a可不仅根据除人类之外的生物而且还根据属于与用户8的种族和性别不同的种族和性别的人类来设置感知特性参数。
当存在多个根据本实施例的HMD1时,多个HMD1可以彼此传送和接收佩戴者的感知特性参数和感知数据。
本领域技术人员应理解,在所附权利要求或其等同方案的范围内,根据设计要求和其他因素,可进行各种修改、组合、子组合和变更。
例如,还可以产生用于使得构建在HMD1中的硬件(诸如CPU、ROM和RAM)执行HMD1的上述功能的计算机程序。还提供了其中存储有该计算机程序的计算机可读存储介质。
另外,本技术还可如下配置。
(1)一种信号处理设备,包括:
设置单元,被配置成设置用于将感知数据改变为期望感知数据的感知特性参数;以及
转换单元,被配置成根据所述设置单元设置的感知特性参数,实时地将当前获取的感知数据转换为所述期望感知数据。
(2)根据(1)所述的信号处理设备,还包括:
生成单元,被配置成生成用于选择所述期望感知数据的选择屏幕。
(3)根据(1)或(2)所述的信号处理设备,
其中,所述感知特性参数根据生物的类型而不同。
(4)根据(1)至(3)中任一项所述的信号处理设备,还包括:
识别单元,被配置成自动识别存在于周围的区域中的生物,
其中,所述设置单元设置用于将所述感知数据改变为根据所述识别单元识别的生物的感知数据的感知特性参数。
(5)根据(4)所述的信号处理设备,
其中,根据所述识别单元识别的生物的感知特性参数是从外部空间获取的。
(6)根据(1)至(5)中任一项所述的信号处理设备,还包括:
获取单元,被配置成获取用户周围的区域中的感知数据,
其中,所述转换单元基于所述感知特性参数对所述获取单元获取的感知数据进行转换。
(7)根据(4)所述的信号处理设备,还包括:
接收单元,被配置成接收所述识别单元识别的生物周围的区域中的感知数据,
其中,所述转换单元基于所述感知特性参数对所述接收单元接收的感知数据进行转换。
(8)根据(4)所述的信号处理设备,还包括:
传送单元,被配置成当根据所述识别单元识别的生物的感知特性参数与用户的感知特性参数不同时,将所述用户的感知特性参数传送到所述生物持有的装置。
(9)根据(8)所述的信号处理设备,还包括:
获取单元,被配置成获取用户周围的区域中的感知数据,
其中,所述传送单元一起传送所述获取单元获取的所述用户周围的区域中的感知数据。
(10)根据(1)至(9)中任一项所述的信号处理设备,还包括:
再现单元,被配置成再现所述转换单元转换的所述期望感知数据。
(11)根据(1)至(10)中任一项所述的信号处理设备,
其中,所述感知数据是图像数据、音频数据、压力数据、温度数据、湿度数据、味道数据或气味数据。
(12)根据(1)至(11)中任一项所述的信号处理设备,
其中,所述感知特性参数是视觉特性参数、听觉特性参数、触觉特性参数、味觉特性参数或嗅觉特性参数。
(13)一种其中存储有程序的非暂态计算机可读存储介质,所述程序使得计算机用作:
设置单元,被配置成设置用于将感知数据改变为期望感知数据的感知特性参数;以及
转换单元,被配置成根据所述设置单元设置的感知特性参数,实时地将当前获取的感知数据转换为所述期望感知数据。
Claims (13)
1.一种信号处理设备,包括:
设置单元,被配置成设置用于将感知数据改变为期望感知数据的感知特性参数;以及
转换单元,被配置成根据所述设置单元设置的感知特性参数,实时地将当前获取的感知数据转换为所述期望感知数据。
2.根据权利要求1所述的信号处理设备,还包括:
生成单元,被配置成生成用于选择所述期望感知数据的选择屏幕。
3.根据权利要求1所述的信号处理设备,
其中,所述感知特性参数根据生物的类型而不同。
4.根据权利要求1所述的信号处理设备,还包括:
识别单元,被配置成自动识别存在于周围的区域中的生物,
其中,所述设置单元设置用于将所述感知数据改变为根据所述识别单元识别的生物的感知数据的感知特性参数。
5.根据权利要求4所述的信号处理设备,
其中,根据所述识别单元识别的生物的感知特性参数是从外部空间获取的。
6.根据权利要求1所述的信号处理设备,还包括:
获取单元,被配置成获取用户周围的区域中的感知数据,
其中,所述转换单元基于所述感知特性参数对所述获取单元获取的感知数据进行转换。
7.根据权利要求4所述的信号处理设备,还包括:
接收单元,被配置成接收所述识别单元识别的生物周围的区域中的感知数据,
其中,所述转换单元基于所述感知特性参数对所述接收单元接收的感知数据进行转换。
8.根据权利要求4所述的信号处理设备,还包括:
传送单元,被配置成当根据所述识别单元识别的生物的感知特性参数与用户的感知特性参数不同时,将所述用户的感知特性参数传送到所述生物持有的装置。
9.根据权利要求8所述的信号处理设备,还包括:
获取单元,被配置成获取用户周围的区域中的感知数据,
其中,所述传送单元一起传送所述获取单元获取的所述用户周围的区域中的感知数据。
10.根据权利要求1所述的信号处理设备,还包括:
再现单元,被配置成再现所述转换单元转换的所述期望感知数据。
11.根据权利要求1所述的信号处理设备,
其中,所述感知数据是图像数据、音频数据、压力数据、温度数据、湿度数据、味道数据或气味数据。
12.根据权利要求1所述的信号处理设备,
其中,所述感知特性参数是视觉特性参数、听觉特性参数、触觉特性参数、味觉特性参数或嗅觉特性参数。
13.一种其中存储有程序的非暂态计算机可读存储介质,所述程序使得计算机用作:
设置单元,被配置成设置用于将感知数据改变为期望感知数据的感知特性参数;以及
转换单元,被配置成根据所述设置单元设置的感知特性参数,实时地将当前获取的感知数据转换为所述期望感知数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013035591A JP2014165706A (ja) | 2013-02-26 | 2013-02-26 | 信号処理装置および記憶媒体 |
JP2013-035591 | 2013-02-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104010184A true CN104010184A (zh) | 2014-08-27 |
Family
ID=51370658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410056483.7A Pending CN104010184A (zh) | 2013-02-26 | 2014-02-19 | 信号处理设备和存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140240336A1 (zh) |
JP (1) | JP2014165706A (zh) |
CN (1) | CN104010184A (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016113963A1 (ja) | 2015-01-15 | 2016-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11263461B2 (en) * | 2015-10-05 | 2022-03-01 | Pillar Vision, Inc. | Systems and methods for monitoring objects at sporting events |
EP3182364A1 (en) * | 2015-12-16 | 2017-06-21 | Samos Medical Enterprise, SLU | System, method and computer program products to display an image according to the visual perception of living beings |
JP2017123050A (ja) * | 2016-01-07 | 2017-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及びサーバ |
CN113599788B (zh) * | 2016-02-19 | 2023-03-28 | 沛勒尔维珍公司 | 用于在体育事件中监测运动员表现的系统和方法 |
CN106445437A (zh) * | 2016-09-08 | 2017-02-22 | 深圳市金立通信设备有限公司 | 一种终端及其视角切换方法 |
BR112019011991A2 (pt) * | 2017-01-13 | 2020-04-14 | Filipe Muralha Antunes Nuno | sistema e método de aquisição, de registro e de gestão multimídia |
JP2019139465A (ja) | 2018-02-09 | 2019-08-22 | ソニー株式会社 | 制御装置、制御方法及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5241671C1 (en) * | 1989-10-26 | 2002-07-02 | Encyclopaedia Britannica Educa | Multimedia search system using a plurality of entry path means which indicate interrelatedness of information |
US5682506A (en) * | 1994-09-12 | 1997-10-28 | General Electric Company | Method and system for group visualization of virtual objects |
IL119558A (en) * | 1996-11-04 | 2005-11-20 | Odin Technologies Ltd | Multi-probe mri/mrt system |
JP3501213B2 (ja) * | 1999-07-13 | 2004-03-02 | 日本電気株式会社 | ビデオ装置およびそれに使用される再符号化器 |
US20030126013A1 (en) * | 2001-12-28 | 2003-07-03 | Shand Mark Alexander | Viewer-targeted display system and method |
US20080228498A1 (en) * | 2004-07-15 | 2008-09-18 | Gasque Samuel N | Enhanced coordinated signal generation apparatus |
JP5017989B2 (ja) * | 2006-09-27 | 2012-09-05 | ソニー株式会社 | 撮像装置、撮像方法 |
US20080157983A1 (en) * | 2006-10-17 | 2008-07-03 | Designlink, Llc | Remotely Operable Game Call or Monitoring Apparatus |
JP4961984B2 (ja) * | 2006-12-07 | 2012-06-27 | ソニー株式会社 | 画像表示システム、表示装置、表示方法 |
JP2009015449A (ja) * | 2007-07-02 | 2009-01-22 | Sony Corp | 生体情報共有システム、生体情報表現装置、生体情報表現方法 |
US8884961B2 (en) * | 2011-05-17 | 2014-11-11 | Autodesk, Inc. | Systems and methods for displaying a unified representation of performance related data |
-
2013
- 2013-02-26 JP JP2013035591A patent/JP2014165706A/ja active Pending
-
2014
- 2014-02-11 US US14/177,617 patent/US20140240336A1/en not_active Abandoned
- 2014-02-19 CN CN201410056483.7A patent/CN104010184A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2014165706A (ja) | 2014-09-08 |
US20140240336A1 (en) | 2014-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104010184A (zh) | 信号处理设备和存储介质 | |
Mather | Foundations of sensation and perception | |
Rosenthal | Mate choice: the evolution of sexual decision making from microbes to humans | |
Cooper et al. | Cochlear implants: A practical guide | |
Valberg | Light vision color | |
Liebal et al. | Primate communication: a multimodal approach | |
US10939034B2 (en) | Imaging system and method for producing images via gaze-based control | |
CN104113683B (zh) | 信息处理设备和存储介质 | |
CN109564706A (zh) | 基于智能交互式增强现实的用户交互平台 | |
KR101197678B1 (ko) | 홍채 진단을 통한 건강 관리 시스템 및 방법 | |
US20130063550A1 (en) | Human environment life logging assistant virtual esemplastic network system and method | |
CN103793360A (zh) | 信息处理系统、信息处理设备和存储介质 | |
Chittka et al. | Colour constancy in insects | |
Melin et al. | Zebra stripes through the eyes of their predators, zebras, and humans | |
CN103869468A (zh) | 信息处理设备和记录介质 | |
CN104306102A (zh) | 针对视觉障碍患者的头戴式视觉辅助系统 | |
CN105103658A (zh) | 环境控制系统 | |
Dehnhardt | Sensory systems | |
Picou et al. | Child–adult differences in using dual-task paradigms to measure listening effort | |
Kano et al. | Experimental evidence that uniformly white sclera enhances the visibility of eye-gaze direction in humans and chimpanzees | |
Frush Holt | Assistive hearing technology for deaf and hard-of-hearing spoken language learners | |
CN107072546A (zh) | 健康度输出装置、健康度输出系统以及程序 | |
Fernández-Juricic et al. | Do male and female cowbirds see their world differently? Implications for sex differences in the sensory system of an avian brood parasite | |
Whitham et al. | Chimpanzee (Pan troglodytes) gaze is conspicuous at ecologically-relevant distances | |
Van Renterghem et al. | Road traffic noise annoyance mitigation by green window view: Optimizing green quantity and quality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140827 |