CN109427104A - 信息处理装置以及存储程序的计算机可读介质 - Google Patents

信息处理装置以及存储程序的计算机可读介质 Download PDF

Info

Publication number
CN109427104A
CN109427104A CN201810313367.7A CN201810313367A CN109427104A CN 109427104 A CN109427104 A CN 109427104A CN 201810313367 A CN201810313367 A CN 201810313367A CN 109427104 A CN109427104 A CN 109427104A
Authority
CN
China
Prior art keywords
display
information processing
processing unit
objective body
variation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810313367.7A
Other languages
English (en)
Other versions
CN109427104B (zh
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN109427104A publication Critical patent/CN109427104A/zh
Application granted granted Critical
Publication of CN109427104B publication Critical patent/CN109427104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30192Weather; Meteorology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种信息处理装置以及存储程序的计算机可读介质,增加能够向用户提供的表现。信息处理装置包括:显示部,三维显示目标体的图像;探测部,对设为探测对象的物理量进行探测;以及显示控制部,根据探测部的输出,对显示于显示部的目标体中的特定部位的显示施加变化。

Description

信息处理装置以及存储程序的计算机可读介质
技术领域
本发明涉及一种信息处理装置以及存储程序(program)的计算机可读介质。
背景技术
在三维显示对象物(所谓的目标体(object))的技术中,有使用一个显示画面的方法、使用立体地配置的多个显示画面的方法、使用三维显示器的方法等。
现有技术文献
专利文献
专利文献1:日本专利特开2014-110628号公报
发明内容
[发明所要解决的问题]
当前,内置在具有显示设备的机器中的加速度传感器(sensor)的输出被用于目标体的整体或全身的行为控制等,并未设想对三维显示的目标体的特定部位的显示施加变化。
本发明的目的在于增加能够向用户提供的表现。
[解决问题的技术手段]
技术方案1所述的发明是一种信息处理装置,其包括:显示部,三维显示目标体的图像;探测部,对设为探测对象的物理量进行探测;以及显示控制部,根据所述探测部的输出,对显示于所述显示部的目标体中的特定部位的显示施加变化。
技术方案2所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于所述探测部探测到压力的位置,来确定对显示施加变化的部位。
技术方案3所述的发明是根据技术方案2所述的信息处理装置,其中,所述显示控制部根据所探测到的压力的大小,来改变对所述目标体给予的变化的大小。
技术方案4所述的发明是根据技术方案3所述的信息处理装置,其中,所述大小是作为多次探测结果的累积值而给出。
技术方案5所述的发明是根据技术方案3所述的信息处理装置,其中,所述特定部位的显示内容根据所述大小的时间变化而变化。
技术方案6所述的发明是根据技术方案2所述的信息处理装置,其中,所述显示控制部基于由多个所述探测部所探测到的压力的大小分布,来计算作用于所述目标体的外力的方向。
技术方案7所述的发明是根据技术方案6所述的信息处理装置,其中,基于所计算出的外力的方向,来确定使显示于所述显示部的所述目标体中的显示发生变化的部位。
技术方案8所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于所述探测部所探测出的加速度的方向,来确定使显示于所述显示部的所述目标体中的显示发生变化的部位。
技术方案9所述的发明是根据技术方案8所述的信息处理装置,其中,根据所探测出的加速度的大小,来改变对所述目标体给予的变化的大小。
技术方案10所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于不同部位的所述探测部所探测出的湿度,来确定使显示于所述显示部的所述目标体的显示发生变化的部位。
技术方案11所述的发明是根据技术方案10所述的信息处理装置,其中,所述显示控制部在探测出超过预定阈值的湿度时,使所述目标体中的所确定的部位的显示变化为湿润的状态。
技术方案12所述的发明是根据技术方案10所述的信息处理装置,其中,所述显示控制部在探测出超过预定阈值的湿度时,使所确定的部位的衣服或鞋子变化为雨天或水边款式。
技术方案13所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于不同部位的所述探测部所探测出的温度,来确定使显示于所述显示部的所述目标体的显示发生变化的部位。
技术方案14所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于根据不同部位的所述探测部的输出而确定的扭曲的信息,来确定使显示于所述显示部的所述目标体的显示发生变化的部位。
技术方案15所述的发明是根据技术方案14所述的信息处理装置,其中,所述显示控制部根据所探测到扭曲的大小,来改变对所述目标体给予的变化的大小。
技术方案16所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于由所述探测部所探测出的海拔,来对显示施加变化。
技术方案17所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于由所述探测部所探测出的气压,来对显示施加变化。
技术方案18所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部基于由所述探测部所探测出的照度值,来对显示施加变化。
技术方案19所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部根据来自多种所述探测部的输出组合,来对显示于所述显示部的所述目标体中的所述特定部位的显示施加变化。
技术方案20所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部根据从外部获取的环境信息与所述探测部的输出的组合,来对显示于所述显示部的所述目标体中的所述特定部位的显示施加变化。
技术方案21所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部将与显示于所述显示部的、变化后的所述目标体对应的打印数据输出至图像形成装置。
技术方案22所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部即使在所述显示部显示有变化后的所述目标体的情况下,仍与显示状态无关地将对所述目标体预先准备的打印数据输出至图像形成装置。
技术方案23所述的发明是根据技术方案1所述的信息处理装置,其中,所述显示控制部对与所述目标体对应的现实产品在根据所述探测部的输出所确定的环境下使用时的状态进行预测并反映到显示中。
技术方案24所述的发明是根据技术方案1所述的信息处理装置,其中,所述探测部探测能变形的所述显示部的变形位置,所述显示控制部基于所探测出的变形位置,来确定对显示施加变化的部位。
技术方案25所述的发明是根据技术方案24所述的信息处理装置,其中,所述显示控制部在所述显示部从弯曲前的第1形状变形为弯曲后的第2形状的状态下,不对跨及弯曲位置而显示于所述显示部的目标体自身的图像施加图像编辑,在所述显示部从所述第2形状恢复为所述第1形状之后,在所述目标体自身的图像与所述弯曲位置的重合部分显示线段。
技术方案26所述的发明是根据技术方案24所述的信息处理装置,其中,所述显示控制部在所述显示部从弯曲前的第1形状变形为弯曲后的第2形状的状态下,不对跨及弯曲位置而显示于所述显示部的目标体的图像自身施加图像编辑,在所述显示部从所述第2形状恢复为所述第1形状之后,生成以所述弯曲位置为边界而对所述目标体的图像自身进行三维切剖的图像并予以显示。
技术方案27所述的发明是一种存储程序的计算机可读介质,其用于使计算机执行下述功能:三维显示目标体的图像;以及根据对设为探测对象的物理量进行探测的探测部的输出,对显示于显示部的所述目标体中的特定部位的显示施加变化。
技术方案28所述的发明是一种信息处理装置,其包括:显示控制部,将来自信息处理装置内部的探测部的输出和从信息处理装置外部获取的环境信息组合而确定使用者的使用环境,显示可能在使用环境中发生的内容的对象。
技术方案29所述的发明是根据技术方案28所述的信息处理装置,其中,如果使用环境是异常环境,显示控制部将物体的显示以与异常相对应的显示模式进行显示。
技术方案30所述的发明是根据技术方案28所述的信息处理装置,其中,如果使用环境是异常环境,显示控制部显示警告信息。
技术方案31所述的发明是根据技术方案28所述的信息处理装置,其中,显示的对象的变化程度在增加后减少。
技术方案32所述的发明是根据技术方案28所述的信息处理装置,其中,根据使用环境改变显示的对象的变化程度。
技术方案33所述的发明是根据技术方案28所述的信息处理装置,其中,环境信息是关于天气的信息、关于犯罪预防的信息和关于交通的信息中的至少一个。
技术方案34所述的发明是根据技术方案28所述的信息处理装置,其中,对象的特定部位被改变。
技术方案35所述的发明是根据技术方案34所述的信息处理装置,其中,羽或翼被追加至特定部位。
技术方案36所述的发明是根据技术方案34所述的信息处理装置,其中,物体的形状被改变。
技术方案37所述的发明是根据技术方案34所述的信息处理装置,其中,对象的设备被改变。
技术方案38所述的发明是根据技术方案28所述的信息处理装置,其中,信息处理装置部的探测部获取位置、压力、加速度、弯曲、时间、温度、湿度、气压、仰角、高度、水深、磁极和声音中的至少一个信息。
技术方案39所述的发明是根据技术方案28至38中任一个所述的信息处理装置,其中,对象是虚拟空间上的角色。
技术方案40所述的发明是一种存储程序的计算机可读介质,其用于使计算机执行下述功能:将来自信息处理装置内部的检测器的输出和从信息处理装置的外部所获取的环境信息的组合而确定用户的使用环境,并显示可能在使用环境中发生的内容的对象。
[发明的效果]
根据技术方案1所述的发明,能够增加可向用户提供的表现。
根据技术方案2所述的发明,能够容易地确定部位。
根据技术方案3所述的发明,能够容易地调整对特定部位给予的变化的大小。
根据技术方案4所述的发明,能够容易地调整对特定部位给予的变化的大小。
根据技术方案5所述的发明,对特定部位给予的变化能够在时间上发生变化。
根据技术方案6所述的发明,能够容易地调整对特定部位给予的变化。
根据技术方案7所述的发明,能够容易地确定部位。
根据技术方案8所述的发明,能够容易地确定部位。
根据技术方案9所述的发明,能够容易地调整对特定部位给予的变化的大小。
根据技术方案10所述的发明,能够容易地确定部位。
根据技术方案11所述的发明,能够容易地确定部位。
根据技术方案12所述的发明,能够增加可向用户提供的表现。
根据技术方案13所述的发明,能够容易地确定部位。
根据技术方案14所述的发明,能够容易地确定部位。
根据技术方案15所述的发明,能够容易地调整对特定部位给予的变化的大小。
根据技术方案16所述的发明,能够增加可向用户提供的表现。
根据技术方案17所述的发明,能够增加可向用户提供的表现。
根据技术方案18所述的发明,能够增加可向用户提供的表现。
根据技术方案19所述的发明,能够增加可向用户提供的表现。
根据技术方案20所述的发明,能够增加可向用户提供的表现。
根据技术方案21所述的发明,能够增加可向用户提供的表现。
根据技术方案22所述的发明,能够增加可向用户提供的表现。
根据技术方案23所述的发明,能够增加可向用户提供的表现。
根据技术方案24所述的发明,能够容易地确定部位。
根据技术方案25所述的发明,能够增加可向用户提供的表现。
根据技术方案26所述的发明,能够增加可向用户提供的表现。
根据技术方案27所述的发明,能够增加可向用户提供的表现。
附图说明
图1是表示实施方式1的信息处理装置的外观例的图。
图2是说明平面型传感器的配置例的图。
图3是说明其他传感器的配置例的图。
图4是说明信息处理装置的硬件(hardware)结构例的图。
图5是说明实施方式1的控制部的功能结构的一例的图。
图6是说明显示于信息处理装置的显示部的三维目标体的显示例的图。
图7是说明在显示有角色(character)作为三维目标体的情况下,对信息处理装置的上表面施加有加速度(冲击)时的显示变化的图。
图8是说明在显示有角色作为三维目标体的情况下,对信息处理装置的上表面持续施加有加速度(冲击)时的显示变化的图。
图9是说明在显示有结构体作为三维目标体的情况下,对信息处理装置的上表面持续施加有加速度(冲击)时的显示变化的图。
图10是说明在显示有角色作为三维目标体的情况下,对角色的头部施加有压力时的显示变化的图。
图11是说明在显示有角色作为三维目标体的情况下,通过指尖对角色的头部持续施加有压力时的显示变化的图。
图12是说明在显示有角色作为三维目标体的情况下,对角色的胸部施加有压力时的显示变化的图。
图13是说明在显示有结构体作为三维目标体的情况下,对信息处理装置施加有扭曲时的显示变化的图。
图14是说明在显示有角色作为三维目标体的情况下,通过温度探测传感器探测到温度变化时的显示变化的图。
图15是说明在显示有冰作为三维目标体的情况下,通过温度探测传感器而探测到温度变化时的显示变化的图。
图16是说明在显示有角色作为三维目标体的情况下,通过湿度探测传感器而探测到湿度变化时的显示变化的图。
图17是说明加速度探测传感器在显示部的面内配置成M行N列的示例的图。
图18表示在加速度探测传感器配置成4行4列的情况下,从特定位置探测加速度(冲击)的次数变化。
图19是表示在正面、侧面及背面这四个面具有显示部的信息处理装置的外观例的图。
图20是表示实施方式2的信息处理装置的外观例的图。
图21是说明信息处理装置的硬件结构例的图。
图22是说明实施方式2的控制部的功能结构的一例的图。
图23A至图23E是说明通过弯曲位置确定部而确定的弯曲位置的示例的图。
图24是说明使用所确定的弯曲位置的信息来对三维目标体施加图像编辑的示例的图。
图25是说明使用所确定的弯曲位置的信息来对三维目标体施加图像编辑的另一例的图。
图26是说明将信息处理装置的变形操作用于由其他信息处理装置进行显示控制的显示装置的显示动作控制的使用例的图。
图27是说明将信息处理装置的变形操作用于由其他信息处理装置进行显示控制的显示装置的显示动作控制的另一使用例的图。
图28是表示三维显示器对三维目标体的显示例的图。
图29是说明通过用户的特定行为来对三维目标体的显示给予变化的情况的图。
图30是说明对投影在墙壁面或地板面的三维目标体给予变化的示例的图。
[符号的说明]
1、1A、1B、56、65:信息处理装置;
2、2A、2B、2C、2D:显示部;
3:控制部;
4:位置探测传感器;
5、7A、7B:压力探测传感器;
6:扭曲探测传感器;
8:加速度探测传感器;
9A、9B、9C:温度探测传感器;
10A、10B、10C:湿度探测传感器;
11:CPU;
12:ROM;
13:RAM;
14:主存储装置;
15:通信部;
16:总线;
21:压力强度确定部;
22:压力部位确定部;
23:操作位置确定部;
24:温度确定部;
25:湿度确定部;
26:加速度方向确定部;
27:加速度强度确定部;
28:扭曲确定部;
29:显示内容决定部;
30:角色;
30A:正面像;
30B:右侧面像;
31、32、33:血;
34:结构体;
35:伤痕;
36:裂痕;
37:指尖;
38:围巾;
39:汗;
40:冰;
41:水;
42:雨靴;
43:雨衣;
51:变形探测传感器;
52:弯曲位置确定部;
53、69:立体像;
54:线段;
55、67、70:切剖面;
57:显示装置;
61、61A:信息处理系统;
62:立体像;
63:用户;
64:摄像装置;
66:三维空间描绘装置;
68:投影装置;
D:Y方向的长度(纵深);
H:Z方向的长度(高度);
L1~L7:线;
t1~t4:时刻;
W:X方向的长度(宽度)。
具体实施方式
以下,参照附图来详细说明本发明的实施方式。
<术语>
以下说明的实施方式中,在说到三维显示对象物(以下称作“目标体”)时,是在下述含义下使用,即,使用一个显示画面、立体地配置的多个显示画面、所谓的三维显示器等,以包含纵深信息的形态予以显示。
其中,使用一个显示画面的方法包含:显示对位于实际空间内的目标体进行实际拍摄所得的二维图像(包含远近信息的图像)的情况;显示从一个视点方向表现以三维空间定义的目标体的二维图像的情况等。此处,以三维空间定义的目标体的示例包含虚拟空间上的角色、根据断层图像重构的三维图像等。
而且,使用立体地配置的多个显示画面的方法包含下述情况等,即,将从多个视点方向(与显示画面的配置位置对应)观察以三维空间定义的目标体的多个二维图像显示于各显示画面。
而且,使用三维显示器的方法包含:要求观察者佩戴具有特殊光学特性的眼镜的眼镜式、不需要佩戴特殊眼镜的裸眼式、将头戴显示器(head mount display)安装于观察者头部的方式等。裸眼式的示例有利用下述现象的方法,即,位于经会聚的激光焦点处的空气等离子体(plasma)化而发光。
但是,只要能够三维表现目标体即可,因此与目标体对应的信息并不需要内部信息(对体数据(volume data)进行定义的体素(voxel))的存在,例如也可作为以多面形状定义的表面(多边形网格(polygon mesh))的集合体而给出。
以下说明的实施方式中,所谓二维显示目标体,是在下述含义下使用,即,使用一个显示画面、立体地配置的多个显示画面、所谓的三维显示器等,以不含纵深信息的形态来显示目标体。
本实施方式中,将以三维空间定义的目标体称作三维目标体,将以二维空间定义的目标体称作二维目标体。
三维显示也能够通过在立体地配置的多个显示装置上分别显示对应的二维目标体而实现。
本实施方式中的目标体不仅作为静态图像而显示,也可作为动态图像而显示。
<实施方式1>
<装置结构>
图1是表示实施方式1的信息处理装置1的外观例的图。
实施方式1中的信息处理装置1例如设想平板(tablet)型的计算机(computer)或智能电话(smartphone)等便携式信息终端。
图1所示的信息处理装置1中,六个面全部为平面,在其中的一个面配置有显示部2。但是,信息处理装置1未必限于所有的面为平面。换言之,一个或多个面也可为曲面。
图1的示例中,将设有显示部2的面称作正面,将位于显示部2左右的面称作侧面,将与显示部2为相反侧的面称作背面或背部面。而且,将位于显示部2上侧的面称作上表面,将位于下侧的面称作底面。
在图1所示的信息处理装置1的情况下,正面侧的形状是Z方向的长度(高度)H长于X方向的长度(宽度)W的长方形状。而且,对信息处理装置1的侧面进行规定的Y方向的长度(纵深)D短于X方向的长度(宽度)W。
显示部2包含液晶显示器或有机电致发光(Electro Luminescence,EL)显示器等薄膜显示器。另外,在液晶显示器的情况下,还配置有未图示的光源。
在信息处理装置1的框体内,内置有对包含显示部2的各部的动作进行控制的控制部3及未图示的零件。
图2是说明平面型传感器的配置例的图。
图2中表示了位置探测传感器4、压力探测传感器5、扭曲探测传感器6。
位置探测传感器4是对用户的操作输入位置进行探测的传感器,层叠于显示部2的上表面。将显示部2组合于位置探测传感器4所得的电子设备被称作触控面板(touchpanel)。
位置探测传感器4是探测部的一例,根据用于探测的方式,可探测的对象物不同。例如在对探测使用静电电容式的情况下,人体的一部分(例如指尖)成为可探测的对象物。例如在对探测使用红外线方式的情况下,不仅指尖,笔(pen)等其他物体也成为可探测的对象物。
位置探测传感器4输出所探测出的对象物的坐标。实施方式1的位置探测传感器4能够一次探测多个操作位置。
压力探测传感器5是对操作输入时施加至操作位置的压力大小进行探测的传感器,例如配置在显示部2的背面侧。
本实施方式中的压力探测传感器5是电容性的压力传感器,将形成为薄膜状的传感器本体中产生的挠曲的大小探测为压力的大小。本实施方式的情况下,压力探测传感器5能够探测多级压力的差异。
扭曲探测传感器6是对传感器本体中产生的扭曲的大小进行探测的传感器,配置于显示部2的背面侧。
对于本实施方式中的扭曲探测传感器6,例如使用由村田制作所股份有限公司开发的、应用了聚乳酸的剪切压电性的位移传感器。本实施方式的情况下,扭曲探测传感器6能够探测扭曲的方向与大小。一般而言,扭曲是不伴随直接性的部位确定的物理量的一例。
此处的位置探测传感器4、压力探测传感器5、扭曲探测传感器6均为探测部的一例。
图3是说明另一传感器配置例的图。
图3所示的信息处理装置1的情况下,在框体内部,具有:压力探测传感器7A、7B,对局部施加至侧面下部的压力的大小进行探测;加速度探测传感器8,对施加至本体的加速度的方向与大小进行探测;温度探测传感器9A、9B、9C,探测温度;以及湿度探测传感器10A、10B、10C,探测湿度。
温度探测传感器与湿度探测传感器也可均为一个。
本实施方式中的压力探测传感器7A、7B能够多级探测对信息处理装置1的侧面施加的压力大小。
温度探测传感器9A、9B、9C不仅用于探测使用信息处理装置1的空间的温度(气温),也用于探测局部的温度。一般而言,温度是不伴随直接性的部位确定的物理量的一例。
湿度探测传感器10A、10B、10C不仅用于探测使用信息处理装置1的空间的湿度,也用于探测局部的湿度。一般而言,湿度是不伴随直接性的部位确定的物理量的一例。
此处的压力探测传感器7A、7B、加速度探测传感器8、温度探测传感器9A、9B、9C、湿度探测传感器10A、10B、10C均为探测部的一例。
图4是说明信息处理装置1的硬件结构例的图。
本实施方式中的信息处理装置1除了前述的设备以外,还具备用于数据保存的非易失性的主存储装置14与通信部15。这些设备通过总线(bus)16来交接数据。
另外,控制部3具有执行数据处理的中央处理器(Central Processing Unit,CPU)11、存储基本输入输出系统(Basic Input/Output System,BIOS)或固件(firmware)等程序等的只读存储器(Read Only Memory,ROM)12、以及作为作业区域而使用的随机存取存储器(Random Access Memory,RAM)13。
本实施方式中的主存储装置14例如包含半导体存储器或硬盘(hard disk)装置。
通信部15是用于与外部装置通信的通信部件。用于通信的方式多种多样。另外,通信路径既可为有线路径,也可为无线路径。
图5是说明实施方式1的控制部3的功能结构的一例的图。
图5所示的功能结构是通过程序的执行而实现。
实施方式1中的控制部3作为下述部分发挥功能,即:压力强度确定部21,确定压力的强度;压力部位确定部22,确定施加有压力的部位;操作位置确定部23,确定操作位置;温度确定部24,确定温度;湿度确定部25,确定湿度;加速度方向确定部26,确定加速度的方向;加速度强度确定部27,确定加速度的强度;扭曲确定部28,确定扭曲的方向与强度;以及显示内容决定部29,使用所确定的信息来决定显示内容。
此处的显示内容决定部29为显示控制部的一例。
对于压力强度确定部21,输入从配置于正面侧的压力探测传感器5输出的压力值、与从配置于侧面侧的两个压力探测传感器7A、7B输出的压力值,通过与预先准备的阈值的比较而输出对各位置施加的压力的强度。
压力部位确定部22在从配置于侧面侧的压力探测传感器7A、7B输入有压力值的情况下,确定通过用户的操作而施加有压力的位置为侧面。另一方面,压力部位确定部22在从位置探测传感器4输入有操作坐标的情况下,确定通过用户的操作而施加有压力的位置为正面。本实施方式的情况下,压力部位确定部22是独立于操作位置确定部23而设,但也可兼用作操作位置确定部23。
操作位置确定部23在从配置于侧面侧的压力探测传感器7A、7B输入有压力值的情况下,确定为用户正在操作侧面,在从位置探测传感器4输入有操作坐标的情况下,确定为用户正在操作以操作坐标给出的位置。操作位置确定部23不仅确定各时刻的操作位置,还确定伴随时间经过的操作位置的轨迹。本实施方式中的操作位置确定部23也能够一次探测多个操作位置。
温度确定部24基于从温度探测传感器9A、9B、9C输入的温度值,来确定各部位的温度、温度分布、时间变化等。
湿度确定部25基于从湿度探测传感器10A、10B、10C输入的湿度值,来确定各部位的湿度、湿度分布、时间变化等。
加速度方向确定部26基于从加速度探测传感器8输入的加速度信息,来确定作用于框体的加速度的方向或其时间变化。
加速度强度确定部27基于从加速度探测传感器8输入的加速度信息,来确定作用于框体的加速度的值或其时间变化。
扭曲确定部28基于扭曲探测传感器6的输出,来确定框体产生的扭曲的方向或大小。
显示内容决定部29基于来自前述的各确定部的信息,对三维显示于显示部2的目标体的显示给予变化。具体的变化内容将后述。
另外,根据设于框体的传感器的种类或配置,设为探测对象的物理量不同。
此外,无须将前述的传感器全部设于框体。
<显示控制的示例>
以下,说明实施方式1的显示内容决定部29使用传感器输入来执行的控制动作的示例。
图6是说明显示于信息处理装置1的显示部2的三维目标体的显示例的图。
图6所示的三维目标体表示人型的角色30,为三维显示的一例。
图7是说明在显示有角色30作为三维目标体的情况下,对信息处理装置1的上表面施加有加速度(冲击)时的显示变化的图。一般而言,此处的加速度(冲击)是不伴随直接性的部位确定的物理量的一例。
图7所示的示例中,表示了:在时刻t1,朝下(-Z方向)对信息处理装置1施加有加速度的情况。此事态例如是在对信息处理装置1的上表面施加有冲击的情况下,由加速度方向确定部26(参照图5)来确定。
此时,显示内容决定部29(参照图5)基于所确定的加速度的方向信息,来确定外力作用于三维目标体的哪个部位。
图7的示例中,角色30的头部位置高于其他部位。因此,显示内容决定部29确定为外力作用于角色30的头部。
另外,在时刻t1,加速度的大小也由加速度强度确定部27(参照图5)予以确定。加速度强度确定部27对从加速度探测传感器8(参照图4)输入的数值与阈值进行比较,以确定作用于信息处理装置1的外力的强度。
在所确定的加速度的强度弱的情况下,显示内容决定部29使时刻t2(>t1)的显示内容变化为从头部流出少量的血31的内容。此处的头部是特定部位的一例。另外,特定部位无须为一个,也可为多个。而且,特定部位基本上是指三维目标体的一部分。
另一方面,在所确定的加速度的强度强的情况下,显示内容决定部29使时刻t2(>t1)的显示内容变化为比加速度强度弱时更多的血32从头部流出的内容。
图7的示例中,是以加速度的探测为契机,显示变化为从角色30的头部流出血的内容,但也可在有外力作用的部位显示淤青(内出血)。此时,也可根据进行作用的外力强度来使淤青的面积发生变化。
除此以外,也可在有外力作用的部位显示鼓包。此时,也可根据进行作用的外力强度来使鼓包的大小发生变化。
而且,图7的示例中,作为相对于作用于信息处理装置1的加速度的方向而位置高的部位的示例,确定了角色30的头,但在加速度的方向为显示部2的左右方向的情况下,作为对显示给予变化的部位,也可确定角色30的臂。
而且,图7的示例中,作为三维目标体的示例,设想的是人型的角色30,但也可为例如结构体。在结构体的情况下,也可变化为产生与所确定的加速度的值相应的伤痕或裂痕的显示。
图8是说明在显示有角色30作为三维目标体的情况下,对信息处理装置1的上表面持续施加有加速度(冲击)时的显示变化的图。
持续施加加速度(冲击)的方法有:以信息处理装置1来叩击其他物体、以其他物体来叩击信息处理装置1、握住信息处理装置1摇动等方法。图8所示的示例中,设想了用户以手指等持续叩击信息处理装置1的端面(上表面)的情况。
因此,图8所示的柱状图的横轴表示时间,纵轴表示在各时刻所给予的冲击的次数。
另外,也可与图8所示的示例不同,通过用指尖来叩击所显示的图像的一部分,从而对特定部位给予加速度(冲击)。此时,施加有加速度(冲击)的位置将由位置探测传感器4(参照图4)予以确定。对于加速度的大小,由加速度探测传感器8(参照图4)进行探测。
图8的示例中,从时刻t1到t2,冲击的次数增加,随后减少。各次冲击的强度并不限于相等,一般而言,作用于特定部位的冲击的累积强度与冲击的次数成正比。但是,一次冲击强度以“2”表示时的五次的累积强度、与一次冲击强度以“5”表示时的两次的累积强度相同。
因此,图8的示例中,从时刻t1到t2,血33流出的面积增加,冲击次数转为减少的时刻t2以后,在角色30的头部流出的血33的面积也缩小(时刻t3),不久便消失(时刻t4)。
另外,此处的累积强度是多次探测结果的累积值的一例。
图9是说明在显示有结构体34作为三维目标体的情况下,对信息处理装置1的上表面持续施加有加速度(冲击)时的显示变化的图。
图9中,表示了结构体34为圆柱的情况。
图9所示的示例的情况下,在时刻t1,也朝下(-Z方向)对信息处理装置1施加有加速度。在此时刻,信息处理装置1的显示变化为在圆柱的上表面形成伤痕35,且在圆柱的内部,裂痕36成长的内容。另外,图9中,为了进行说明,以虚线来描述在内部产生的裂痕36,但在信息处理装置1上,也可仅显示可从外部观察的伤痕35。
图9中,在时刻t2(t2>t1),也对信息处理装置1的上表面持续施加有加速度(冲击)。在时刻t2给予的加速度的大小既可与在时刻t1给予的加速度的大小相同,也可不同。
在时刻t2的显示中,伤痕35的宽度比时刻t1的显示宽,且裂痕36在深度方向上有所成长。
进而,在时刻t3(t3>t2),也对信息处理装置1的上表面持续施加有加速度(冲击)。在时刻t3给予的加速度的大小既可为与在时刻t1或时刻t2施加的加速度相同的大小,也可为不同的大小。
在时刻t3的显示中,伤痕35的宽度比时刻t2的显示更宽,裂痕36也变得更深。
图10是说明在显示有角色30作为三维目标体的情况下,对角色30的头部施加有压力时的显示变化的图。
图10所示的示例中,表示了在时刻t1,从信息处理装置1的正面侧对背面侧(Y方向)施加有压力的情况。
此时的压力产生作用的位置是由输入来自位置探测传感器4(参照图4)的输出信号的压力部位确定部22(参照图5)予以确定。这是因为,施加有压力的位置与指尖37所接触的位置相同。
此时的压力的强度是由输入来自压力探测传感器5(参照图4)的输出信号的压力强度确定部21(参照图5)予以确定。压力强度确定部21将从压力探测传感器5输入的数值与预定阈值进行比较,以确定作用于信息处理装置1的压力的强度。强度是以多级确定。
在所确定的压力的强度弱的情况下,显示内容决定部29使时刻t2(t2>t1)的显示内容变化为从头部流出少量的血31的内容。
另一方面,在所确定的压力的强度强的情况下,显示内容决定部29使时刻t2的显示内容变化为从头部流出比压力强度弱时更多的血32的内容。
本例的情况下,用户能够直接确定对显示给予变化的部位。而且,本例的情况下,能够根据压力的大小来调整对特定部位给予的变化的量。
另外,图10中,是使用压力探测传感器5的输出,来确定显示于显示部2的角色30的显示位置中的施加有压力的位置,但也可使用来自为了探测局部性的压力而准备的压力探测传感器7A、7B(参照图3)的输出,来确定角色30的对显示给予变化的部位。
例如当由位于信息处理装置1的左右侧面下部的压力探测传感器7A、7B探测到压力时,也可根据所探测出的压力的强度,而与图10同样地,从头部流出血,还可对其他部位例如手、足、胸等的显示给予变化。
在像这样使用压力探测传感器7A、7B的输出值的情况下,也可预先在显示内容决定部29中设定给予变化的部位。
图11是说明在显示有角色30作为三维目标体的情况下,通过指尖37对角色30的头部持续施加有压力时的显示变化的图。
当然,压力也可使用指尖以外的物体,例如笔尖来施加。而且,指尖37无须持续接触显示部2的表面,也可如施加加速度(冲击)的示例的情况那样,断续地叩击特定部位。
图11所示的示例中,在时刻t1~t3的期间,角色30的头部持续被指尖37按压。此时,显示内容决定部29判断为从头部的出血持续,在时刻t2,将血31的图像追加至头部,在时刻t3,扩大血32的面积。
此处,出血量也可与压力的大小成正比。例如也可在压力大的情况下,判定为出血量多,而在压力小的情况下,判定为出血量小。但是,也可与压力的大小无关,而与施加有超过预定阈值的压力的时间长度成正比地增减出血量。
前述的示例中,对根据显示于显示部2的三维目标体的不同,而在画面上产生的变化为出血或伤痕(裂痕)的情况进行了说明,但也可根据外力进行作用的部位而使变化的内容不同。另外,变化只要是例如显示的追加、删除、变形、分割等改变特定部位的显示形态的内容即可。
图12是说明在显示有角色30作为三维目标体的情况下,对角色30的胸部施加有压力时的显示变化的图。
图12所示的示例中,在时刻t1,并非头部而是胸部被指尖37按压。本例中,根据对胸部施加的压力强度的不同,对衣服给予变化。
在所确定的压力强度弱的情况下,显示内容决定部29使时刻t2(t2>t1)的角色30的衣服变化为发生了卷翘的图像或发生了歪扭的图像。
另一方面,在所确定的压力强度强的情况下,显示内容决定部29使时刻t2的角色30的衣服变化了发生了破损的图像。
而且,例如也可根据所确定的压力的强弱来使穿着的衣服的种类或内容发生变化。
图13是说明在显示有结构体34作为三维目标体的情况下,对信息处理装置1施加有扭曲时的显示变化的图。
图13中,作为结构体34,表示了圆柱。在圆柱的外周面附有竖条纹。竖条纹相对于旋转对称的圆柱的轴方向而平行。
图13所示的示例中,使逆时针方向的力作用于平板状信息处理装置1的上部,另一方面,使顺时针方向的力作用于信息处理装置1的下部。即,图13中,使反方向的力作用于信息处理装置1的上部侧与下部侧。
此时,作用于信息处理装置1的扭曲的方向与大小是从扭曲确定部28(参照图5)给予至显示内容决定部29。
显示内容决定部29生成根据在时刻t1确定的扭曲的方向与大小而对结构体34施加有扭曲的图像,并显示于显示部2。
图13的示例中,并非在对信息处理装置1施加有扭曲的时刻t1,而是在扭曲结束的时刻t2对结构体34施加变化。但是,也可在施加有扭曲的时刻t1使结构体34的显示发生变化。
另外,图13的示例中,是使变化的内容与施加至信息处理装置1的扭曲操作联动,但也可使用所确定的扭曲的方向与大小的信息来对作为显示对象的三维目标体给予其他变化。例如也可使显示于显示部2的角色出血,或者造成伤痕,或者使衣服发生变化。
图14是说明在显示有角色30作为三维目标体的情况下,通过温度探测传感器9A、9B、9C(参照图3)而探测到温度变化时的显示变化的图。
本例的情况下,显示内容决定部29基于将所确定的温度与预定阈值进行比较的结果、或由多个温度探测传感器9A、9B、9C所检测出的温度分布的信息,来对所显示的角色30的特定部位给予变化。
例如在时刻t1检测出的信息处理装置1的周围气温低于预定阈值的情况下,显示内容决定部29使时刻t2的显示内容变化为在角色30的脖子上围有围巾38的状态。此处的角色30的脖子为特定部位的一例。
例如在时刻t1检测出的信息处理装置1的周围气温高于预定阈值的情况下,显示内容决定部29使时刻t2的显示内容变化为在角色30的额头流有汗39的状态。此处的角色30的额头为特定部位的一例。
图15是说明在显示有冰40作为三维目标体的情况下,通过温度探测传感器9A、9B、9C(参照图3)而探测到温度变化时的显示变化的图。
本例的情况下,显示内容决定部29基于将所确定的温度与预定阈值进行比较的结果、或由多个温度探测传感器9A、9B、9C检测出的温度分布的信息,来对所显示的冰40的特定部位给予变化。
图15的示例是信息处理装置1的周围气温高于预定阈值时的示例。此时,显示内容决定部29使显示变化为冰40融化而变小,且在冰40的周围积留有融化的水41的状态。此处的冰40为特定部位的一例。
图16是说明在显示有角色30作为三维目标体的情况下,通过湿度探测传感器10A、10B、10C(参照图3)而探测到湿度变化时的显示变化的图。
本例的情况下,显示内容决定部29基于将所确定的湿度与预定阈值进行比较的结果、或由多个湿度探测传感器10A、10B、10C检测出的湿度分布的信息,来对所显示的角色30的特定部位给予变化。
图16的示例是信息处理装置1的周围湿度高于预定阈值时的示例。此时,显示内容决定部29使角色30的衣服变化为雨衣(rain coat)43,并且使鞋子变化为雨靴(rainboots)42。
此处的角色30的身体或脚部为特定部位的一例。而且,向雨衣43或雨靴42的变化是雨天式样的变化。另外,衣服或鞋子的变化也可有像河、海等水边款式的变化。
<实施方式1的效果>
只要使用基于各种传感器输出的信息来使三维显示的目标体的特定部位产生变化的信息处理装置1,便能够增加可向用户提供的表现。
例如与对信息处理装置1施加冲击(加速度)、施加压力、施加扭曲的直观操作或此时的大小联动地,三维显示的目标体的特定部位的显示发生变化,因此不论用户的年龄或性别、障碍的有无,均能够提供操作与显示效果的新关系。
而且,例如与使用信息处理装置1的环境或使用中的信息处理装置1的状态联动地,三维显示的目标体的特定部位的显示发生变化,因此能够提供环境或使用状态与显示效果的新关系。
<其他结构>
实施方式1中,是使用一个加速度探测传感器8来探测对显示部2(参照图1)施加的加速度的大小,但也可如图17所示,在显示部2的面内配置多个加速度探测传感器8。
图17是说明加速度探测传感器8在显示部2的面内配置成M行N列的示例的图。在图17所示的加速度探测传感器8的配置例的情况下,能够根据加速度探测传感器8的位置信息,来确定局部性的加速度的大小分布。
图18表示在加速度探测传感器8配置成4行4列的情况下,从特定位置探测加速度(冲击)的次数变化。
在图18的情况下,时刻t1表示未施加有冲击的状态。在时刻t1的情况下,在任一加速度探测传感器8中,探测次数均为0(零(zero))。时刻t2表示对位于第1行的第2列和第3列的两个加速度探测传感器8施加了一次冲击的状态。时刻t3表示对位于第1行的第2列和第3列的两个加速度探测传感器8施加了十次冲击,且在此过程中,因振动的传播而位于同列的第2行和第3行的加速度探测传感器8的输出呈现出变化的情况。图18中表示:浓度越浓的加速度探测传感器8,所累积的冲击的探测次数越多。
在时刻t3的示例中,根据在预定的期间内由多个加速度探测传感器8所探测出的冲击的次数分布,可知加速度从第1行向第2行、第3行的方向传播。也能够使用所述传播方向的信息来控制对特定部位给予的变化内容。
时刻t4表示从冲击消失经过了5分钟的状态。在此状态下,冲击的探测次数均被重置(reset)为0(零)。
另外,压力探测传感器5也应用同样的技术。实施方式1中,将与显示部2为大致同形状的位置探测传感器4和压力探测传感器5(参照图2)予以组合,以探测施加有压力的位置及其强度,但也可使多个压力探测传感器5沿着显示部2的面内而排列,使用探测到压力的压力探测传感器5的位置信息,来计算施加有压力的位置、施加有作为外力的压力的方向、其强度等。
而且,也可基于由各压力探测传感器5所探测出的压力大小的变化或分布,来确定使显示发生变化的部位。
而且,在实施方式1的情况下,是在信息处理装置1(参照图1)所具有的一个显示部2(参照图1)上显示三维目标体,但如图19所示,也能够将同样的技术应用于通过显示与一个目标体对应的多个二维目标体来进行三维显示的信息处理装置1A中的控制部3的处理动作。
图19是表示在正面、侧面及背面这四个面具有显示部2A~2D的信息处理装置1A的外观例的图。
图19中,在配置于正面的显示部2A显示有角色的正面像30A,在朝向纸面而配置于右侧侧面的显示部2B显示有角色的右侧面像30B,在配置于左侧侧面的显示部2C显示有角色的左侧面像,在配置于背面的显示部2D显示有角色的背面像。
另外,显示部也可配置于正面与背面这两面,还可配置于上表面或底面。
在像这样通过立体地配置多个显示部2来三维显示目标体的情况下,通过基于传感器输出来对目标体的特定部位的显示施加变化,从而也能够对用户提供新的表现。
<实施方式2>
<装置结构>
图20是表示实施方式2的信息处理装置1B的外观例的图。
图20中,对于与图1的对应部分标注了对应的符号来表示。
信息处理装置1B与实施方式1的信息处理装置1同样地,具有大致板状的外观。
但是,实施方式2的信息处理装置1B与实施方式1的信息处理装置1的不同之处在于,能够在任意位置使框体变形,且具有对框体发生变形的位置进行探测的变形探测传感器51。
变形探测传感器51是以沿着框体外缘的方式而配置有多个。变形探测传感器51的配置部位或配置间隔(配置密度)是根据变形探测传感器51的尺寸或规格而决定。另外,变形探测传感器51以可以与显示部2重叠的方式而配置。
变形探测传感器51包含所谓的应变传感器,例如使用由村田制作所开发的应用了聚乳酸的剪切压电性的位移传感器。应变传感器输出与弯折量(角度)相应的大小的传感器输出。这样,应变传感器是能够对所附着的构件的变形进行探测的设备。因而,变形探测传感器51也探测直至折叠状态之前的弯曲造成的变形。
另外,实施方式2中,将信息处理装置1B的框体处于平面形状的状态称作变形前的状态或初始状态。
控制部3基于探测到弯曲的多个变形探测传感器51的位置关系,来推测显示部2的弯曲位置。
而且,本实施方式中,变形探测传感器51是配置在框体的单面侧(例如配置有显示部2的面)。但是,也可将变形探测传感器51配置于框体的两面。
此处的弯曲位置为变形位置的一例。
信息处理装置1B是在由塑料(plastic)等形成的具有柔软性的框体中,配置有用于图像显示的显示部2及控制装置整体的控制部3等。信息处理装置1B中的专用于显示的装置也被称作柔性显示器(flexible display)。
图21是说明信息处理装置1B的硬件结构例的图。
图21中,对于与图4的对应部分标注了对应的符号。信息处理装置1B中,与实施方式1的信息处理装置1的不同之处在于,多个变形探测传感器51连接于总线16。
图22是说明实施方式2的控制部3的功能结构的一例的图。
图22中,对于与图5的对应部分标注了对应的符号来表示。信息处理装置1B与实施方式1中说明的信息处理装置1的不同之处在于,具有弯曲位置确定部52,所述弯曲位置确定部52输入来自多个变形探测传感器51的输出,以确定框体中产生的弯曲位置。
本实施方式中的显示内容决定部29使用由弯曲位置确定部52所确定的框体的弯曲位置的信息,对三维显示的目标体的特定部位给予变化,或者使显示内容发生变化。
图23A至图23E是说明由弯曲位置确定部52所确定的弯曲位置的示例的图。
图23A是说明当由位于信息处理装置1B中的短边的中点附近的两个变形探测传感器51探测到变形时,弯曲位置确定部52所确定的弯曲位置的图。在图23A的情况下,弯曲位置确定部52判定为,显示部2以与信息处理装置1B的长边平行的线L1成为折线的方式发生了弯曲。另外,图23A至图23E中的折线是为了进行说明,并不需要折线。
图23B是说明当由位于信息处理装置1B中的长边的中点附近的两个变形探测传感器51探测到变形时,弯曲位置确定部52所确定的弯曲位置的图。在图23B的情况下,弯曲位置确定部52判定为,显示部2以与信息处理装置1B的短边平行的线L2成为折线的方式发生了弯曲。
图23C是说明当由位于信息处理装置1B的右上角与左下角的两个变形探测传感器51探测到变形时,弯曲位置确定部52所确定的弯曲位置的图。在图23C的情况下,弯曲位置确定部52判定为,显示部2以朝右上的对角线方向的线L3成为折线的方式发生了弯曲。
图23D是说明当由从信息处理装置1B的右上角的变形探测传感器51与位于左上角的变形探测传感器51的正下方的变形探测传感器51探测到变形时,弯曲位置确定部52所确定的弯曲位置的图。在图23D的情况下,弯曲位置确定部52判定为,显示部2以形成将左上角设为直角的三角形的斜边的线L4成为折线的方式发生了弯曲。
图23E是说明当由位于上边(长边)的三处与下边(长边)的三处的六个变形探测传感器51探测到变形时,弯曲位置确定部52所确定的弯曲位置的图。在图23E的情况下,弯曲位置确定部52判定为,显示部2以形成凹折的线L5、形成凸折的线L6、形成凹折的线L7从左侧朝向右侧的方向排列的方式发生了变形。
<显示控制的示例>
以下,说明实施方式2的显示内容决定部29使用传感器输入来执行的控制动作的示例。
图24是说明使用所确定的弯曲位置的信息来对三维目标体施加图像编辑的示例的图。
图24中,在信息处理装置1B变形之前的时刻t1,在显示部2上显示有三维目标体的立体像53。此处的立体像53为苹果。而且,时刻t1的信息处理装置1B的形状为第1形状的一例。
在接下来的时刻t2,信息处理装置1B在相对于画面中央而稍稍右侧的位置以显示部2成为内侧的方式而弯折。在此时刻,三维目标体的立体像53的显示也无变化。此处,时刻t2的信息处理装置1B的形状为第2形状的一例。
在紧接着的时刻t3,信息处理装置1B恢复为原本的平坦状态,但对于三维目标体的立体像53,在相当于时刻t2的弯曲位置的部位(相当于苹果表面的曲面部分)追加线段54。换言之,对跨及弯曲位置而显示的三维目标体的立体像53(即图像自身)追加有线段以作为图像编辑的一例。
在图24的情况下,用户对信息处理装置1B的弯曲操作被用于显示内容决定部29追加线段54。另外,图24的示例中,线段54的显示是在信息处理装置1B恢复为原本的平坦状态之后(时刻t3以后)开始,但也可在信息处理装置1B弯曲的状态(时刻t2)下开始。此时,线段54的显示也可仅限于信息处理装置1B弯曲的期间。
此处,对应于弯曲位置的虚线与三维目标体的立体像53交叉的部位相当于特定部位。
图25是说明使用所确定的弯曲位置的信息来对三维目标体施加图像编辑的另一例的图。
在图25中,在时刻t1、t2,不论信息处理装置1B是否为弯曲状态,显示于显示部2的三维目标体的立体像53的显示也均无变化。
但是,在图25的情况下,当信息处理装置1B恢复为原本的平坦状态之后,对于三维目标体的立体像53,在相当于时刻t2的弯曲位置的部位,显示将三维目标体的立体像53切剖的图像。即,追加有切剖面55。
图25的示例中,仅显示了将三维目标体的立体像53切剖后的图像,但也可将从切剖开始直至切剖后的过程作为动态图像来显示。
通过显示切剖面,图像处理的临场感提高。本实施方式的情况下,所执行的特效处理内容是由利用者予以指定。
另外,在图像处理时,也可附加与处理内容相应的效果音。例如若是图25的示例,则也可通过未图示的扬声器(speaker)来附加切开苹果的声音(例如“嘎吱”)这一效果音。通过附加效果音,图像处理的临场感提高。
<实施方式2的效果>
根据本实施方式,通过可在任意位置变形的信息处理装置1B的变形操作,能够对显示于显示部2的三维目标体的立体像53的特定部位施加变化。
由此,能够增加使用信息处理装置1B来向用户提供的表现或操作输入的方法。而且,若组合效果音,则能够相对于显示变化而提高临场感。
<其他结构>
信息处理装置1B的变形也能够用于其他信息处理装置中的处理动作的控制。
图26是说明将信息处理装置1B的变形操作用于由其他信息处理装置56进行显示控制的显示装置57(如图27所示)的显示动作控制的使用例的图。
在图26的情况下,在任意位置可变形的信息处理装置1B中探测到的变形信息是通过通信部件而传达给信息处理装置56,以用于信息处理装置56中所设、或者与信息处理装置56连接的显示装置57上显示的画面的控制。
此处,信息处理装置56构成为所谓的计算机,被用作操作部件的信息处理装置1B上显示的图像内容、与通过信息处理装置56而显示于显示装置57的图像内容既可相同,也可不同。
在图26的情况下,在时刻t1至时刻t2的期间,基于由信息处理装置1B所探测出的变形信息,在显示于显示装置57的三维目标体的立体像53的一部分显示有切剖面55。换言之,删除立体像53的一部分。
图27是说明将信息处理装置1B的变形操作用于由其他信息处理装置56进行显示控制的显示装置57的显示动作控制的另一使用例的图。
图27表示了对作为操作输入部件的信息处理装置1B的变形进行探测的信息处理装置56被用于显示装置57上所显示的幻灯片放映(slide show)的开始或翻页的指示的示例。在图27的情况下,在时刻t1至时刻t2的期间,基于由信息处理装置1B所探测出的变形信息,幻灯片放映的画面从第1页切换到第2页。换言之,更换显示图像。
<实施方式3>
本实施方式中,说明对目标体的三维显示使用三维显示器的情况。
图28是表示三维显示器对三维目标体的显示例的图。
图28所示的信息处理系统61具有拍摄用户的摄像装置64、信息处理装置65及三维空间描绘装置66。
摄像装置64是对作为被摄物的用户63的行为进行摄像的装置,为传感器的一种。
信息处理装置65是执行下述处理等的装置,即:将作为显示对象的三维目标体的数据输出至三维空间描绘装置66的处理、对所拍摄的图像进行处理以判定用户63的行为的处理、将与判定结果相应的图像处理施加至三维目标体的处理。信息处理装置65包含所谓的计算机,前述的各种处理是通过程序的执行而实现。
三维空间描绘装置66例如包含红外线脉冲激光器(pulse laser)、使激光成像的用于焦点位置调整的透镜(lens)、以及用于使激光在空间内进行面扫描的电流镜(galvanomirror)等,基于所给予的三维目标体的数据而在空气中描绘立体像。图28的示例中,通过空气的等离子体发光,在空气中浮现有作为三维目标体的苹果的立体像62。
另外,本实施方式中,是通过图像处理来探测用户63的行为,但也可使用对空气的行为进行探测的传感器的输出来探测用户63的行为。另外,也可并非探测用户的行为,而是通过温度记录法(thermography)来探测用户63的体温或其变化、用户63的周围气温或湿度或其变化。
图29是说明通过用户的特定行为来对三维目标体的显示给予变化的情况的图。
图29中,对于与图28的对应部分标注了对应的符号来表示。
图29中,描绘了用户进行沿纵方向切开立体像62的特定部位的动作的情况。探测到用户行为的信息处理装置65通过用户的行为来确定对立体像62的显示给予变化的位置,并决定变化的内容。在图29的情况下,根据三维目标体的数据来计算以所确定的位置为边界来切剖苹果的立体像62时的各体积,以在空间中描绘体积较大者的方式来生成描绘数据。
因此,在图29中,以保留苹果的立体像62中的体积较大者的方式而描绘了切剖面67。
本例中,描绘了切剖面67,但只要像实施方式1的情况那样,根据所描绘的三维目标体来控制变化内容即可。
图30是说明对投影在墙壁面或地板面的三维目标体给予变化的示例的图。
图30中,对于与图28的对应部分标注了对应的符号来表示。
图30所示的信息处理系统61A与信息处理系统61的不同之处在于,取代三维空间描绘装置66而使用投影装置68。
在图30的情况下,投影装置68将三维目标体的立体像69投影在作为二维空间的墙壁面上。图30所示的用户将右手以沿着作为投影面的墙壁面的方式从上向下(-Z方向)移动。信息处理装置65通过未图示的红外线传感器或图像处理来探测用户的行为,以对所投影的立体像69给予变化。在图30的情况下,显示了切剖面70。
<其他实施方式>
以上,对本发明的实施方式进行了说明,但本发明的技术范围并不限定于所述实施方式所记载的范围。根据权利要求的记载当明确,在所述实施方式中添加了各种变更或改良的形态也包含在本发明的技术范围内。
例如也可使三维显示的目标体的特定部位的颜色发生变化。
前述的实施方式中,作为传感器,使用了对用户所操作的显示画面上的位置进行探测的传感器(位置探测传感器4)、将用户的操作作为压力来探测的传感器(压力探测传感器5、7A、7B)、对框体的扭曲进行探测的传感器(扭曲探测传感器6(参照图4))等,以使三维显示于显示部的目标体的特定部位发生变化,但也可使用前述以外的传感器。
例如也可使用对使用信息处理装置1的海拔进行测量的传感器。此种传感器有测定气压来计算海拔的高度计、使用全球定位系统(Global Positioning System,GPS)信号来计算海拔的GPS接收机等。另外,对于GPS信号,也有以室内的使用为前提者。
而且,例如也可使用对使用信息处理装置1的场所的气压进行测定的传感器、测定照度的传感器、测定水压的传感器、测定水深的传感器等。
此处,在使用测定海拔的传感器的情况下,也可根据使用信息处理装置1的海拔来使显示于显示部2的目标体的特定部位或目标体的背景发生变化,还可使显示于显示部2的画面自身发生变化。例如在海拔高的场所,对目标体的一部分(例如角色的背或臂)追加羽或翼,或者对目标体的背景追加云,或者将画面切换为从高处眺望周围景观的图像或天空的图像。
在使用测定气压的传感器的情况下,也可根据气压值的变化,来使目标体的一部分(例如角色的腹部或脸颊)以膨胀或收缩的方式发生变化。而且,也可以气压越低,则使表示密封的袋或气球等的目标体的体积越大的方式来使图像发生变化,或者以气压越高则使所述体积越小的方式来使图像发生变化。
在使用照度传感器的情况下,也可根据照度值的变化来使目标体的一部分发生变化。例如也可在明亮的场所,使作为目标体的角色佩戴太阳镜(sun glass),而在昏暗的场所,使作为目标体的角色拿着手电筒。而且,也可根据周围的亮度来将目标体的显示形态或画面的显示内容切换为夜用与日用。
除此以外,对于传感器,也可使用GPS传感器。例如在显示有机器的操作手册(manual)来作为目标体的情况下,也可使其记述语言变化为所探测到的国家或地域的第1语言。
而且,也可使与登载于操作手册中的问答集或跟操作有关的注意事项相关的内容,基于根据信息处理装置1的使用环境而变化的传感器输出的值而发生变化。此处的变化,例如包含将根据传感器输出所确定的环境下容易发生的内容配置于上位等记载位置的变更。
例如当判定为信息处理装置1是在高温多湿的地点使用时,也可以将与高温多湿环境下对应的注意事项配置于作为目标体而显示的操作手册的上位部位的方式来使显示发生变化。
而且,例如也可根据高温多湿的环境来将操作手册中所使用的插图内容本地化(localize)(定制(customized))。
前述的实施方式中,对传感器设于信息处理装置1中的情况进行了说明,但传感器也可作为与信息处理装置1独立的装置而存在,还可将传感器的输出值通过通信部件而给予至信息处理装置1。
而且,信息处理装置1也可基于从外部获取的环境信息来使目标体的显示发生变化。此处的环境信息是指与信息处理装置1的位置信息相关的可从外部获取的信息,例如包含天气预报等与气象相关的信息、犯罪的发生等与防止犯罪相关的信息、事故或拥堵等与交通相关的信息。
例如在信息处理装置1的显示画面上显示有地图,且在所述地图上显示有表示用户位置(即信息处理装置1的位置)的角色图像的状态下,当收到与用户的位置关联的高温提醒信息时,也可变化为使角色图像的衣袖长度或下摆长度缩短(变化为短袖与短裤),且从身体流出汗的状态。
例如在信息处理装置1的显示画面上显示有地图,且在所述地图上显示有表示用户位置(即信息处理装置1的位置)的角色图像的状态下,当收到与用户的位置关联的地域发生了犯罪的通知时,也可使角色的表情变化为害怕的表情,或者变化为身体颤抖的显示。
例如在通知有交通事故的发生的情况下,也可使用同样的显示。
另外,在重复获取了多个环境信息的情况下,显示的变化也可设为将与所述多个环境信息对应的变化予以组合的内容。例如在重复获取了前述的高温提醒信息与犯罪发生的情况下,也可使角色的图像变化为穿得较少,且流汗,且害怕的样子的图像。
而且,也可将由传感器所获取的信息与环境信息予以组合而对目标体的显示给予变化。
前述的实施方式中,基本上是使用各个传感器所测定的物理量来对显示给予特定的变化,但也可将多个传感器的输出予以组合而对显示给予变化。此处的物理量除了作为测定对象的压力、加速度、温度、湿度、气压、海拔、水深、磁极、声音、位置信息等以外,也可包含传感器中出现的电信号(电流或电压)的变化。
例如也可将时刻信息、海拔值、温度值与照度值这四个予以组合而确定信息处理装置1的使用环境,并根据所确定的使用环境(例如夏季的山)来对目标体的一部分或画面给予变化。
而且,例如也可将作为目标体的角色变更为避暑地的服装或夏季登山的服装,还可使显示于显示部2的图像变化为夏季天空的图像。
而且,也可将水深与温度值予以组合而在显示部2上显示在满足所确定的水深和水温的水域中生长栖息的生物,还可对目标体的显示形态给予变化。
前述的实施方式中,作为三维目标体的示例,使用角色或苹果等进行了说明,但三维显示的目标体并不限于这些。例如表示时间经过的沙漏或表示电波强度的一组天线(antenna)也是三维目标体的一例。
而且,作为显示对象的三维目标体也可为基于固件等软件进行动作的嵌入式设备、器具或机械等产品。在此情况下,若可利用产品的设计信息(例如计算机辅助设计(Computer Aided Design,CAD)数据、构成零件的性能信息等),则也可进行将这些信息与传感器的输出值予以组合的显示。
例如在信息处理装置1可获取所装配的零件或装卸的各个构件的热膨胀率等的情况下,当从传感器获得温度信息时,也可根据所获取的信息来使所显示的目标体的各个零件的形状变形。此时,也可对变形采用强调显示。
若使用此显示功能,则如果信息处理装置1的周围为高温,便能够变化为使一部分零件的形状膨胀的显示。所述显示与模拟(simulation)产品在当前环境下会变得如何相同。在一般的模拟中,需要输入温度条件等,但通过所述显示功能,只要在当场或现场将对象产品显示于画面,便能够确认产品所产生的变化。
而且,若使用所述显示功能,则也能够预测信息处理装置1的周围为低温时的润滑油的固化而对显示于画面的产品的行为给予硬件的变化。
而且,所述显示功能也能够将使用环境对软件造成的影响、或者因软件异常引起的硬件上的行为异变,表现为相对于目标体的显示的变化。例如,在信息处理装置1的周围为多湿或高温的情况下,也能够对构成目标体的电器电路的短路(short)或CPU的热失控进行预测,使显示画面上的目标体的行为变化为异常时特有的动作(例如画面的熄灭、异常信息的显示等)。
另外,基于从各种传感器获取的信息的、目标体的显示上的变化,例如可使用表1所示的对应表来实现。
表1
表1是说明设为变化对象的目标体和传感器值的维数的组合、与变化后的图像的对应关系的对应表的示例的图。
对应表采用了下述结构,即,不仅对于设为变化对象的目标体显示为三维的图像(三维图像)的情况,而且对于显示为一维的图像(一维图像)或二维的图像(二维图像)的情况也有所准备。即,前述的实施例中,说明了使三维目标体的显示发生变化的情况,但设为显示对象的目标体的维度只要是显示部能够支持的维度,则为任意,只要准备与各维度相应的变化图像,便能够基于各种传感器的输出等来使显示上的图像发生变化。
另一方面,对于传感器值,准备有与所获取的信息的维度相应的划分。具体而言,准备有与传感器值为一维的情况对应的一维传感器值、与传感器值为二维的情况对应的二维传感器值、与传感器值为三维的情况对应的三维传感器值。
此处的一维传感器值、二维传感器值、三维传感器值的划分例如也可以三维空间上的维数为基准来进行。
例如在一个传感器所探测的物理量对应于三维空间内的一个维度(例如X轴方向)的情况下,所述传感器的输出值包含在一维传感器值中。另外,即使在两个传感器分别探测不同物理量的情况下,若各物理量对应于共同的维度(例如X轴方向),则这两个传感器的输出值仍为一维传感器值。
同样,例如在一个传感器所探测的物理量对应于三维空间内的两个维度(例如X轴方向与Y轴方向)的情况下,所述传感器的输出值包含在二维传感器值中。而且,在两个传感器分别探测的一维物理量的方向不同的情况下(例如其中一个是X轴方向,另一个是Y轴方向的情况下),这两个传感器的输出值为二维传感器值。
同样,例如在一个传感器所探测的物理量对应于三维空间内的三个维度(例如X轴方向、Y轴方向与Z轴方向)的情况下,所述传感器的输出值包含在三维传感器值中。而且,在三个传感器分别探测的一维物理量的方向不同的情况下(例如一个是X轴方向,一个是Y轴方向,一个是Z轴方向的情况下),这三个传感器的输出值为三维传感器值。
而且,此处的一维传感器值、二维传感器值、三维传感器值的划分例如也可以信息的维数为基准来进行。
例如当存在两个输出一个值的传感器时,若目标体的显示利用这两个传感器的输出值的组合来变化,则这两个传感器值为二维传感器值。而且,当一个传感器输出两个值时,从一个传感器输出的两个传感器值为二维传感器值。此处的多个输出值既可均对应于相同的物理量,也可对应于不同的物理量。
而且,一维传感器值、二维传感器值、三维传感器值的划分例如也可以三维空间上的维数和信息的维数的组合为基准来进行。
表1的示例中,相对于各维度的图像,多个变化图像1~N对应于各维度的传感器值的大小。
例如对于一维传感器值,根据大小的不同,N个变化图像1对应于一维图像,N个变化图像4对应于二维图像,N个变化图像7对应于三维图像。
例如对于二维传感器值,根据大小组合的不同,M个变化图像2对应于一维图像,M个变化图像5对应于二维图像,M个变化图像8对应于三维图像。
同样,对于三维传感器值,根据大小组合的不同,L个变化图像3对应于一维图像,L个变化图像6对应于二维图像,L个变化图像9对应于三维图像。
另外,表1的示例中,针对传感器值的每个维数,不论图像的维数如何,均对应有相同数量的变化图像,但也可根据各组合来分配不同数量的变化图像。而且,也可并非根据传感器值的维数,而是根据图像的维数来规定各变化图像的数量。
而且,前述的实施方式中,为了简化说明,对在画面上显示有一个目标体的情况进行了说明,但也可考虑显示有多个目标体的情况。在此情况下,多个目标体也可均以相同的维度来描绘,但也能够以各不相同的维度来描绘。例如在能够对图像进行三维描绘的情况下,也可将一部分目标体以三维显示,另一方面,将其他图像以二维或一维显示。另外,也可使所有目标体以比可描绘的维度低的维度来显示。
此时,对于各图像,也可给予与用于各个图像的描绘的维度相应的变化。
而且,与传感器值相应的变化也可给予至与多个目标体对应的各个图像,但也可仅对多个目标体中的由用户所指定的特定目标体或与特定维度对应的图像给予变化。例如在以三维描绘的目标体图像与以二维描绘的目标体图像混合存在的情况下,也可仅对用户指定的以三维描绘的目标体图像给予变化。
前述的实施方式中,对使信息处理装置1的显示发生变化的情况进行了说明,但也可使所述显示上的变化反映到对图像形成装置(所谓的打印机(printer))的输出中。例如在根据传感器的输出值而三维目标体的显示产生了变化的状态下指示有打印时,也可生成与变化后的内容对应的打印数据来打印图像。即,传感器的输出值不仅能反映到图像的显示中,也能反映到打印中。
另外,显示上的变化与打印图像的内容也可独立。即,即使在显示上的目标体发生了变化的情况下,打印内容也可设为根据传感器的输出值而产生变化之前的三维目标体的内容。此时,理想的是,能够在用户接口(interface)画面上选择是以根据传感器的输出值发生变化之后的显示的内容来打印图像,还是以根据传感器的输出值产生变化之前的内容来打印图像。
此处的用户接口既可作为设定画面来准备,也可每当指示有打印时,作为弹出(pop up)显示的确认画面的一部分来准备。
在将图像打印至纸张时,信息处理装置1将规定三维目标体的三维信息转换为二维信息。此处的二维信息例如既可为对三维目标体的表面进行观察的图像,也可为像图24等那样反映出三维目标体的内部结构变化的图像。
另外,所谓的打印机除了在纸张等记录材质上打印二维像的装置以外,也可为形成立体像(三维像)的三维打印机。在输出目标为三维打印机的情况下,并不将三维目标体转换成二维信息,而是以立体物输出。
前述的实施方式中,作为信息处理装置1,设想了平板型计算机或智能电话等便携式的信息终端,但只要是具有显示部(包含投影功能)和传感器的信息终端,则也能够利用于时钟、游戏机等玩具、电视接收机、投影机、头戴显示器、图像形成装置(所谓的打印机)、电子黑板、通信用的机器人等。

Claims (27)

1.一种信息处理装置,其特征在于,包括:
显示部,三维显示目标体的图像;
至少一个探测部,对设为探测对象的物理量进行探测;以及
显示控制部,根据所述至少一个探测部的输出,对显示于所述显示部的所述目标体中的特定部位的显示施加变化。
2.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部基于所述至少一个探测部探测到压力的位置,来确定对显示施加变化的部位。
3.根据权利要求2所述的信息处理装置,其特征在于,
所述显示控制部根据所探测到的压力的大小,来改变对所述目标体给予的变化的大小。
4.根据权利要求3所述的信息处理装置,其特征在于,
所述压力的大小是作为多次探测结果的累积值而给出。
5.根据权利要求3所述的信息处理装置,其特征在于,
所述特定部位的显示内容根据所述压力的大小的时间变化而变化。
6.根据权利要求2所述的信息处理装置,其特征在于,
所述至少一个探测部包括多个探测部,所述显示控制部基于由所述多个探测部所探测到的压力的大小分布,来计算作用于所述目标体的外力的方向。
7.根据权利要求6所述的信息处理装置,其特征在于,
基于所计算出的外力的方向,来确定使显示于所述显示部的所述目标体中的显示发生变化的部位。
8.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部基于所述至少一个探测部所探测出的加速度的方向,来确定使显示于所述显示部的所述目标体中的显示发生变化的部位。
9.根据权利要求8所述的信息处理装置,其特征在于,
根据所探测出的加速度的大小,来改变对所述目标体给予的变化的大小。
10.根据权利要求1所述的信息处理装置,其特征在于,
所述至少一个探测部包括设置于不同部位的多个探测部,所述显示控制部基于不同部位的所述多个探测部所探测出的湿度,来确定使显示于所述显示部的所述目标体的显示发生变化的部位。
11.根据权利要求10所述的信息处理装置,其特征在于,
所述显示控制部在探测出超过预定阈值的湿度时,使所述目标体中的所确定的部位的显示变化为湿润的状态。
12.根据权利要求10所述的信息处理装置,其特征在于,
所述显示控制部在探测出超过预定阈值的湿度时,使所确定的部位的衣服或鞋子变化为雨天或水边款式。
13.根据权利要求1所述的信息处理装置,其特征在于,
所述至少一个探测部包括设置于不同部位的多个探测部,所述显示控制部基于不同部位的所述多个探测部所探测出的温度,来确定使显示于所述显示部的所述目标体的显示发生变化的部位。
14.根据权利要求1所述的信息处理装置,其特征在于,
所述至少一个探测部包括设置于不同部位的多个探测部,所述显示控制部基于根据不同部位的所述多个探测部的输出而探测到的扭曲的信息,来确定使显示于所述显示部的所述目标体的显示发生变化的部位。
15.根据权利要求14所述的信息处理装置,其特征在于,
所述显示控制部根据所探测到扭曲的大小,来改变对所述目标体给予的变化的大小。
16.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部基于由所述至少一个探测部所探测出的海拔,来对显示施加变化。
17.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部基于由所述至少一个探测部所探测出的气压,来对显示施加变化。
18.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部基于由所述至少一个探测部所探测出的照度值,来对显示施加变化。
19.根据权利要求1所述的信息处理装置,其特征在于,
所述至少一个探测部包括多个探测部,所述显示控制部根据来自所述多个探测部的多种输出组合,来对显示于所述显示部的所述目标体中的所述特定部位的显示施加变化。
20.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部根据从外部获取的环境信息与所述至少一个探测部的输出的组合,来对显示于所述显示部的所述目标体中的所述特定部位的显示施加变化。
21.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部将与显示于所述显示部的、变化后的所述目标体对应的打印数据输出至图像形成装置。
22.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部即使在所述显示部显示有变化后的所述目标体的情况下,仍与显示状态无关地将对所述目标体预先准备的打印数据输出至图像形成装置。
23.根据权利要求1所述的信息处理装置,其特征在于,
所述显示控制部对与所述目标体对应的现实产品在根据所述至少一个探测部的输出所确定的环境下使用时的状态进行预测并反映到显示中。
24.根据权利要求1所述的信息处理装置,其特征在于,
所述至少一个探测部探测能变形的所述显示部的变形位置,
所述显示控制部基于所探测出的变形位置,来确定对显示施加变化的部位。
25.根据权利要求24所述的信息处理装置,其特征在于,
所述显示控制部在所述显示部从弯曲前的第1形状变形为弯曲后的第2形状的状态下,不对跨及弯曲位置而显示于所述显示部的所述目标体自身的图像施加图像编辑,在所述显示部从所述第2形状恢复为所述第1形状之后,在所述目标体自身的图像与所述弯曲位置的重合部分显示线段。
26.根据权利要求24所述的信息处理装置,其特征在于,
所述显示控制部在所述显示部从弯曲前的第1形状变形为弯曲后的第2形状的状态下,不对跨及弯曲位置而显示于所述显示部的所述目标体的图像自身施加图像编辑,在所述显示部从所述第2形状恢复为所述第1形状之后,生成以所述弯曲位置为边界而对所述目标体的图像自身进行三维切剖的图像并予以显示。
27.一种存储程序的计算机可读介质,其特征在于,用于使计算机执行下述功能:
三维显示目标体的图像;以及
根据对设为探测对象的物理量进行探测的探测部的输出,对显示于显示部的所述目标体中的特定部位的显示施加变化。
CN201810313367.7A 2017-08-24 2018-04-09 信息处理装置以及存储程序的计算机可读介质 Active CN109427104B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-161182 2017-08-24
JP2017161182A JP6946857B2 (ja) 2017-08-24 2017-08-24 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
CN109427104A true CN109427104A (zh) 2019-03-05
CN109427104B CN109427104B (zh) 2023-09-26

Family

ID=65435479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810313367.7A Active CN109427104B (zh) 2017-08-24 2018-04-09 信息处理装置以及存储程序的计算机可读介质

Country Status (3)

Country Link
US (2) US10706606B2 (zh)
JP (1) JP6946857B2 (zh)
CN (1) CN109427104B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760117A (zh) * 2020-06-04 2021-12-07 富士胶片商业创新有限公司 信息处理装置、信息处理方法以及计算机可读介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7284385B2 (ja) 2019-03-25 2023-05-31 株式会社Mixi オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム
WO2022272156A1 (en) * 2021-06-25 2022-12-29 Meta Platforms Technologies, Llc Offsetting image light aberration due to waveguide movement in display assemblies
US11719942B2 (en) 2021-06-25 2023-08-08 Meta Platforms Technologies, Llc Offsetting image light aberration due to waveguide movement in display assemblies using information from piezoelectric movement sensors

Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143606A (ja) * 1997-08-29 1999-05-28 Xerox Corp ユーザインターフェースサポートデバイス、情報入力方法及びデータ転送用タイリング可能な複数デバイス
JP2000075781A (ja) * 1998-08-28 2000-03-14 Matsushita Electric Ind Co Ltd 移動物体表示装置
JP2002314649A (ja) * 2001-04-12 2002-10-25 Kyocera Corp 携帯端末
EP1326220A2 (en) * 2001-12-07 2003-07-09 Global Nuclear Fuel-Japan Co., Ltd. Inspection system for and method of confirming soundness of transported object
JP2004012637A (ja) * 2002-06-04 2004-01-15 Olympus Corp 手ブレ検出機能付きカメラ
CN101082985A (zh) * 2006-12-15 2007-12-05 浙江大学 一种基于用户轻松交互的三维物体形状的分解方法
JP2008099899A (ja) * 2006-10-19 2008-05-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
CN101192186A (zh) * 2006-11-30 2008-06-04 株式会社东芝 信息处理设备
US20090044744A1 (en) * 2007-01-30 2009-02-19 Luna Innovations Incorporated Thermal Sensitive Material
US20090102836A1 (en) * 2007-10-04 2009-04-23 Samsung Electronics Co., Ltd. Method for remote-controlling target apparatus using mobile communication terminal and remote control system thereof
CN101490717A (zh) * 2006-07-14 2009-07-22 皇家飞利浦电子股份有限公司 用于交互式形状操作的方法、装置、系统及计算机可读介质
WO2010070532A2 (en) * 2008-12-16 2010-06-24 Koninklijke Philips Electronics N.V. Positioning a cut plane in respect of a three-dimensional image
US20110018871A1 (en) * 2008-03-21 2011-01-27 Takashi Shirahata Medical image display device and medical image display method
CN102301319A (zh) * 2009-01-29 2011-12-28 伊梅森公司 用于解释与图形用户界面的物理交互的系统和方法
WO2012070538A1 (ja) * 2010-11-22 2012-05-31 シャープ株式会社 電子機器、表示制御方法、およびプログラム
CN102736847A (zh) * 2011-04-01 2012-10-17 夏普株式会社 显示装置以及显示方法
JP2013058136A (ja) * 2011-09-09 2013-03-28 Kddi Corp 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
JP2013105312A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム
US20130141435A1 (en) * 2011-12-05 2013-06-06 Lg Electronics Inc. Mobile terminal and 3d image control method thereof
US20130241921A1 (en) * 2012-03-19 2013-09-19 Gordon Kurtenbach Systems and methods for visualizing a 3d scene using a flexible display
US20140019910A1 (en) * 2012-07-16 2014-01-16 Samsung Electronics Co., Ltd. Touch and gesture input-based control method and terminal therefor
US20140049464A1 (en) * 2012-08-20 2014-02-20 Samsung Electronics Co., Ltd. Flexible display apparatus and controlling method thereof
JP2014035496A (ja) * 2012-08-09 2014-02-24 Canon Inc 表示装置、表示装置の制御方法、及び、プログラム
US20140071072A1 (en) * 2012-09-12 2014-03-13 Fujifilm Corporation Medical image display apparatus, method and program
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
WO2015062646A1 (de) * 2013-10-30 2015-05-07 Proceq Ag Anordnung und verfahren zur inspektion eines objekts, insbesondere eines bauwerks
CN104699234A (zh) * 2013-12-05 2015-06-10 浙江大学 基于激光的三维空间成像交互方法及系统
JP2015150243A (ja) * 2014-02-14 2015-08-24 キヤノン株式会社 画像処理装置、画像処理方法
CN105045375A (zh) * 2014-05-01 2015-11-11 精工爱普生株式会社 头部佩戴型显示装置、其控制方法、控制系统及计算机程序
US20160155220A1 (en) * 2014-11-27 2016-06-02 Kabushiki Kaisha Toshiba Medical image processing apparatus
JP2016110546A (ja) * 2014-12-10 2016-06-20 株式会社Nttドコモ 表示装置及び表示方法
CN105934710A (zh) * 2014-01-27 2016-09-07 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN106060297A (zh) * 2015-04-15 2016-10-26 富士施乐株式会社 终端、信息处理设备和方法、及图像形成系统和方法
JP2017009687A (ja) * 2015-06-18 2017-01-12 カシオ計算機株式会社 表示装置
CN106648478A (zh) * 2015-10-30 2017-05-10 富士施乐株式会社 打印系统、显示控制装置以及显示控制方法
CN106933473A (zh) * 2015-12-31 2017-07-07 南宁富桂精密工业有限公司 三维物件创建方法及应用该方法的电子装置
JP2017134851A (ja) * 2017-03-08 2017-08-03 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
CN107007994A (zh) * 2016-01-15 2017-08-04 精工爱普生株式会社 显示方法、挥击分析装置、挥击分析系统以及记录介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000157732A (ja) * 1998-11-30 2000-06-13 Sanseibu Entertainment:Kk 携帯型電子ゲーム装置
JP2002090326A (ja) 2000-09-20 2002-03-27 Tdk Corp 携帯用電子機器
JP2004004281A (ja) 2002-05-31 2004-01-08 Toshiba Corp 情報処理装置および同装置で用いられるオブジェクト表示方法
EP1599862A2 (en) 2003-03-03 2005-11-30 America Online, Inc. Using avatars to communicate
KR101459979B1 (ko) 2004-03-01 2014-11-07 애플 인크. 가속도계에 기초하여 휴대용 장치를 작동시키기 위한 방법 및 장치
JP4757120B2 (ja) * 2006-07-06 2011-08-24 キヤノン株式会社 画像処理装置及びその制御方法
JP5637346B2 (ja) * 2009-04-24 2014-12-10 フリュー株式会社 写真シール作成装置、写真シール作成方法、およびプログラム
KR20240045365A (ko) * 2012-05-11 2024-04-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기, 기억 매체, 프로그램, 및 표시 방법
WO2014038109A1 (ja) 2012-09-10 2014-03-13 日本電気株式会社 通知情報表示処理装置、通知情報表示方法、及び、プログラム
JP2014110628A (ja) 2012-12-04 2014-06-12 Tokyo Shashin Kobo Co Ltd 画像表示装置
DE112013006049T5 (de) 2012-12-18 2015-09-10 Samsung Electronics Co., Ltd. Anzeigevorrichtung und Bildbearbeitungsverfahren dafür
JPWO2016092924A1 (ja) * 2014-12-09 2017-09-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP6623657B2 (ja) 2015-10-05 2019-12-25 日産自動車株式会社 情報提供装置、情報提供システム及び情報提供方法
US9999823B2 (en) * 2016-01-15 2018-06-19 Inxpar Inc. System for analyzing golf swing process and method thereof
US9876889B1 (en) * 2016-07-13 2018-01-23 Play Impossible Corporation Smart playable device and charging systems and methods
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
US10639878B2 (en) * 2017-02-15 2020-05-05 Autodesk, Inc. Three-dimensional printing

Patent Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143606A (ja) * 1997-08-29 1999-05-28 Xerox Corp ユーザインターフェースサポートデバイス、情報入力方法及びデータ転送用タイリング可能な複数デバイス
JP2000075781A (ja) * 1998-08-28 2000-03-14 Matsushita Electric Ind Co Ltd 移動物体表示装置
JP2002314649A (ja) * 2001-04-12 2002-10-25 Kyocera Corp 携帯端末
EP1326220A2 (en) * 2001-12-07 2003-07-09 Global Nuclear Fuel-Japan Co., Ltd. Inspection system for and method of confirming soundness of transported object
JP2004012637A (ja) * 2002-06-04 2004-01-15 Olympus Corp 手ブレ検出機能付きカメラ
CN101490717A (zh) * 2006-07-14 2009-07-22 皇家飞利浦电子股份有限公司 用于交互式形状操作的方法、装置、系统及计算机可读介质
JP2008099899A (ja) * 2006-10-19 2008-05-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
CN101192186A (zh) * 2006-11-30 2008-06-04 株式会社东芝 信息处理设备
CN101082985A (zh) * 2006-12-15 2007-12-05 浙江大学 一种基于用户轻松交互的三维物体形状的分解方法
US20090044744A1 (en) * 2007-01-30 2009-02-19 Luna Innovations Incorporated Thermal Sensitive Material
US20090102836A1 (en) * 2007-10-04 2009-04-23 Samsung Electronics Co., Ltd. Method for remote-controlling target apparatus using mobile communication terminal and remote control system thereof
US20110018871A1 (en) * 2008-03-21 2011-01-27 Takashi Shirahata Medical image display device and medical image display method
WO2010070532A2 (en) * 2008-12-16 2010-06-24 Koninklijke Philips Electronics N.V. Positioning a cut plane in respect of a three-dimensional image
CN102301319A (zh) * 2009-01-29 2011-12-28 伊梅森公司 用于解释与图形用户界面的物理交互的系统和方法
WO2012070538A1 (ja) * 2010-11-22 2012-05-31 シャープ株式会社 電子機器、表示制御方法、およびプログラム
CN102736847A (zh) * 2011-04-01 2012-10-17 夏普株式会社 显示装置以及显示方法
JP2013058136A (ja) * 2011-09-09 2013-03-28 Kddi Corp 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
JP2013105312A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム
US20130141435A1 (en) * 2011-12-05 2013-06-06 Lg Electronics Inc. Mobile terminal and 3d image control method thereof
US20130241921A1 (en) * 2012-03-19 2013-09-19 Gordon Kurtenbach Systems and methods for visualizing a 3d scene using a flexible display
US20140019910A1 (en) * 2012-07-16 2014-01-16 Samsung Electronics Co., Ltd. Touch and gesture input-based control method and terminal therefor
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
JP2014035496A (ja) * 2012-08-09 2014-02-24 Canon Inc 表示装置、表示装置の制御方法、及び、プログラム
US20140049464A1 (en) * 2012-08-20 2014-02-20 Samsung Electronics Co., Ltd. Flexible display apparatus and controlling method thereof
US20140071072A1 (en) * 2012-09-12 2014-03-13 Fujifilm Corporation Medical image display apparatus, method and program
WO2015062646A1 (de) * 2013-10-30 2015-05-07 Proceq Ag Anordnung und verfahren zur inspektion eines objekts, insbesondere eines bauwerks
CN104699234A (zh) * 2013-12-05 2015-06-10 浙江大学 基于激光的三维空间成像交互方法及系统
CN105934710A (zh) * 2014-01-27 2016-09-07 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP2015150243A (ja) * 2014-02-14 2015-08-24 キヤノン株式会社 画像処理装置、画像処理方法
CN105045375A (zh) * 2014-05-01 2015-11-11 精工爱普生株式会社 头部佩戴型显示装置、其控制方法、控制系统及计算机程序
US20160155220A1 (en) * 2014-11-27 2016-06-02 Kabushiki Kaisha Toshiba Medical image processing apparatus
JP2016110546A (ja) * 2014-12-10 2016-06-20 株式会社Nttドコモ 表示装置及び表示方法
CN106060297A (zh) * 2015-04-15 2016-10-26 富士施乐株式会社 终端、信息处理设备和方法、及图像形成系统和方法
JP2017009687A (ja) * 2015-06-18 2017-01-12 カシオ計算機株式会社 表示装置
CN106648478A (zh) * 2015-10-30 2017-05-10 富士施乐株式会社 打印系统、显示控制装置以及显示控制方法
CN106933473A (zh) * 2015-12-31 2017-07-07 南宁富桂精密工业有限公司 三维物件创建方法及应用该方法的电子装置
CN107007994A (zh) * 2016-01-15 2017-08-04 精工爱普生株式会社 显示方法、挥击分析装置、挥击分析系统以及记录介质
JP2017134851A (ja) * 2017-03-08 2017-08-03 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DE FREITAS, LEONARDO DA SILVA VALLADAO等: "Comparison of Fetal Nuchal Fold Thickness Measurements by Two- and Three-Dimensional Ultrasonography (3DXI Multislice View).", 《OBSTETRICS AND GYNECOLOGY INTERNATIONAL》, vol. 2012, no. 837307, pages 1 - 5 *
淮永建: "虚拟场景中实时图形绘制关键技术研究", 《中国博士学位论文全文数据库信息科技辑》, pages 138 - 39 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760117A (zh) * 2020-06-04 2021-12-07 富士胶片商业创新有限公司 信息处理装置、信息处理方法以及计算机可读介质

Also Published As

Publication number Publication date
US20200334888A1 (en) 2020-10-22
JP2019040340A (ja) 2019-03-14
US20190066357A1 (en) 2019-02-28
US10706606B2 (en) 2020-07-07
JP6946857B2 (ja) 2021-10-13
CN109427104B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
CN109427104A (zh) 信息处理装置以及存储程序的计算机可读介质
EP4327185A1 (en) Hand gestures for animating and controlling virtual and graphical elements
KR20230074780A (ko) 검출된 손 제스처들에 응답한 터치리스 포토 캡처
CN117356116A (zh) 用于定位可穿戴设备和向可穿戴设备递送内容的信标
US11887246B2 (en) Generating ground truth datasets for virtual reality experiences
CN116027894A (zh) 纤细形状因子的无源光学和惯性跟踪
RU2016120976A (ru) Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея
CN106095089A (zh) 一种获取感兴趣目标信息的方法
CN108369482A (zh) 信息处理设备、信息处理方法和程序
CN115698909A (zh) 增强现实引导
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
KR20230026502A (ko) 3d 의상들을 갖는 증강 현실 안경류
CN117280711A (zh) 头部相关传递函数
KR20230073336A (ko) 가상 아이웨어 빔들을 사용한 증강 현실 게이밍
CN115735179A (zh) 增强现实眼戴器与情绪共享
CN108475114A (zh) 用于对象姿势跟踪器的反馈
CN109710054A (zh) 用于头戴式显示设备的虚拟物体呈现方法和装置
JP2019050018A (ja) 表示制御方法、情報処理装置及びプログラム
CN109426419A (zh) 界面显示方法及相关设备
KR20210158695A (ko) 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법
US12135840B2 (en) Bimanual gestures for controlling virtual and graphical elements
US20240168565A1 (en) Single-handed gestures for reviewing virtual content
CN117616367A (zh) 增强现实体验的策展的情境叠加

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant