CN103026328A - 电子设备以及合成图像的编辑方法 - Google Patents

电子设备以及合成图像的编辑方法 Download PDF

Info

Publication number
CN103026328A
CN103026328A CN2012800021878A CN201280002187A CN103026328A CN 103026328 A CN103026328 A CN 103026328A CN 2012800021878 A CN2012800021878 A CN 2012800021878A CN 201280002187 A CN201280002187 A CN 201280002187A CN 103026328 A CN103026328 A CN 103026328A
Authority
CN
China
Prior art keywords
mentioned
image
user
display
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800021878A
Other languages
English (en)
Inventor
足立祐介
弓木直人
藤井康次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103026328A publication Critical patent/CN103026328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种能够容易地进行合成图像内的产品图像的合成位置的变更的电子设备。电子设备具备：显示装置，其能显示拍摄图像以及产品图像；触摸面板，其受理用户的操作；和控制电路，其基于拍摄图像内的基准对象的位置以及大小来算出产品图像的显示位置以及显示尺寸，生成在拍摄图像上合成了产品图像而得到的合成图像，并使合成图像显示至显示部，并且该控制电路生成根据用户对触摸面板的操作而变更了产品图像的显示位置以及显示尺寸的合成图像。

Description

电子设备以及合成图像的编辑方法
技术领域
本发明涉及例如用户能进行触摸操作的电子设备。
背景技术
在购买大型的家具或家用电器时，有想要预先确认其大小以及色调是否与房间的气氛匹配从而与房间取得协调的需求。为了满足这种需求，存在采用了扩增实境(Augmented Reality)技术的技术。用户通过将想要购买的家具或家用电器的图像与房间的实拍图像进行合成，从而能够确认家具或家电是否与房间匹配。
在专利文献1中，在所拍摄的室内配置标记，由照相机对包括该标记的范围进行拍摄。而且，通过将想要购买的家具的图像与拍摄图像进行合成，从而用户能够预先确认家具的大小等。
现有技术文献
专利文献
专利文献1：JP特开2010-287174号公报
发明内容
发明所要解决的课题
对家具等的位置进行确认的作业，需要反复试验的情况较多。在专利文献1的方法中，在想要挪动已经合成的产品的位置时，需要用户变更标记的位置，并用照相机对包括该标记的范围重新进行拍摄。对于用户而言，将这种作业反复进行好几次需要功夫。因此，在现有技术中，存在更容易地确认产品和房间之间的协调的余地。
本发明正是鉴于上述课题而提出的，其目的之一在于提供一种能够容易地进行合成图像内的产品图像的合成位置的变更的电子设备。
用于解决课题的技术方案
根据本发明的某实施方式，电子设备具备：显示装置，其能显示拍摄图像以及产品图像；触摸面板，其受理用户的操作；和控制电路，其基于拍摄图像内的基准对象的位置以及大小来算出产品图像的显示位置以及显示尺寸，生成在上述拍摄图像上合成了上述产品图像而得到的合成图像，并使上述合成图像显示至上述显示部，并且该控制电路生成根据用户对上述触摸面板的操作而变更了上述产品图像的显示位置以及显示尺寸的合成图像。
在某实施方式中，电子设备还具备触觉提示部，该触觉提示部根据用户的操作而向用户提供触觉信息。
在某实施方式中，上述基准对象为包括与上述产品图像已建立关联的标记信息在内的标记，上述电子设备还具备存储部，该存储部保存有上述标记信息和包括上述产品图像在内的产品图像信息。
在某实施方式中，在上述标记信息中包含上述标记的实际尺寸信息，在上述产品图像信息中包含上述产品图像的实际尺寸信息，上述控制电路基于上述显示装置中所显示出的上述标记的显示尺寸和上述标记的实际尺寸来算出合成比率，并基于上述合成比率和上述产品图像的实际尺寸信息来算出上述产品图像的显示位置以及显示尺寸。
在某实施方式中，上述控制电路基于上述标记的显示位置以及显示尺寸来算出上述拍摄图像内的对象的显示位置以及显示尺寸。
在某实施方式中，在基于上述用户的操作而变更了上述合成图像中的上述产品图像的显示位置的情况下，上述控制电路进行控制以使上述触觉提示部基于与上述产品图像的显示位置相关的显示位置坐标是否超过了阈值的情况而向用户提示触觉。
在某实施方式中，根据与上述拍摄图像内的对象的显示位置相关的显示位置坐标来算出上述阈值，上述控制电路进行控制以使上述触觉提示部在上述产品图像的显示位置坐标超过了上述阈值的情况下向用户提示触觉。
在某实施方式中，上述基准对象为上述拍摄图像内所包含的至少一个对象，上述电子设备还具备存储部，该存储部保存有作为与上述基准对象相关的信息的基准对象信息和包括上述产品图像在内的产品图像信息。
在某实施方式中，上述基准对象为上述拍摄图像内所包含的至少一个对象，上述电子设备还具备：界面，其受理上述基准对象的实际尺寸数据的输入；和存储部，其保存有上述被受理的上述基准对象的实际尺寸数据和包括上述产品图像在内的产品图像信息。
在某实施方式中，在上述基准对象信息中包含上述基准对象的实际尺寸信息，在上述产品图像信息中包含上述产品图像的实际尺寸信息，上述控制电路基于上述显示装置中所显示出的上述基准对象的显示尺寸和上述基准对象的实际尺寸来算出合成比率，并基于上述合成比率和上述产品图像的实际尺寸信息来算出上述产品图像的显示位置以及显示尺寸。
在某实施方式中，上述控制电路基于上述基准对象的显示位置以及显示尺寸来算出上述拍摄图像内的其他对象的显示位置以及显示尺寸。
在某实施方式中，在基于上述用户的操作而变更了上述合成图像内的上述产品图像的显示位置的情况下，上述控制电路进行控制以使上述触觉提示部基于与上述产品图像的显示位置相关的显示位置坐标是否超过了阈值的情况而向用户提示触觉。
在某实施方式中，上述触觉提示部根据上述产品图像的显示尺寸的变更而向用户提示触觉。
在某实施方式中，在上述产品图像信息中包含产品的重量信息，上述触觉提示部基于上述产品的重量信息而使向用户提示的触觉变化。
在某实施方式中，上述拍摄图像为通过能立体拍摄的立体照相机所拍摄到的、由左眼用图像以及右眼用图像构成的图像，在上述存储部中保存有根据上述左眼用图像内的上述基准对象和上述右眼用图像内的上述基准对象而算出的视差信息，上述控制电路基于上述视差信息来算出基准对象的显示位置。
在某实施方式中，上述拍摄图像为通过能对包括上述基准对象在内的被摄体的合焦位置进行检测的摄像装置所拍摄到的图像，在上述存储部中保存有基于上述基准对象的合焦位置而算出的、从上述摄像装置到上述基准对象为止的距离信息，上述控制电路基于上述距离信息来算出上述基准对象的显示位置。
根据本发明的某实施方式，合成图像的编辑方法包含：基于拍摄图像内的基准对象的位置以及大小来算出产品图像的显示位置以及显示尺寸的步骤；通过在上述拍摄图像内合成上述产品图像来生成合成图像的步骤；使上述合成图像显示于显示装置中的步骤；和根据用户对触摸面板的操作来变更上述被合成的产品图像的显示位置以及显示尺寸的步骤。
在某实施方式中，上述方法还包含基于用户的上述操作而向用户提供触觉的触觉步骤。
发明效果
根据本发明，可提供一种能够容易地进行合成图像内的记录图像的合成位置的变更的电子设备。
附图说明
图1A是表示电子设备10的显示面侧的外观的立体图。
图1B是表示电子设备10的背面侧的外观的立体图。
图2是表示电子设备10的结构的框图。
图3是电子设备10的剖视图。
图4是实施方式1涉及的振动部13的立体图。
图5是表示实施方式1的振动模式的一例的概略图。
图6是表示对室内进行了拍摄的拍摄图像(起居室图像)51的图。
图7是表示在标记50的位置处显示出产品图像(电视机图像)51的状态的显示画面的一例的图。
图8是表示实施方式1中的电子设备的处理的流程的流程图。
图9是表示实施方式1中的处理的流程的流程图。
图10是表示实施方式1中的用户操作的一例的图。
图11是表示实施方式1中的用户操作的一例的图。
图12是表示采用图10进行过说明的用户操作的处理的流程的流程图。
图13是表示采用图11进行过说明的用户操作(产品的尺寸变更)的处理的流程的流程图。
图14是表示实施方式1中的用户操作的一例的图。
图15是用于说明与在图14说明过的用户操作相关的处理的流程的流程图。
图16(a)以及图16(b)是表示本实施方式的用户的操作的一例的图。
图17是表示图16所示的用户操作的处理的流程的流程图。
图18(a)以及图18(b)是表示实施方式1的振动模式的差异的图。
图19是表示实施方式2中的用户所进行的操作的例子的图。
图20是表示实施方式2中的输入基准尺寸大小来进行图像合成的处理的流程的流程图。
图21是表示可立体拍摄的立体照相机70的概略图。
图22是表示实施方式3中的处理的流程的流程图。
图23是表示由立体照相机70所拍摄到的拍摄图像的图。
图24是表示在进行家具搬入的仿真时的处理的流程的流程图。
图25是表示数码照相机91与基准对象(电视机)92之间的被摄体距离的图。
图26是表示采用AF功能并采用深度图(depth map)时的处理的流程的流程图。
图27是表示屋外的图像作为拍摄图像的例子的图。
具体实施方式
以下，参照附图对作为本发明的一实施方式的电子设备进行说明。
(实施方式1)
以下，参照附图对本实施方式涉及的电子设备10进行说明。在实施方式1中对如下的电子设备10进行说明，即：使预定购买的产品图像(例如电视机的图像)显示于已预先拍摄好的室内图像(例如起居室的图像)中，从而能够容易地变更该产品图像的显示位置、显示尺寸等。
<结构的说明>
采用图1A、图1B、图2、图3对电子设备的整体结构进行说明。
图1A是表示电子设备10的显示面侧的外观的立体图，图1B是表示电子设备10的背面侧的外观的立体图。如图1A所示，电子设备10具备：显示部12、触摸面板11和框体14。此外，如图1B所示，在电子设备10的背面侧设置有照相机拍摄用的镜头16。
图2是表示电子设备10的结构的框图。此外，图3是电子设备10的剖视图。
如图2所示，电子设备10具备：显示部12、显示控制部32、触摸面板11、触摸面板控制部31、触觉提示部43、照相机15、照相机控制部35、通信电路36、各种通信单元37、ROM38、RAM39和微型计算机20。
显示部12是所谓的显示装置。显示部12能显示拍摄图像以及产品图像。显示部12能显示文字、数字、图形、键盘等。作为显示部12，例如能够采用液晶面板、有机EL面板、电子纸、等离子面板等公知的显示装置。
显示控制部31基于由微型计算机20所生成的控制信号来控制向显示部12显示的显示内容。
触摸面板11受理用户的触摸操作。触摸面板11按照至少覆盖操作区域的方式被配置在显示部12上。用户通过采用手指或笔等在触摸面板11上进行触摸操作，由此能够操作电子设备10。触摸面板11能够探测用户的触摸位置。用户的触摸位置的信息经由触摸面板控制部31而被送到微型计算机20。作为触摸面板11，例如能够采用静电式、电阻膜式、光学式、超声波方式电磁式等的触摸面板。
微型计算机20是采用用户的触摸位置的信息来进行后述的各种处理的控制电路(例如CPU)。此外，微型计算机20基于拍摄图像内的基准对象的位置以及大小来算出产品图像的显示位置以及显示尺寸。此外，微型计算机20通过在拍摄图像内合成产品图像来生成合成图像。此外，微型计算机20向显示部12显示合成图像。微型计算机20是控制单元的一例。关于“产品图像”、“基准对象”、“合成图像”在后面叙述。
进而，微型计算机20根据用户对触摸面板11的触摸操作而对所合成的产品图像的显示位置以及显示尺寸进行编辑。微型计算机20还具有作为编辑单元的功能。
触觉提示部43根据用户的操作而向用户提供触觉信息。在本申请说明书中，触觉信息例如通过振动被提供。
触觉提示部43具有振动部13以及振动控制部33。
振动部13使触摸面板11振动。振动部13是向用户提示触觉的机构的一例。振动控制部33对振动部13的振动模式进行控制。关于振动部13的结构、振动模式的详细情况在后面叙述。
照相机15被搭载在电子设备10中，且由照相机控制部35进行控制。用户能够采用搭载于电子设备10中的照相机15而对起居室等的室内图像进行拍摄。
通信电路36例如是能与互联网、个人计算机等进行通信的电路。
此外，电子设备10具备：产生声音的扬声器17、和能与各种电子设备进行输入输出的各种输入输出部37。
图3是电子设备10的剖视图。触摸面板11、显示部12、振动部13、电路基板19被容纳于框体14中。在电路基板19中配置有微型计算机20、ROM38、RAM39、各种控制部、电源等。
ROM38以及RAM39存储电子信息。电子信息包括以下的信息。
电子信息的例子：
·程序或应用程序等的程序信息；
·标记50的特征数据(例如对标记进行确定的图案、标记的尺寸大小信息)；
·由照相机15拍摄到的拍摄图像的数据；
·产品图像数据(例如与想要合成的产品(电视机等)的形状、尺寸大小相关的信息)；
·记录有使振动部13振动的波形的振动波形数据；
·用于根据拍摄图像来确定拍摄物的表面的形状、柔软度、硬度、摩擦等的信息。
另外，电子信息不仅包括预先存储于设备中的数据，而且还包括经由互联网等通过通信电路36所取得的信息、由用户输入的信息。
上述的“标记”为预先规定的图案。图案的例子为用实线包围四面的疑问号(“？”)。标记例如由用户被打印到纸上，并设置于室内。
ROM38一般为在不接通电源的期间也被保持的非易失性记录介质。此外，RAM39一般为只在接通电源的期间保持电子信息的易失性记录介质。作为易失性记录介质有DRAM等，作为非易失性记录介质有HDD、EEPROM等的半导体存储器等。
振动部13被安装到触摸面板中，通过使触摸面板11振动，由此能够向用户提供触觉。触摸面板11隔着隔离物18而与框体14进行配置，且由于隔离物18而使得触摸面板11的振动难以传递到框体14。隔离物18例如是硅橡胶或聚氨酯橡胶等的缓冲部件。
显示部12被配置在框体14中，且触摸面板11按照覆盖显示部12的方式被配置。触摸面板11、振动部13、显示部12分别与电路基板电连接。
采用图4来说明振动部13的结构。图4是本实施方式的振动部13的立体图。振动部13具备：压电元件21、隔板(shim plate)22和基底23，在隔板22的两侧粘接有压电元件21。隔板22的两端与基底23连接，成为所谓两端持有结构。基底23与触摸面板11连接。
压电元件21是锆钛酸铅等的压电陶瓷或铌酸锂等的压电单晶。压电元件21通过来自振动控制部33的电压而伸缩。粘贴在隔板22的两侧的压电元件21按照在一方延伸、一方收缩的方式进行控制，从而隔板弯曲而能产生振动。
隔板22为磷青铜等的弹簧部件。隔板22的振动通过基底基板23而使触摸面板11振动，从而对触摸面板进行操作的用户能够感知触摸面板的振动。
基底23是铝或黄铜等的金属、PET或PP等的塑料。
振动的频率、振幅、期间由振动控制部33控制。作为振动的频率优选100～400Hz程度的频率。
另外，在本实施方式中，将压电元件21粘贴在隔板22上，但也可将压电元件21直接粘贴在触摸面板11上。此外，在触摸面板11上存在覆盖部件等的情况下，也可将压电元件21粘贴在覆盖部件上。此外，也可采用振动电动机来代替压电元件21。
<振动的说明>
图5是表示实施方式1的振动模式的一例的概略图。
根据微型计算机20的命令，振动控制部33向振动部13施加如图7(a)所示那样的波形的电压，使触摸面板11振动。由此，向用户提供触觉A。用于提供触觉A的电压为正弦波且为150Hz、70Vrms、2周期。此时的触摸面板11上的振幅为约5μm程度。此外，振动控制部33向振动部13施加如图7(b)所示那样的电压，使触摸面板11振动。由此，向用户提供触觉B。用于提供触觉B的电压为正弦波且为300Hz、100Vrms、4周期。另外，关于频率、电压、周期数而言只是一例，也可为矩形波、锯齿波等其他的波形、间歇性波形、频率或振幅连续地变化的波形等。
另外，在本实施方式中，触觉A和触觉B采用不同的振动模式，但并不限于此。触觉A和触觉B的振动模式也可相同。
假设当前用户预定购买电视机，处于研究将电视机放置到起居室的什么位置的状态。
图6是表示拍摄了室内的拍摄图像(起居室图像)51的图。图6例如表示起居室。用户在想要放置预定购买的电视机的位置处放置标记50。用户采用照相机15并按照标记50进入到拍摄范围的方式对起居室进行拍摄。在所拍摄到的图像中的标记的位置处显示预定购买的电视机的图像。标记50为基准对象的一例。
如上那样，在本实施方式中，以采用扩增实境(Augmented Reality：以下也有简称为AR的情况。)技术作为前提。
图7表示在标记50的位置处显示了产品图像(电视机图像)51的状态的显示画面的一例。如上那样，通过采用AR技术能够使虚构的图像显示于现实的图像中。
图8是表示实施方式1中的电子设备的处理的流程的流程图。步骤简称为S。
在S11中开始电子设备的处理。具体而言是用户所进行的电源的接通(ON)或程序的开始等。之后，在S12中微型计算机20对触摸面板11是否被用户触摸进行判断。例如，在触摸面板11为静电电容方式的情况下，触摸面板控制部31检测静电电容的变化。触摸面板控制部31将与所检测到的静电电容的变化相关的信息送给微型计算机20。微型计算机20基于所送来的信息来判断有无用户所进行的触摸。在没有被触摸的情况下(S12中“否”)，进行待机直到再次触摸为止。
在被触摸的情况下(S12中“是”)，在S13中进行各种处理。所谓各种处理为与照相机拍摄或用户所进行的图像的操作、拍摄图像的显示、振动的提示相关的处理。如果该各种处理也存在单一处理的情况，则包括连续地进行多个处理的情况、并行地进行多个处理的情况、或不进行任何处理的情况下的处理。该处理的例子参照图9进行详细叙述。
在由S13进行了各种处理之后，在S14中判断微型计算机20是否结束处理。具体而言是用户所进行的电源的断开(OFF)操作或程序的结束等。
图9是表示实施方式1中的处理的流程的流程图。具体而言是用于说明图8所示出的流程图中的“各种处理(S13)”的一例的流程图。
在S21中开始照相机拍摄。
之后，在S22中由照相机15拍摄到的拍摄图像数据经由照相机控制部35而被送到RAM39中进行存储。
此后，在S23中，微型计算机20对在RAM39内预先记录的标记数据和拍摄图像数据进行核对。而且，微型计算机20判断在拍摄图像(起居室图像)51内是否拍摄到标记50。
在判断为没有拍摄到标记50的情况下(S23中“否”)，处理进入到S24。在S24中，微型计算机20使拍摄图像数据作为显示数据而存储到RAM39中。而且，微型计算机20将显示数据送给显示控制部20。显示控制部20基于所送来的显示数据而在显示部12中显示图像。
在判断为拍摄到标记50的情况下(S24中“是”)，处理进入到S26。
微型计算机20基于标记50的尺寸大小信息、包括与想要合成的产品(例如预定购买的电视机)的形状和尺寸大小相关的信息在内的产品图像数据，进行用于将产品图像(电视机图像)52与拍摄图像(起居室图像)51合成的合成倍率的计算。以下，对合成倍率的计算具体地进行说明。
首先，微型计算机20基于标记50的实际的尺寸大小数据和拍摄图像(起居室图像)51内的标记50的尺寸大小数据，计算拍摄图像(起居室图像)51内的对象(墙壁和家具等)的大小和房间的进深等。具体而言，微型计算机20计算标记50的实际的尺寸大小和拍摄图像(起居室图像)51内的标记50的尺寸大小的比率。此外，微型计算机20对拍摄图像(起居室图像)51内的对象(墙壁和家具)的尺寸进行确定。而且，基于计算结果和对象的尺寸来计算拍摄图像(起居室图像)51内的对象(墙壁和家具)的实际的大小和房间的进深等。将如上那样计算出的比率称作合成倍率61。基于该合成倍率来决定使产品图像(电视机图像)52显示于拍摄图像(起居室图像)51(起居室)内时的产品图像(电视机图像)52的大小。微型计算机20使这些计算结果存储于RAM39中。
此外，微型计算机20取得表示拍摄图像(起居室图像)51内的标记50的位置的标记坐标，并使其存储于RAM39中。
之后，处理进入到S27。在S27中，微型计算机20基于由S26计算出的合成倍率来进行使产品图像(电视机图像)52放大或者缩小的记录图像处理。而且，使与进行过记录图像处理的产品图像相关的数据存储于RAM39中。以下，将进行过记录图像处理后的产品图像(电视机图像)52称作加工图像53。所谓加工图像例如为被放大缩小后的电视机图像。
此后，在S28中微型计算机20基于标记坐标而在拍摄图像(起居室图像)52内的标记50上合成加工图像(电视机图像)53，并使其作为显示图像而存储于RAM39中。
之后，在S24中，显示控制部32使显示图像显示于显示部12中。
图10是表示本实施方式1中的用户操作的一例的图。
在用户观看电子设备的显示部12中所显示出的显示图像并考虑想要将加工图像(电视机图像)53的配置稍微挪动的情况下，进行下述那样的操作。
首先，用户触摸在显示部12中所显示出的加工图像(电视机图像)53的周边，用手指沿着想要挪动加工图像(电视机图像)53的方向滑动。通过这样做，微型计算机20对显示控制部32进行指示以使所显示的加工图像(电视机图像)53相对于显示画面相对地移动与所检测到的手指的移动量相应的移动量。通过对该图像进行确认，从而用户能够确认处于与产品当初配置的位置不同的配置时的房间的气氛。在手指的滑动相对于显示图像为水平方向的情况下，加工图像(电视机图像)53在横方向上移动。这种情况下的加工图像(电视机图像)53的大小不变而只进行平行移动。另外，为了便于说明，以下描述成微型计算机20使图像移动并变更尺寸等。实际上，要注意微型计算机20对显示控制部32进行指示以使显示控制部32执行了对图像的显示位置进行移动的处理和变更尺寸的处理。
图11是表示实施方式1中的用户操作的一例的图。
在用户观看电子设备的显示部12中所显示出的图像并考虑想要对加工图像(电视机图像)53的尺寸进行变更的情况下，进行下述那样的操作。
用户用拇指和食指触摸在显示部12中所显示出的加工图像53的周边，并改变2根手指的间隔。微型计算机20按照两根手指的间隔的变化量来变更产品的尺寸。以下，存在将这种操作称作“捏合(pinch)操作”的情况。
在加工图像53为电视机图像的情况下，电视机图像的尺寸根据手指的间隔的变化量而变化。在本实施方式中，电视机图像的尺寸不连续地变化，而根据实际出售的规定尺寸的值(32、37、42英寸等)阶段性地变化。
例如，如果手指的间隔的变化量处于预先规定的值(α)以上，则只要显示大1等级的规定尺寸的图像即可，如果变化量处于2·α以上，则只要显示大2等级的规定尺寸的图像即可。缩小时也同样，如果手指的间隔的变化量处于α以下，则只要显示小1等级的规定尺寸的图像即可，进而如果变化量处于2·α以下，则只要显示小2等级的规定尺寸的图像即可。
也可在加工图像(电视机图像)53中显示尺寸的值。由此，用户能够得知当前正被显示的加工图像(电视机图像)53的尺寸。另外，由于加工图像所表示的对象，也可无需使图像尺寸阶段性地变化而连续性地变化。
图12是表示采用图10进行过说明的用户操作的处理的流程的流程图。
首先，在S31中，由触摸面板控制部31检测用户的触摸位置的变化。
在检测到触摸位置的变化的情况下(S31中“是”)，处理进入到S32。在S32中，微型计算机20收到由触摸面板控制部31所检测到的触摸位置的变化值。微型计算机20基于所收到的触摸位置的变化值来算出用户的手指的移动量。而且，微型计算机20按照产品的显示位置的移动与用户的手指的移动量相同的方式，计算加工图像(电视机图像)53的移动量。微型计算机20通过在标记坐标(标记50被配置的位置的坐标)上加上加工图像(电视机图像)53的移动量，来计算合成位置坐标。各个值被保存于RAM39中。微型计算机20使加工图像(电视机图像)53合成于拍摄图像的合成位置坐标位置来作成显示图像。该显示图像被保存于RAM39中。
之后，在S34中，对显示控制部32进行控制以使由上述的处理作成的显示图像显示于显示部12中。
在没有检测到触摸位置的变化的情况下(S31中“否”)，处理进入到S35并结束。
通过执行这种处理，用户能够在显示部12内自由地搬动加工图像(电视机图像)53。
图13是表示采用图11进行过说明的用户操作(产品的尺寸变更)的处理的流程的流程图。
首先，在S41中，由触摸面板控制部31检测伴随着用户的捏合操作的触摸位置的变化量。例如用户用两根手指进行触摸，之后如果这两根手指的位置中的至少一个位置变化，则检测该变化量。
在检测到捏合操作的情况下(S41中“是”)，处理进入到S42。在S42中，微型计算机20基于由触摸面板控制部31所检测到的触摸位置的变化量来计算捏合量。所谓捏合量表示捏合操作时的手指的间隔。在用户以两根手指进行了触摸时的手指的间隔作为基准时，如果手指的间隔变宽，则捏合量变大，如果手指的间隔变窄，则捏合量变小。
微型计算机20基于捏合量的变化而使合成倍率(产品的显示尺寸的变化率)发生变化。具体而言，微型计算机20在捏合量变大的情况下增大合成倍率，此外在捏合量变小的情况下减小合成倍率。微型计算机20基于合成倍率来对产品图像(电视机图像)52的显示尺寸进行放大或者缩小处理，作成加工图像(电视机图像)53。此时，以让用户得知该产品的尺寸的方式使电视机的尺寸值显示于加工图像(电视机图像)53中来进行合成。合成倍率的值被保存于RAM39中，在每次执行捏合操作时被更新。而且，微型计算机20使实施过放大或者缩小处理的加工图像53合成于拍摄图像(起居室图像)51的标记坐标的位置来作成显示图像。该显示图像被保存于RAM39中。
接下来，在S44中，对显示控制部32进行控制以使由上述的处理作成的显示图像显示于显示部12中。
在没有检测到触摸位置的变化的情况下(S41中“否”)，处理进入到S46并结束。
图14是表示实施方式1中的用户操作的一例的图。
在用户观看显示部12中所显示出的显示图像并考虑想要将产品的配置挪动的情况下，进行下述那样的操作。
用户触摸在显示部12中所显示出的加工图像(电视机图像)53的周边，用手指沿着想要挪动加工图像(电视机图像)53的方向进行滑动。加工图像(电视机图像)53追踪手指的滑动而显示于显示部12中。例如，如图14所示，在用户考虑想要将产品配置到墙壁时的情况下，用户用手指沿着墙壁所处的方向进行滑动，从而加工图像(电视机图像)53也追踪滑动操作而在显示图像内进行移动。而且，在加工图像(电视机图像)53的端部与墙壁相碰撞的情况下，通过振动部13进行振动而向用户提示触觉。
这里的触觉是指，向用户提供无法使加工图像(电视机图像)53在墙壁方向上进一步移动这样的警告的触觉。这种警告不仅是振动等的触觉，而且也可是能够引起用户注意的声音或光、颜色的变更等的方法，任何手段都可以。
为了判定加工图像53的端部是否与墙壁相碰撞，需要确定该端部和墙壁的位置，并判定墙壁的位置与端部的位置是否一致。墙壁的位置例如也可由用户进行确定，也可将与在RAM39中预先保持的墙壁的图案相匹配的图像上的对象辨别为墙壁。
此外，也可微型计算机20测定端部与墙壁之间的图像上的距离，通过判定该距离是否为0，来判定加工图像53的端部是否与墙壁相碰撞。微型计算机20只要基于存储于ROM38或者RAM39中的标记50的特征数据(尺寸大小信息)求得该标记与到墙壁为止的距离，作为端部与墙壁之间的图像上的距离即可。
图15是用于说明与采用图14进行过说明的用户操作相关的处理的流程的流程图。
在此所说明的处理为与图8所示的流程图的S13“各种处理”相关的处理。如果在图8所示的流程图的S12中判断为有用户所进行的触摸，则处理进入到S51。在S51中，检测用户所进行的触摸位置的变化。具体而言，触摸面板11上的用户的触摸位置以及触摸位置的变化由触摸面板控制部31检测。与由触摸面板控制部31所检测到的用户的触摸位置相关的信息被送到微型计算机20。之后，处理进入到S52。
在S52中，执行加工图像(电视机图像)53的合成位置的再次计算。具体而言，微型计算机20基于与用户的触摸位置相关的信息来计算用户的手指的移动量。微型计算机20通过将该移动量与标记坐标相加，从而重新计算将加工图像(电视机图像)53进行合成的位置。
微型计算机20所进行的合成位置的计算结果被送到显示控制部32。显示控制部32基于所送来的信息而将加工图像(电视机图像)53显示于显示部12中。通过反复执行加工图像(电视机图像)53的合成位置的计算和该显示，从而显示部12按照加工图像(电视机图像)53追踪用户的滑动操作的方式进行显示。之后，处理进入到S53。
在S53中，判断表示加工图像(电视机图像)53的合成位置的坐标(以下存在称作“合成坐标”的情况。)是否处于规定值以下。具体而言，微型计算机20判断加工图像(电视机图像)53的端部(例如电视机的左侧面部)的坐标是否处于预先被存储于RAM39中的规定坐标以下。该规定坐标是指，例如对在图14中所显示出的墙壁的位置进行规定的坐标。在合成坐标处于规定值以下的情况下，加工图像(电视机图像)53处于与墙壁不接触的状态。在合成坐标处于规定值以上的情况下，加工图像(电视机图像)53处于与墙壁相接触、或者与墙壁重复的状态。
在判断为合成坐标比规定值大的情况下(S53中“是”)，处理进入到S54。在S54中，在拍摄图像(起居室)的合成坐标的位置处合成加工图像(电视机图像)53。微型计算机20将与所合成的图像相关的数据作为显示数据而送到显示控制部32。此外，微型计算机20使该显示数据存储于RAM39中。之后，处理进入到S55。
在S55中，显示控制部32基于所送来的显示数据来显示图像。这里所显示的图像为加工图像(电视机图像)53进行了移动后的图像。
另一方面，在S53中判断为合成坐标处于规定值以下的情况下(S53中“否”)，处理进入到S56。在S56中，通过振动部13进行振动而向用户提供触觉。具体而言，在判断为合成位置处于规定值以下的情况下，从微型计算机20向振动控制部33送出与振动模式相关的振动数据。振动控制部33基于所送来的振动数据而使振动部13振动。由于处于用户触及触摸面板11的状态，因此能够感知该振动。用户通过感知振动，从而能够辨别无法使加工图像(电视机图像)53进一步移动。此外，如图14所示，也可在加工图像(电视机图像)53的左上部显示表示电视机与墙壁接触的情况的星形图案。
另外，如果加工图像(电视机图像)53按照越过墙壁的位置的方式显示，则会给用户带来不协调的感觉，因此在加工图像(电视机图像)53的端部与墙壁接触的情况下，微型计算机20进行控制以使无法进一步移动加工图像(电视机图像)53。
图16(a)以及(b)是表示本实施方式的用户的操作的一例的图。
在用户观看在显示部12中所显示出的显示图像并考虑想要使加工图像(电视机图像)53的尺寸发生变化的情况下，进行下述那样的操作。
首先，用户用拇指和食指触摸在显示部12中所显示出的加工图像(电视机图像)53的周边，通过改变两根手指的间隔来变更产品的尺寸。在本实施方式中，假设加工图像(电视机图像)53放置于电视机座之上的情况。
在本实施方式中，在用户变更加工图像(电视机图像)53的尺寸时，在加工图像(电视机图像)53的尺寸超过了规定的大小的情况下，向用户提供基于振动的警告。这种警告被阶段性地多次提供给用户。
例如设产品(加工)图像为电视机的图像。电视机的图像包括矩形的电视机框部分和与该电视机框相比在左右方向上短的底座部分。在产品(加工)图像的尺寸被放大、且电视机框部分的尺寸超过了电视机座的图像尺寸时，提供第1等级的警告。之后，在加工图像(电视机图像)53的底座部分的大小超过了电视机座的图像尺寸时，提供第2等级的警告。在本实施方式中，从第1等级的警告之后到提供第2等级的警告为止，执行产品的尺寸变更。但是，在提供第2等级的警告之后，不执行产品的尺寸变更。
作为上述处理的前提，微型计算机20需要从所拍摄到的图像中预先识别电视机座的图案。微型计算机20通过例如辨别标记(未图示)，并辨别配置有该标记的对象(即电视机座)的图案来得以实现。或者，用户也可输入电视机座的范围。
图17是表示图16所示的用户操作的处理的流程的流程图。
在此所说明的处理为与图8所示的流程图的S13“各种处理”相关的处理。如果在图8所示的流程图的S12中判断为有用户所进行的触摸，则处理进入到S61。在S61中，判断用户是否执行了捏合操作。具体而言，由触摸面板控制部31检测伴随着用户的捏合操作的触摸位置的变化量。
在检测到捏合操作的情况下(S61中“是”)，处理进入到S62。在S62中，微型计算机20基于由触摸面板控制部31所检测到的触摸位置的变化量来计算捏合量。所谓捏合量表示捏合操作时的手指的间隔的变化量。在用户以两根手指进行了触摸时的手指的间隔作为基准时，如果手指的间隔变宽，则捏合量变大，如果手指的间隔变窄，则捏合量变小。
微型计算机20基于捏合量的变化而使合成倍率(产品的显示尺寸的变化率)发生变化。具体而言，微型计算机20在捏合量变大的情况下增大合成倍率，此外在捏合量变小的情况下减小合成倍率。合成倍率与所显示的加工图像(电视机图像)53相乘而得到的值成为合成后的尺寸(以下存在简称为合成尺寸的情况。)。在计算出合成倍率之后，处理进入到S63。
在S63中，判断合成尺寸是否处于规定值以下。具体而言，通过微型计算机20来判断加工图像(电视机图像)53的尺寸是否处于电视机座的尺寸以下。用户也可预先输入电视机座的尺寸。或者，也可根据标记50的实际的尺寸大小和拍摄图像(起居室图像)51内的标记50的尺寸大小的比率来计算电视机座的尺寸。上述的处理通过微型计算机20来执行。
在判断为合成尺寸处于规定值以下的情况下(S63中“是”)，处理进入到S64。在S64中，微型计算机20将尺寸被变更后的加工图像(电视机图像)53与拍摄图像(起居室图像)51进行合成，并生成显示数据。该显示数据被存储于RAM39中。如果生成显示数据，则处理进入到S65。
在S65中，显示控制部32基于显示数据而在显示部12中显示加工图像(电视机图像)53的尺寸被变更后的图像(图16(b)所示的状态)。
另一方面，在S63中，在判断为合成尺寸比规定值大的情况下(S63中“否”)，处理进入到S66。在S66中，通过振动部13进行振动而向用户提供触觉。具体而言，如果判断为合成尺寸比规定值大，则微型计算机20将与振动模式相关的振动数据送给振动控制部33。振动控制部33基于所送来的振动数据而使振动部13振动。由于处于用户触及触摸面板11的状态，因此能够感知该振动。
如果在S66中向用户提供触觉，则处理进入到S67，并结束。
通过执行这种处理，从而用户能够将在拍摄图像内所显示出的加工图像(电视机图像)53搬动到期望的位置处。此外，通过与加工图像(电视机图像)53的搬动建立关联地提供各种振动，从而用户的操作变得更加容易。
另外，在搬动加工图像(电视机图像)53的情况下，微型计算机20也可执行下述那样的控制。例如，在如图18(a)所示那样搬动尺寸较大的电视机的情况下，也可提供用户的手指与触摸面板之间的摩擦变大那样的振动。此外，在如图18(b)所示那样搬动尺寸较小的电视机的情况下，也可与搬动尺寸较大的电视机的情况相比减弱振动的强度。通过执行这种控制，从而能够更加提高现实感，并且能够向用户提供各种信息。
用户的手指与触摸面板之间的摩擦变大那样的振动意味着例如主要是帕西尼氏小体起火的高频率域的振动。帕西尼氏小体是指，在人的手指中存在的多种触觉感受器之一。帕西尼氏小体的灵敏度较高，相对于80Hz程度的振动而以2μm的压入振幅进行起火。如果将振动频率降低到例如10Hz，则灵敏度变小，起火阈值增大到100μm。帕西尼氏小体具有以100Hz作为峰值灵敏度的与频率相应的灵敏度分布。微型计算机20使触摸面板11以与上述频率相应的振幅进行振动。由此，帕西尼氏小体起火，对于用户而言可以提供与触摸面板之间的摩擦变大那样的触感。
此外，也可按照根据电视机等产品被放置的场所而提供不同的振动的方式进行控制。例如，在将电视机放置于地毯那样的摩擦较大的场所的情况下，在搬动电视机时，也可进行摩擦变大那样的振动，在将电视机放置于如地板那样的摩擦较小的场所的情况下，也可减弱振动。
此外，在放置产品的场所存在高低差或突起等情况下，也可按照在产品通过其上时提供振动的方式进行控制。
<实施方式2>
在实施方式1中采用标记来算出产品的显示位置、显示尺寸大小，但是本实施方式涉及的电子设备不采用标记而采用预先配置在起居室内的家具来算出产品的显示位置、显示尺寸大小。
图19是表示实施方式2中的用户所进行的操作的例子的图。
用户对想要放置产品的室内进行拍摄。所拍摄到的图像在电子设备的显示装置12中被显示。用户触摸预先得知尺寸大小的家具被显示的场所。微型计算机20受理来自用户的触摸操作，并显示用于输入电子设备已辨别的家具(基准对象63)的尺寸大小的输入画面64。用户将预先测定的家具的尺寸大小输入到输入画面64。微型计算机20根据拍摄图像数据的基准对象63的尺寸大小和由用户输入的尺寸大小的比来计算合成倍率，并保存于RAM39中。之后，用户触摸想要配置产品的位置。微型计算机20通过触摸面板控制部31取得触摸坐标，并计算合成位置坐标。微型计算机基于合成倍率61进行记录图像数据的图像处理，作成处理记录图像数据，并保存于RAM39中。此后，基于合成位置坐标，将处理记录图像数据与拍摄图像数据进行合成，作成显示数据，并通过显示控制部32而显示于显示部中。
图20是表示实施方式2中的输入基准尺寸大小并进行图像合成的处理的流程的流程图。
在此所说明的处理为与图8所示的流程图的S13“各种处理”相关的处理。如果在图8所示的流程图的S12中判断为有用户所进行的触摸，则处理进入到S71。在S71中，用户执行拍摄。
之后，处理进入到S72。在S72中，执行拍摄图像的获取。具体而言，微型计算机20将由照相机15以及照相机控制部35所拍摄到的拍摄图像数据保存于RAM39中。在执行了拍摄图像的获取之后，处理进入到S73。
在S73中，用户执行基准对象63的选择。基准对象63是指，在拍摄图像内合成加工图像(电视机图像)53时成为用于算出加工图像(电视机图像)53的显示尺寸大小的基准的图像。在此，设定预先在室内配置的衣柜的图像作为基准对象63。具体而言，通过对在显示部12中所显示出的拍摄图像内的衣柜进行触摸，从而设定该衣柜的图像作为基准对象。如果设定基准对象63，则处理进入S74。
在S74中，微型计算机20显示用于输入基准对象63的尺寸大小的界面画面。用户在界面画面的输入栏中输入基准对象63的尺寸大小。具体而言，如果在S73中用户执行了基准对象63的选择，则微型计算机20在基准对象63附近的显示画面12中显示界面画面(尺寸大小输入画面)64。用户能够利用例如软件键盘或硬件键盘(均未图示)在尺寸大小输入画面64中输入衣柜的尺寸大小。另外，上述的界面画面、软件键盘、硬件键盘有时会被描述为界面。如果用户所进行的尺寸大小输入完成，则处理进入到S75。
在S75中，执行加工图像(电视机图像)53的合成位置的选择。具体而言，如果用户对想要配置加工图像(电视机图像)53的位置进行触摸，则被触摸的位置坐标的信息从触摸面板控制部31送到微型计算机20。微型计算机20基于所触摸的位置坐标来计算合成位置坐标，并保存于RAM39中。如果选择合成位置，则处理进入到S76。
在S76中，执行基准对象63的辨别。具体而言，通过微型计算机20判断在拍摄图像内是否显示出基准对象63。在判断为基准对象63被显示出的情况下，处理进入到S77。
在S77中，执行合成倍率的计算。具体而言，微型计算机20基于基准对象63的实际的尺寸大小与显示画面内的尺寸大小的比率来计算加工图像(电视机图像)53的显示尺寸大小。而且，基于所计算出的合成内率来执行加工图像(电视机图像)53的放大缩小等图像处理(S78)，执行对拍摄图像(起居室图像)51的合成(S79)，生成显示数据。显示数据被记录于RAM39中。之后，在S80中，所生成的显示数据被显示于显示部12中。
另一方面，在S76中，在没有辨别到基准对象63的情况下，不执行合成倍率的计算等而处理进入到S80，直接显示拍摄图像(起居室图像)51。
在利用标记的情况下，必需预先准备标记以及预先保持尺寸大小信息。如本实施方式那样，用户通过将基准对象设为选择项，并输入其尺寸大小信息，从而不需要准备标记以及尺寸大小信息。
<实施方式3>
在实施方式1和2中，采用标记50、基准对象63算出了对加工图像(电视机图像)53进行合成的位置、显示尺寸大小。本实施方式涉及的电子设备采用可立体拍摄的照相机来算出合成位置、显示尺寸大小。
图21是表示可立体拍摄的立体照相机70的概略图。立体照相机70具备：主体73、第1镜筒71和第2镜筒72。第1镜筒71和第2镜筒72在水平方向上并列地配置。由于在由第1镜筒71拍摄到的图像与由第2镜筒72拍摄到的图像之间产生视差，因此通过采用该视差信息能够算出所拍摄到的图像的进深等。
图22是表示实施方式3中的处理的流程的流程图。
在此所说明的处理为与图8所示的流程图的S13“各种处理”相关的处理。在图8所示的流程图的S12中判断为有用户所进行的触摸，则处理进入到S81。在S81中，用户执行立体图像拍摄。在由两个镜筒所拍摄到的两个图像之间产生视差。之后，微型计算机20采用视差信息来作成深度图(S82)。深度图是指，与拍摄图像内的各个位置处的进深尺寸大小相关的信息。
接下来，用户对想要配置产品的位置进行触摸。微型计算机20基于所触摸的位置坐标和深度图来算出合成产品的位置(S83)。之后，执行记录图像处理(S84)、与拍摄图像的合成(S85)、拍摄图像的显示(S86)。这些处理为与在实施方式1、2中说明过的处理同样的处理，因此省略再次的说明。
图23表示由立体照相机70所拍摄到的拍摄图像。拍摄图像为对从用户的家的入门处到起居室为止的走廊进行了拍摄的图像。例如在用户购买了家具81的情况下，在家具81比家的走廊或门口的宽度还宽时，可能无法将其搬入到起居室。通过本实施方式，用户能够执行是否能将所购买的家具81搬入到房间中的仿真。具体而言，用户通过用手指操作家具81来进行家具搬入的仿真。用户用手指触摸家具81，并沿着走廊的深处的方向用手指进行滑动，从而能够搬动家具81。由于预先作成拍摄图像的深度图，因此基于深度图的信息，按照家具81的大小随着家具81向走廊的深处的方向行进而变小的方式执行图像处理。此外，用户按照使手指在家具81上进行旋转的方式来滑动，从而能够一边旋转家具81一边改变方向。用户通过一边执行这种操作一边将家具81搬动到走廊的深处，从而能够进行是否能顺利地搬入家具的仿真。
另外，在检测到用户的旋转操作的情况下，微型计算机20推定为例如在该旋转操作的旋转中心存在旋转轴。而且，参照深度图来确定该旋转轴在哪个方向上延伸。根据深度图能够确定旋转轴是沿着进深方向延伸还是沿着某进深位置在左右方向上延伸。如果能够确定旋转轴，则微型计算机20只要按照沿着该旋转轴使家具81旋转的方式计算合成位置、合成倍率、合成角度即可。
图24是表示进行家具搬入的仿真时的处理的流程的流程图。
在此所说明的处理为与图8所示的流程图的S103“各种处理”相关的处理。如果在图8所示的流程图的S12中判断为有用户所进行的触摸，则处理进入到S91。在S91中，检测触摸位置的变化。具体而言，与用户的手指的触摸相关的信息从触摸面板控制部31送到微型计算机20。之后，处理进入到S92。
在S92中，执行与用户的触摸位置的变化相应的图像处理。具体而言，执行家具81的合成位置、显示倍率的重新计算。在用户的触摸位置的变化为沿着走廊的深处的方向变化的情况下，由于家具81朝向深处的方向搬动，因此按照家具81的显示尺寸大小变小的方式执行图像处理，此外在用户的触摸位置的变化为横方向的情况下，由于家具81的位置在横向上挪动，因此重新计算家具81的合成位置。接下来，处理进入到S93。
在S93中，检测触摸位置的变化是否为旋转变化。具体而言，与用户的手指的触摸相关的信息从触摸面板控制部31送到微型计算机20。在用户的触摸位置的变化为旋转变化的情况下(S93中“是”)，处理进入到S95。
在S95中，基于用户的触摸位置的旋转变化的变化量，重新计算使家具81合成显示时的合成角度。在计算了合成角度之后，基于该角度在拍摄图像上合成家具81(S96)。之后，合成图像被显示于显示部12(S97)，处理结束。
另一方面，在S93中没有检测到触摸位置的旋转变化的情况下(S93中“否”)，处理进入到S94。在S94中，判定家具81的合成位置是否处于规定值内。在拍摄图像中显示出墙壁或天花板等。家具81会从墙壁或天花板擦过，则没有作为家具搬入的仿真的意义。因此，在家具81与墙壁或天花板接触了的情况下，电子设备10向用户提示振动等的触觉。由此，用户能够辨别到无法将家具81进一步搬动。在本实施方式中，上述的规定值表示对能自由地搬动家具81的范围进行规定的值。具体而言，通过算出无法显示墙壁或天花板的区域的坐标，从而能够算出能搬动家具81的范围。
在S93中，如果由微型计算机20判断为家具81的位置处于规定值内的情况下，处理依次进入到S96、S97。另一方面，如果由微型计算机20判断为家具81的位置处于规定值外的情况下，处理进入到S98。在S98中，家具81的位置处于规定值外这样的信息从微型计算机20被送到振动控制部33。振动控制部33基于所送来的信息而使振动部13振动。通过该振动传递到用户的手指，从而用户能够辨别到家具81与墙壁或天花板碰撞。
通过反复进行上述那样的处理，从而用户能够进行是否能将预定购买的家具81搬入到起居室等的期望的房间的仿真。
<实施方式4>
本实施方式涉及的电子设备，在通过采用数码照相机的自动聚焦功能(以下有时简称为AF。)来算出拍摄图像内的进深信息这一点上，与上述实施方式不同。
图25是表示数码照相机91与基准对象(电视机)92之间的被摄体距离的图。数码照相机91具备未图示的AF镜头。如图所示那样，通过检测数码照相机91的焦点对准的位置，从而能够算出从数码照相机91到基准对象(电视机)92为止的距离。通过采用该距离，能算出拍摄图像内的深度图。通过采用该深度图，能够算出对预定购买的电视机等进行配置的位置。
图26是表示采用AF功能并采用深度图时的处理的流程的流程图。
如果数码照相机91的电源被接通，则在S101中按照AF镜头的焦点距离处于无限远的方式移动AF镜头。之后，在S102中，开始数码照相机91的拍摄。如果开始拍摄，则在S103中根据由数码照相机91所摄像到的图像的对比度来判别合焦位置。与合焦位置相关的信息被送到微型计算机20，微型计算机20基于与合焦位置相关的信息来作成深度图。如果拍摄结束，则在S104中AF镜头向极近侧移动。之后，在S105中判定AF镜头是否位于最近侧。在AF镜头位于最近位置的情况下(S105中“是”)，处理结束。在AF镜头没有处于最近位置的情况下(S105中“否”)，处理返回到S102，并再次执行合焦位置检测。
<实施方式5>
在上述的任何实施方式中都采用拍摄了室内的拍摄图像进行说明。拍摄图像并不限于此。例如如图27所示那样，也可为屋外的图像。例如在家111的周边设置室外灯112的情况下，也可将拍到家111的拍摄图像获取到电子设备中，并合成室外灯112。如上述的实施方式所述那样，通过自由地变更室外灯112的位置，从而能够仿真由室外灯112的光所形成的家的阴影以什么样的位置或形状出现。
<实施方式的总结>
如上述那样，电子设备10具备显示部12、触摸面板11和微型计算机20(控制电路的一例)。显示部12能显示拍摄图像以及产品图像。触摸面板11受理用户的触摸操作。微型计算机20基于拍摄图像内的基准对象的位置以及大小来算出产品图像的显示位置以及显示尺寸，通过在上述拍摄图像内合成上述产品图像来生成合成图像，使上述合成图像显示至上述显示部。此外，微型计算机20根据用户对触摸面板的触摸操作而对所合成的产品图像的显示位置以及显示尺寸进行编辑。
通过这种结构，用户能够容易地进行合成图像内的产品图像的合成位置的变更。
此外，电子设备10具备根据用户的操作而向用户提供触觉信息的振动部13(触觉提示部)。
通过这种结构，用户能够辨别自身执行了什么样的操作。
此外，基准对象也可为包括与产品图像已建立关联的标记信息在内的标记。而且，电子设备10还可以具备保存有标记信息和包括产品图像在内的产品图像信息的存储部。
通过这种结构，电子设备10能够使产品图像(例如电视机)显示于拍摄图像(例如起居室)内的配置有标记的位置。因此，用户能够确认预定购买的电视机和起居室的协调。
此外，在标记信息中也可包含标记的实际尺寸信息，在产品图像信息中也可包含产品图像的实际尺寸信息。而且，微型计算机20也可基于在显示部12中所显示出的标记50的显示尺寸和标记50的实际尺寸来算出合成比率，并基于合成比率和产品图像的实际尺寸信息来算出产品图像的显示位置以及显示尺寸。
通过这种结构，由于能够使产品图像(例如电视机)的大小与拍摄图像(例如起居室)的大小相匹配，因此能够使产品图像(例如电视机)无不协调感觉地显示于拍摄图像(例如起居室)内。因此，用户能够确认预定购买的电视机与起居室的协调。
此外，微型计算机20也可基于标记50的显示位置以及显示尺寸来算出拍摄图像内的对象的显示位置以及显示尺寸。
拍摄图像内的对象例如为在起居室中预先配置的家具或墙壁等。
通过这种结构，例如能够算出在起居室中预先配置的家具的位置、大小，此外能够算出起居室的宽度、进深等。
此外，也可在基于用户的触摸操作而变更了产品图像的显示位置的情况下，微型计算机20进行控制以使振动部基于与产品图像的显示位置相关的显示位置坐标是否超过了阈值的情况而向用户提示触觉。
此外，也可根据与拍摄图像内的对象的显示位置相关的显示位置坐标来算出阈值。而且，微型计算机20也可进行控制以使上述触觉提示部在产品图像的显示位置坐标超过了阈值的情况下向用户提示触觉。
通过这种结构，用户能够通过振动得知例如电视机等产品图像从电视机座露出时、或与墙壁等碰撞的情况。
此外，基准对象也可为拍摄图像内所包括的至少一个对象。而且，还可以具备保存有作为与基准对象相关的信息的基准对象信息和包括产品图像在内的产品图像信息的存储部。
通过这种结构，即使不采用标记50，也能以在拍摄图像内包含的对象为基准来算出产品图像的大小、位置。
此外，电子设备10也可还具备：受理部，其受理基准对象的实际尺寸数据的输入；和存储部，其保存有被受理的基准对象的实际尺寸数据和包括产品图像在内的产品图像信息。
通过这种结构，能够采用所输入的数据来算出产品图像的大小、位置。
此外，在基准对象信息中也可包含基准对象的实际尺寸信息。在产品图像信息中也可包含产品图像的实际尺寸信息。而且，微型计算机20也可基于在显示部中所显示出的基准对象的显示尺寸和基准对象的实际尺寸来算出合成比率，并基于合成比率和产品图像的实际尺寸信息来算出产品图像的显示位置以及显示尺寸。
通过这种结构，能够采用基准对象来算出产品图像的显示尺寸。
此外，微型计算机20也可基于基准对象的显示位置以及显示尺寸来算出拍摄图像内的其他对象的显示位置以及显示尺寸。
此外，也可在基于用户的触摸操作而变更了产品图像的显示位置的情况下，微型计算机20进行控制以使振动部基于与产品图像的显示位置相关的显示位置坐标是否超过了阈值的情况而向用户提示触觉。
此外，振动部也可根据产品图像的显示尺寸的变更而向用户提示触觉。
此外，也可在产品图像信息中包括产品的重量信息，振动部基于产品的重量信息而使振动模式变化
此外，拍摄图像也可为通过能立体拍摄的立体照相机所拍摄到的、由左眼用图像以及右眼用图像构成的图像。而且，也可在存储部中保存有根据左眼用图像内的基准对象和右眼用图像内的上述基准对象而算出的视差信息。而且，微型计算机20也可基于视差信息来算出基准对象的显示位置。
此外，拍摄图像也可为通过能对包括基准对象在内的被摄体的合焦位置自动地检测的摄像装置所拍摄到的图像。而且，在存储部中也可保存有基于基准对象的合焦位置而算出的、从摄像装置到上述基准对象为止的距离信息。而且，微型计算机20也可基于距离信息来算出基准对象的显示位置。
(其他实施方式)
作为实施方式而例示了实施方式1～5，但本申请发明不限于此。因此，以下总结性说明本申请发明的其他实施方式。
报知部不限于振动部13。例如，报知部也可为通过声音让用户得知信息的扬声器。此外，报知部也可为通过光让用户得知信息的结构。这种结构能够通过例如显示控制部32控制显示部12来实现。此外，报知部也可为采用热或电冲击让用户得知信息的结构。
在实施方式1～5中，采用平板型的信息终端设备作为电子设备的一例进行了说明，但电子设备并不限于此。例如也可为便携式电话、PDA、游戏机、汽车导航仪、ATM等具备触摸面板的电子设备。
在实施方式1～5中，作为触摸面板而例示了覆盖显示部12的显示面整个面的面板，但并不限于此。例如，也可处于只在显示面的中央部具有触摸面板功能，周边部具有触摸面板功能的部分没有被覆盖的状态。总之，只要为至少覆盖显示部的输入操作区域的面板即可。
产业上的利用可能性
本发明对于例如用户能进行触摸操作的电子设备是有用的。
符号说明
10 电子设备
11 触摸面板
12 显示部
13 振动部
14 框体
15 照相机
16 加速度传感器
17 扬声器
18 隔离物
19 电路基板
20 微型计算机
21 压电元件
22 隔板

Claims (18)

1.一种电子设备，具备：
显示装置，其能显示拍摄图像以及产品图像；
触摸面板，其受理用户的操作；和
控制电路，其基于拍摄图像内的基准对象的位置以及大小来算出产品图像的显示位置以及显示尺寸，生成在上述拍摄图像上合成了上述产品图像而得到的合成图像，并使上述合成图像显示至上述显示部，并且该控制电路生成根据用户对上述触摸面板的操作而变更了上述产品图像的显示位置以及显示尺寸的合成图像。
2.根据权利要求1所述的电子设备，其中，
上述电子设备还具备触觉提示部，该触觉提示部根据用户的操作而向用户提供触觉信息。
3.根据权利要求1或2所述的电子设备，其中，
上述基准对象为包括与上述产品图像已建立关联的标记信息在内的标记，
上述电子设备还具备存储部，该存储部保存有上述标记信息和包括上述产品图像在内的产品图像信息。
4.根据权利要求3所述的电子设备，其中，
在上述标记信息中包含上述标记的实际尺寸信息，
在上述产品图像信息中包含上述产品图像的实际尺寸信息，
上述控制电路基于上述显示装置中所显示出的上述标记的显示尺寸和上述标记的实际尺寸来算出合成比率，并基于上述合成比率和上述产品图像的实际尺寸信息来算出上述产品图像的显示位置以及显示尺寸。
5.根据权利要求4所述的电子设备，其中，
上述控制电路基于上述标记的显示位置以及显示尺寸来算出上述拍摄图像内的对象的显示位置以及显示尺寸。
6.根据权利要求1～5中任一项所述的电子设备，其中，
在基于上述用户的操作而变更了上述合成图像中的上述产品图像的显示位置的情况下，上述控制电路进行控制以使上述触觉提示部基于与上述产品图像的显示位置相关的显示位置坐标是否超过了阈值的情况而向用户提示触觉。
7.根据权利要求6所述的电子设备，其中，
根据与上述拍摄图像内的对象的显示位置相关的显示位置坐标来算出上述阈值，
上述控制电路进行控制以使上述触觉提示部在上述产品图像的显示位置坐标超过了上述阈值的情况下向用户提示触觉。
8.根据权利要求1所述的电子设备，其中，
上述基准对象为上述拍摄图像内所包含的至少一个对象，
上述电子设备还具备存储部，该存储部保存有作为与上述基准对象相关的信息的基准对象信息和包括上述产品图像在内的产品图像信息。
9.根据权利要求1所述的电子设备，其中，
上述基准对象为上述拍摄图像内所包含的至少一个对象，
上述电子设备还具备：
界面，其受理上述基准对象的实际尺寸数据的输入；和
存储部，其保存有上述被受理的上述基准对象的实际尺寸数据和包括上述产品图像在内的产品图像信息。
10.根据权利要求8或9所述的电子设备，其中，
在上述基准对象信息中包含上述基准对象的实际尺寸信息，
在上述产品图像信息中包含上述产品图像的实际尺寸信息，
上述控制电路基于上述显示装置中所显示出的上述基准对象的显示尺寸和上述基准对象的实际尺寸来算出合成比率，并基于上述合成比率和上述产品图像的实际尺寸信息来算出上述产品图像的显示位置以及显示尺寸。
11.根据权利要求8～10中任一项所述的电子设备，其中，
上述控制电路基于上述基准对象的显示位置以及显示尺寸来算出上述拍摄图像内的其他对象的显示位置以及显示尺寸。
12.根据权利要求8～11中任一项所述的电子设备，其中，
在基于上述用户的操作而变更了上述合成图像内的上述产品图像的显示位置的情况下，上述控制电路进行控制以使上述触觉提示部基于与上述产品图像的显示位置相关的显示位置坐标是否超过了阈值的情况而向用户提示触觉。
13.根据权利要求1～12中任一项所述的电子设备，其中，
上述触觉提示部根据上述产品图像的显示尺寸的变更而向用户提示触觉。
14.根据权利要求3～13中任一项所述的电子设备，其中，
在上述产品图像信息中包含产品的重量信息，
上述触觉提示部基于上述产品的重量信息而使向用户提示的触觉变化。
15.根据权利要求1所述的电子设备，其中，
上述拍摄图像为通过能立体拍摄的立体照相机所拍摄到的、由左眼用图像以及右眼用图像构成的图像，
在上述存储部中保存有根据上述左眼用图像内的上述基准对象和上述右眼用图像内的上述基准对象而算出的视差信息，
上述控制电路基于上述视差信息来算出基准对象的显示位置。
16.根据权利要求1所述的电子设备，其中，
上述拍摄图像为通过能对包括上述基准对象在内的被摄体的合焦位置进行检测的摄像装置所拍摄到的图像，
在上述存储部中保存有基于上述基准对象的合焦位置而算出的、从上述摄像装置到上述基准对象为止的距离信息，
上述控制电路基于上述距离信息来算出上述基准对象的显示位置。
17.一种合成图像的编辑方法，包含：
基于拍摄图像内的基准对象的位置以及大小来算出产品图像的显示位置以及显示尺寸的步骤；
通过在上述拍摄图像内合成上述产品图像来生成合成图像的步骤；
使上述合成图像显示于显示装置中的步骤；和
根据用户对触摸面板的操作来变更上述被合成的产品图像的显示位置以及显示尺寸的步骤。
18.根据权利要求17所述的合成图像的编辑方法，其中，
上述方法还包含基于用户的上述操作而向用户提供触觉的触觉步骤。
CN2012800021878A 2011-05-26 2012-05-25 电子设备以及合成图像的编辑方法 Pending CN103026328A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-117596 2011-05-26
JP2011117596 2011-05-26
PCT/JP2012/003436 WO2012160833A1 (ja) 2011-05-26 2012-05-25 電子機器および合成画像の編集方法

Publications (1)

Publication Number Publication Date
CN103026328A true CN103026328A (zh) 2013-04-03

Family

ID=47216923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800021878A Pending CN103026328A (zh) 2011-05-26 2012-05-25 电子设备以及合成图像的编辑方法

Country Status (4)

Country Link
US (1) US20140082491A1 (zh)
JP (1) JP5971632B2 (zh)
CN (1) CN103026328A (zh)
WO (1) WO2012160833A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084374A1 (ja) * 2012-11-30 2014-06-05 日本電気株式会社 通信システム、通信方法、通信装置、プログラム、及び記録媒体
CN108415701A (zh) * 2017-02-10 2018-08-17 欧姆龙株式会社 信息处理装置与系统、以及用户界面制作方法与制作程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6352918B2 (ja) * 2013-08-01 2018-07-04 株式会社ニコン 電子機器、および電子機器の制御プログラム
JP2016149022A (ja) * 2015-02-12 2016-08-18 株式会社キヌガワ京都 販売支援プログラム及び販売支援装置
PL3131064T3 (pl) * 2015-08-13 2018-03-30 Nokia Technologies Oy Wyszukiwanie zawartości obrazu
US10706457B2 (en) * 2015-11-06 2020-07-07 Fujifilm North America Corporation Method, system, and medium for virtual wall art
JP6323729B2 (ja) 2016-04-25 2018-05-16 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
WO2018101508A1 (ko) * 2016-11-30 2018-06-07 엘지전자 주식회사 이동 단말기
US10691418B1 (en) * 2019-01-22 2020-06-23 Sap Se Process modeling on small resource constraint devices
JP7446512B1 (ja) 2023-08-08 2024-03-08 株式会社ノジマ 顧客情報管理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
JP2005295163A (ja) * 2004-03-31 2005-10-20 Omron Entertainment Kk 写真プリント装置、写真プリント装置の制御方法、プログラム、および、プログラムを記録した記録媒体
US20070262970A1 (en) * 2006-05-12 2007-11-15 Denso Corporation Input operation system
JP2008191751A (ja) * 2007-02-01 2008-08-21 Dainippon Printing Co Ltd 配置シミュレーションシステム
JP2010287174A (ja) * 2009-06-15 2010-12-24 Dainippon Printing Co Ltd 家具シミュレーション方法、装置、プログラム、記録媒体
CN101964869A (zh) * 2009-07-23 2011-02-02 华晶科技股份有限公司 全景图像的引导拍摄方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
AU6318100A (en) * 1999-08-03 2001-02-19 Kenichi Ninomiya Design support system, design support method, and medium storing design support program
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
JP2006244329A (ja) * 2005-03-07 2006-09-14 Hitachi Ltd 携帯端末および情報処理装置、システム
KR20080078084A (ko) * 2006-12-28 2008-08-27 삼성전자주식회사 사이버 쇼핑몰 운영 장치와, 그를 이용한 운영 시스템 및운영 방법
JP2008299474A (ja) * 2007-05-30 2008-12-11 Sony Corp 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム
JP2011511351A (ja) * 2008-02-01 2011-04-07 イノベーション スタジオ ピーティーワイ リミテッド 商品のオンライン選択方法およびこの方法を用いたオンライン・ショッピング・システム
CN102308276B (zh) * 2008-12-03 2014-12-17 轩江 利用某些视觉效果来显示对象
US8411086B2 (en) * 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US8539382B2 (en) * 2009-04-03 2013-09-17 Palm, Inc. Preventing unintentional activation and/or input in an electronic device
JP5269745B2 (ja) * 2009-10-30 2013-08-21 任天堂株式会社 オブジェクト制御プログラム、オブジェクト制御装置、オブジェクト制御システム及びオブジェクト制御方法
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9129404B1 (en) * 2012-09-13 2015-09-08 Amazon Technologies, Inc. Measuring physical objects and presenting virtual articles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
JP2005295163A (ja) * 2004-03-31 2005-10-20 Omron Entertainment Kk 写真プリント装置、写真プリント装置の制御方法、プログラム、および、プログラムを記録した記録媒体
US20070262970A1 (en) * 2006-05-12 2007-11-15 Denso Corporation Input operation system
JP2008191751A (ja) * 2007-02-01 2008-08-21 Dainippon Printing Co Ltd 配置シミュレーションシステム
JP2010287174A (ja) * 2009-06-15 2010-12-24 Dainippon Printing Co Ltd 家具シミュレーション方法、装置、プログラム、記録媒体
CN101964869A (zh) * 2009-07-23 2011-02-02 华晶科技股份有限公司 全景图像的引导拍摄方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084374A1 (ja) * 2012-11-30 2014-06-05 日本電気株式会社 通信システム、通信方法、通信装置、プログラム、及び記録媒体
CN108415701A (zh) * 2017-02-10 2018-08-17 欧姆龙株式会社 信息处理装置与系统、以及用户界面制作方法与制作程序
CN108415701B (zh) * 2017-02-10 2021-06-18 欧姆龙株式会社 信息处理装置与系统、以及用户界面制作方法与存储介质

Also Published As

Publication number Publication date
JP5971632B2 (ja) 2016-08-17
US20140082491A1 (en) 2014-03-20
JPWO2012160833A1 (ja) 2014-07-31
WO2012160833A1 (ja) 2012-11-29

Similar Documents

Publication Publication Date Title
CN103026328A (zh) 电子设备以及合成图像的编辑方法
CN105373274B (zh) 触摸面板及其操作方法
CN103197833B (zh) 在图像显示设备中对应用布局进行缩放的装置和方法
US11119575B2 (en) Gesture based user interface supporting preexisting symbols
US7173604B2 (en) Gesture identification of controlled devices
US7365737B2 (en) Non-uniform gesture precision
US9594945B2 (en) Method and apparatus for protecting eyesight
US7301527B2 (en) Feedback based user interface for motion controlled handheld devices
US7903084B2 (en) Selective engagement of motion input modes
US7176886B2 (en) Spatial signatures
US7280096B2 (en) Motion sensor engagement for a handheld device
US7301528B2 (en) Distinguishing tilt and translation motion components in handheld devices
US7301526B2 (en) Dynamic adaptation of gestures for motion controlled handheld devices
US7990365B2 (en) Motion controlled remote controller
US7176888B2 (en) Selective engagement of motion detection
US7301529B2 (en) Context dependent gesture response
US7180500B2 (en) User definable gestures for motion controlled handheld devices
US20050212759A1 (en) Environmental modeling for motion controlled handheld devices
US20050212758A1 (en) Handheld device with preferred motion selection
US20050212766A1 (en) Translation controlled cursor
CN105357585A (zh) 对视频内容任意位置和时间播放的方法及装置
KR102083597B1 (ko) 이동단말기 및 그 제어방법
CN103889522A (zh) 电子设备
CN104914987A (zh) 用于触觉启用的投影用户界面的系统和方法
KR20120091985A (ko) 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면 변경방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130403

WD01 Invention patent application deemed withdrawn after publication