CN104718742B - 显示装置和显示方法 - Google Patents

显示装置和显示方法 Download PDF

Info

Publication number
CN104718742B
CN104718742B CN201480002183.9A CN201480002183A CN104718742B CN 104718742 B CN104718742 B CN 104718742B CN 201480002183 A CN201480002183 A CN 201480002183A CN 104718742 B CN104718742 B CN 104718742B
Authority
CN
China
Prior art keywords
image
subject
display
view data
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480002183.9A
Other languages
English (en)
Other versions
CN104718742A (zh
Inventor
野中修
山口麻衣
植村有为子
上村友美
山本纱知惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aozhixin Digital Technology Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104718742A publication Critical patent/CN104718742A/zh
Application granted granted Critical
Publication of CN104718742B publication Critical patent/CN104718742B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/04—Bodies collapsible, foldable or extensible, e.g. book type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/002—Details of arrangement of components in or on camera body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/18—Signals indicating condition of a camera member or suitability of light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

能够以自然的表情进行拍摄的显示装置、图像生成装置、显示方法和程序。摄像装置(1)具有对被摄体进行摄像并生成该被摄体的图像数据的摄像部(10)、能够显示与摄像部(10)生成的图像数据对应的图像的显示部(31)、以及在利用摄像部(10)拍摄被摄体时使显示部显示至少变更了被摄体的视线的样本图像的显示控制部(156)，摄像部(10)的摄像方向和显示部(31)的显示方向一致。

Description

显示装置和显示方法
技术领域
本发明涉及显示与图像数据对应的图像或与拍摄有关的拍摄建议的显示装置、生成与拍摄有关的拍摄建议的相关图像的图像生成装置、显示与拍摄有关的拍摄建议的显示方法和程序。
背景技术
近年来，在数字照相机等摄像装置中，公知有能够使显示图像的显示监视器相对于生成图像数据的主体从拍摄者侧旋转到被摄体侧的技术(参照专利文献1)。在该技术中，通过使显示监视器从拍摄者侧旋转到被摄体侧，能够进行将拍摄者自身作为被摄体进行拍摄的自拍。
现有技术文献
专利文献
专利文献1：日本特开2013-175802号公报
发明内容
发明要解决的课题
但是，在上述专利文献1所记载的技术中，在自拍时，拍摄者面对镜头或显示监视器无意识地凝视或瞪眼，容易以用户不期望的表情进行拍摄。
本发明是鉴于上述情况而完成的，其目的在于，提供能够以期望表情进行拍摄的显示装置、图像生成装置、显示方法和程序。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的显示装置的特征在于，该显示装置具有：摄像部，其对被摄体进行摄像，生成该被摄体的图像数据；显示部，其能够显示与所述摄像部生成的所述图像数据对应的图像；以及显示控制部，其在利用所述摄像部拍摄所述被摄体时，使所述显示部显示至少变更了所述被摄体的视线的样本图像，所述摄像部的摄像方向和所述显示部的显示方向一致。
并且，本发明的显示装置的特征在于，在上述发明中，所述样本图像是将观看正面的视线的被摄体图像变更为正面以外的视线而得到的被摄体图像。
并且，本发明的显示装置的特征在于，在上述发明中，所述显示装置具有：面部检测部，其检测与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的面部；瞳检测部，其分别检测由所述面部检测部检测到的所述面部中的眼睛的巩膜区域和眼睛的瞳区域；以及瞳变更图像生成部，其根据所述瞳检测部检测到的检测结果，生成对所述巩膜区域内的所述瞳区域的位置进行了变更的瞳变更图像数据，所述显示控制部使所述显示部显示与所述瞳变更图像生成部生成的所述瞳变更图像数据对应的瞳变更图像作为所述样本图像。
并且，本发明的显示装置的特征在于，在上述发明中，所述显示装置还具有要素位置变更图像生成部，该要素位置变更图像生成部如下生成所述被摄体的要素变更图像数据，即，使构成所述面部检测部检测到的所述面部的各要素朝向由所述瞳变更图像生成部变更的所述巩膜区域内的所述瞳区域的配置方向移动，来生成所述被摄体的要素变更图像数据，所述显示控制部使所述显示部显示与所述要素位置变更图像生成部生成的所述要素变更图像数据对应的要素变更图像作为所述样本图像。
并且，本发明的显示装置的特征在于，在上述发明中，所述显示装置还具有要素位置变更图像生成部，该要素位置变更图像生成部如下生成所述被摄体的要素变更图像数据，即，根据预先设定的该显示装置与所述被摄体的距离对构成所述面部检测部检测到的所述面部的各要素进行缩小或放大，来生成所述被摄体的要素变更图像数据，所述显示控制部使所述显示部显示与所述要素位置变更图像生成部生成的所述要素变更图像数据对应的要素变更图像作为所述样本图像。
并且，本发明的显示装置的特征在于，在上述发明中，所述显示装置还具有：输入部，其受理用于选择所述显示部显示的多个所述样本图像中的任意一方的指示信号的输入；构图判定部，其判定根据所述输入部受理输入的所述指示信号而选择出的样本图像内的所述被摄体的构图和与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的构图是否一致；以及拍摄控制部，其在所述构图判定部判定为所述样本图像内的所述被摄体的构图和所述图像内的所述被摄体的构图一致的情况下，使所述摄像部进行拍摄。
并且，本发明的显示装置的特征在于，在上述发明中，所述显示装置具有：构图判定部，其判定所述样本图像中的所述被摄体的构图和与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的构图是否一致；以及拍摄控制部，其在所述构图判定部判定为所述样本图像内的所述被摄体的构图和与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的构图一致的情况下，使所述摄像部进行拍摄。
并且，本发明的显示装置的特征在于，在上述发明中，所述显示部具有显示区域，该显示区域设置成能够相对于该显示装置的主体部从该显示装置的背面侧朝向该显示装置的前面侧转动，显示与所述图像数据对应的图像，在所述显示部转动到所述前面侧而使所述显示区域朝向所述前面侧的情况下，所述显示控制部使所述显示部显示所述样本图像。
并且，本发明的图像生成装置能够与对被摄体进行摄像而生成该被摄体的图像数据的外部设备双向通信，其特征在于，该图像生成装置具有：面部检测部，其检测与从所述外部设备发送的所述图像数据对应的图像内的所述被摄体的面部；瞳检测部，其分别检测由所述面部检测部检测到的所述面部的巩膜区域和瞳区域；瞳变更图像生成部，其根据所述瞳检测部检测到的检测结果，生成对所述被摄体的瞳区域的位置进行了变更的瞳变更图像数据；输出部，其在所述外部设备拍摄所述被摄体时，将与所述瞳变更图像生成部生成的所述瞳变更图像数据对应的瞳变更图像输出到所述外部设备。
并且，本发明的显示方法由显示装置执行，该显示装置具有对被摄体进行摄像而生成该被摄体的图像数据的摄像部、以及能够显示与所述摄像部生成的所述图像数据对应的图像的显示部，所述摄像部的摄像方向和所述显示部的显示方向一致，其特征在于，所述显示方法包括显示步骤，在该显示步骤中，在所述摄像部拍摄所述被摄体时，使所述显示部显示至少变更了所述被摄体的视线的样本图像。
并且，本发明的显示方法的特征在于，在上述发明中，所述样本图像是将观看正面的视线的被摄体图像变更为正面以外的视线而得到的被摄体图像。
并且，本发明的程序的特征在于，该程序包括显示步骤，显示装置具有对被摄体进行摄像并生成该被摄体的图像数据的摄像部、以及能够显示与所述摄像部生成的所述图像数据对应的图像的显示部，所述摄像部的摄像方向和所述显示部的显示方向一致，在所述显示装置中，在所述摄像部拍摄所述被摄体时，使所述显示部显示至少变更了所述被摄体的视线的样本图像。
并且，本发明的程序的特征在于，在上述发明中，所述样本图像是将观看正面的视线的被摄体图像变更为正面以外的视线的被摄体图像。
发明效果
根据本发明，发挥在拍摄时能够以期望表情进行拍摄的效果。
附图说明
图1是示出本发明的实施方式1的摄像装置的面向拍摄者的一侧的结构的立体图。
图2是示出本发明的实施方式1的摄像装置的面向被摄体的一侧的结构的立体图。
图3是示出本发明的实施方式1的摄像装置的功能结构的框图。
图4是示出本发明的实施方式1的摄像装置执行的处理的概要的流程图。
图5是示出本发明的实施方式1的摄像装置设定为自拍模式时的状况的图。
图6是示意地示出本发明的实施方式1的摄像装置的瞳变更图像生成部生成的被摄体的样本图像的生成方法的概要的图。
图7是示出本发明的实施方式1的摄像装置的显示部显示的图像的一例的图。
图8是示出本发明的实施方式2的摄像装置的功能结构的框图。
图9是示出本发明的实施方式2的摄像装置执行的处理的概要的流程图。
图10是示意地说明本发明的实施方式2的摄像装置的要素位置变更图像生成部生成的样本图像的生成方法的概要的图。
图11是示出图9的面部要素变更图像生成处理的概要的流程图。
图12是说明本发明的实施方式2的摄像装置的要素位置变更图像生成部生成的样本图像的生成方法的图。
图13是示意地说明本发明的实施方式2的摄像装置的要素位置变更图像生成部使被摄体的面部的各要素移动的移动方法的概要的图。
图14是示意地说明本发明的实施方式2的摄像装置的要素位置变更图像生成部使被摄体的鼻子移动的移动方法的概要的图。
图15是示出本发明的实施方式2的摄像装置的显示部显示的图像的一例的图。
图16是示出本发明的实施方式3的显示系统的功能结构的框图。
图17是示出本发明的实施方式3的摄像装置执行的处理的概要的流程图。
图18是示出在本发明的实施方式3的摄像装置中请求图像生成装置进行模拟时的状况的图。
图19是示出本发明的实施方式3的摄像装置的显示部显示的图像的一例的图。
图20是示出本发明的实施方式3的图像生成装置执行的处理的概要的流程图。
图21是示意地示出本发明的实施方式3的摄像装置的自拍模式时的摄像装置和被摄体的关系的图。
图22是示意地示出图21所示的状况下的摄像装置的视场角和被摄体的关系的图。
图23是示出与图21所示的状况下由摄像装置生成的图像数据对应的图像的一例的图。
具体实施方式
下面，参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。并且，下面，以搭载了显示装置的摄像装置为例进行说明。另外，本发明不由以下实施方式限定。并且，在附图的记载中，对相同部分标注相同标号进行说明。
(实施方式1)
图1是示出本发明的摄像装置的面向拍摄者的一侧(背面侧)的结构的立体图。图2是示出本发明的摄像装置的面向被摄体的一侧(前面侧)的结构的立体图。图3是示出本发明的摄像装置的功能结构的框图。另外，在图1和图2中，设摄像装置1的宽度方向为X轴、摄像装置1的高度方向为Y轴、摄像装置1的光轴L1方向为Z轴进行说明。
图1～图3所示的摄像装置1具有：主体部2，其对被摄体进行摄像，生成被摄体的图像数据；以及显示机构3，其设置成能够相对于主体部2从拍摄者侧(背面侧)朝向被摄体侧(前面侧)转动，能够显示与主体部2生成的图像数据对应的图像。
首先，对主体部2的结构进行说明。主体部2具有摄像部10、输入部11、记录部12、记录介质13、旋转判定部14、控制部15。
摄像部10在控制部15的控制下，对规定视野区域进行连续摄像，生成时间上连续的多个图像数据。摄像部10使用如下部件构成：由多个镜头构成并形成被摄体像的光学系统；对光学系统的光量进行调整的光圈；通过接收光学系统形成的被摄体像并进行光电转换而生成图像数据的CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等摄像元件；将摄像元件的状态设定为曝光状态或遮光状态的快门；对摄像元件生成的图像数据进行规定的模拟处理的信号处理部；通过对从信号处理部输入的模拟图像数据进行A/D转换而生成数字图像数据并将其输出到控制部15的A/D转换部；以及产生摄像元件的摄像定时的定时发生器。
输入部11受理用于指示与摄像装置1有关的各种动作的指示信号的输入。输入部11使用将摄像装置1的电源状态切换为接通状态或断开状态的电源开关、受理用于指示摄像装置1进行拍摄的释放信号的输入的释放开关等构成。
记录部12记录经由控制部15输入的图像数据、摄像装置1的处理中的信息、用于使摄像装置1进行动作的各种程序、本实施方式1的程序以及程序的执行中使用的各种数据等。记录部12使用SDRAM(Synchronous Dynamic Random Access Memory：同步动态随机存取存储器)和闪存等构成。
记录介质13记录经由控制部15输入的图像数据。记录介质13使用从摄像装置1的外部安装的存储卡等构成，经由未图示的存储器接口以拆装自如的方式安装在摄像装置1上。记录介质13写入由后述控制部15实施了处理后的图像数据和动画数据。并且，记录介质13读出由控制部15记录的图像数据或动画数据。
旋转判定部14判定显示机构3的旋转状态并将该判定结果输出到控制部15。具体而言，旋转判定部14判定显示机构3的显示部31的显示区域是否相对于主体部2转动到前面侧而使显示部31的显示区域朝向前面侧，将该判定结果输出到控制部15。
控制部15进行与构成摄像装置1的各部对应的指示和数据的转送等，对摄像装置1的动作进行总括控制。控制部15使用CPU(Central Processing Unit)等构成。
这里，对控制部15的详细结构进行说明。控制部15具有面部检测部151、瞳检测部152、瞳变更图像生成部153、构图判定部154、摄像控制部155、显示控制部156。
面部检测部151检测与摄像部10生成的图像数据对应的图像内的被摄体的面部。具体而言，面部检测部151通过图案匹配来检测与摄像部10生成的图像数据对应的图像中包含的人物的面部。例如，面部检测部151在使用图案匹配检测到图像中的面部的位置后，通过检测眼睛、鼻子和嘴等的面部特征点的位置，检测面部的位置、面部的大小(区域)、面部的朝向、面部的角度(倾斜)和面部的表情(笑脸等)。另外，面部检测部151不仅可以检测人物的面部，还可以检测狗或猫等动物的面部。进而，面部检测部151也可以使用图案匹配以外的公知技术来检测人物的面部。
瞳检测部152检测由面部检测部151检测到的被摄体的面部的瞳。具体而言，瞳检测部152通过在对面部检测部151检测到的被摄体中的面部的眼睛(眼睛区域)进行规定处理例如灰阶(gray scale)处理后进行二值化处理，来检测瞳(瞳区域)。
瞳变更图像生成部153根据瞳检测部152检测到的检测结果，生成对被摄体的巩膜区域(白眼球区域)中的瞳区域的位置进行了变更的瞳变更图像数据。具体而言，瞳变更图像生成部153生成如下的瞳变更图像数据：对瞳检测部152检测到的瞳区域进行裁剪处理并生成瞳图像，将该瞳图像重叠在巩膜区域的规定区域例如右端部上，并且，进行利用白色或周边的巩膜区域的像素对进行裁剪处理后的瞳区域进行插值的插值处理，对被摄体的视线进行了变更。例如，在瞳检测部152检测到的被摄体的瞳的位置为正面(中央)的情况下，瞳变更图像生成部153生成映出使瞳分别左右移动而使视线相互不同的被摄体的2个瞳变更图像数据。另外，瞳变更图像生成部153也可以使用作为公知技术的变形处理，根据面部检测部151检测到的面部的各要素的轮廓和瞳检测部152检测到的瞳，生成变更了被摄体的视线的瞳变更图像数据。
构图判定部154判定由输入部11受理输入的指示信号选择出的样本图像内的被摄体的构图和与摄像部10生成的图像数据对应的图像内的被摄体的构图是否一致。具体而言，构图判定部154判定样本图像内的被摄体的各要素的特征点例如眼睛、鼻子和嘴等和图像内的被摄体的各要素的特征点的位置是否一致。另外，构图判定部154也可以仅判定被摄体的巩膜区域中的瞳的位置是否一致。
在从输入部11输入了释放信号的情况下，摄像控制部155进行开始进行摄像装置1中的拍摄动作的控制。这里，摄像装置1中的拍摄动作是指将摄像部10生成的图像数据记录在记录介质13中。并且，在从输入部11输入了指示动画拍摄的指示信号的情况下，摄像控制部155在记录介质13中生成动画文件，在该动画文件中依次记录(存储)摄像部10依次生成的图像数据。进而，在构图判定部154判定为样本图像内的被摄体的构图和与由摄像部10生成的图像数据对应的图像内的被摄体的构图一致的情况下，摄像控制部155使摄像部10进行拍摄。
显示控制部156使后述显示机构3的显示部31显示与图像数据对应的图像。在利用摄像部10拍摄被摄体时，作为拍摄建议，显示控制部156使显示机构3的显示部31显示至少变更了被摄体的视线的样本图像。这里，样本图像是将映出观看正面的视线的被摄体的被摄体图像变更为映出正面以外的视线的被摄体的被摄体图像。具体而言，显示控制部156使后述显示机构3的显示部31显示与瞳变更图像生成部153生成的变更了被摄体的瞳位置的图像数据对应的图像。
接着，对显示机构3的结构进行说明。显示机构3具有显示部31、可动部32、旋转支承部33。
显示部31在控制部15的控制下，显示与经由控制部15输入的图像数据对应的图像。这里，图像的显示包括以规定时间(例如3秒)显示刚刚拍摄之后的图像数据的记录浏览显示、对记录介质13中记录的图像数据进行再现的再现显示、以及沿着时间序列依次显示与摄像部10连续生成的图像数据对应的实时取景图像的实时取景显示等。显示部31使用由液晶或有机EL构成的显示面板和驱动器等构成。并且，显示部31适当显示摄像装置1的操作信息和与拍摄有关的信息。进而，显示部31设置成能够相对于摄像装置1的主体部2从摄像装置1的背面侧朝向摄像装置1的前面侧转动(参照图1→图2)。
可动部32设有显示部31，以能够经由铰链等旋转支承部33以主体部2的一端为中心转动的方式设置在主体部2上。具体而言，可动部32设置成能够以旋转支承部33的轴R1为中心从主体部2的背面侧朝向前面侧转动(参照图2)。
对具有以上结构的摄像装置1执行的处理进行说明。图4是示出摄像装置1执行的处理的概要的流程图。
如图4所示，首先，控制部15判断摄像装置1是否设定为自拍模式(步骤S101)。具体而言，控制部15根据从旋转判定部14输入的判定结果，判断显示部31的显示区域是否相对于主体部2而朝向前面侧(摄像部10的视野区域侧)。例如，如图5所示，在通过被摄体O1而使显示部31的显示区域朝向前面侧的情况下，控制部15判断为摄像装置1设定为自拍模式。在通过控制部15判断为摄像装置1设定为自拍模式的情况下(步骤S101：是)，摄像装置1转移到步骤S102。与此相对，在控制部15判断为摄像装置1未设定为自拍模式的情况下(步骤S101：否)，摄像装置1转移到后述步骤S119。
在步骤S102中，摄像控制部155使摄像部10执行摄像。具体而言，如图5所示，摄像控制部155使摄像部10将被摄体O1作为被摄体进行摄像。
接着，显示控制部156使显示部31显示与摄像部10生成的图像数据对应的实时取景图像(步骤S103)。该情况下，显示控制部156使与摄像部10生成的图像数据对应的实时取景图像相对于主体部2进行反转并使显示部31进行显示(反射镜反转显示)。
然后，针对被摄体(被摄体O1)，作为与进行自拍时的表情有关的拍摄建议，在摄像装置1设定为拍摄者自身能够直观掌握的视线模拟模式的情况下(步骤S104：是)，面部检测部151检测与摄像部10生成的图像数据对应的图像内的被摄体的面部(步骤S105)。
接着，在瞳检测部152针对由面部检测部151检测到的面部检测到一对瞳的情况下(步骤S106：是)，瞳变更图像生成部153针对瞳检测部152检测到的被摄体的面部的瞳区域(包含瞳孔、虹膜和角膜的区域)和巩膜区域(白眼球区域)，执行利用白色(或者，也可以是与检测到的白眼球(巩膜区域)近似的颜色，但是以下简化为白色进行说明)重叠或涂满的白色加工处理(步骤S107)，按照每个规定区域将瞳图像与巩膜区域合成，生成使被摄体的视线发生了变化的样本图像(步骤S108)。
图6是示意地示出瞳变更图像生成部153生成的被摄体的样本图像的生成方法的概要的图。
如图6所示，首先，瞳变更图像生成部153针对瞳检测部152检测到的被摄体O1的面部的一对眼睛区域AL、AR内的瞳区域(EL、ER)，执行利用白色涂满的白色加工处理(图6(a)→图6(b))。然后，瞳变更图像生成部153针对被摄体O1的巩膜区域WL、WR，生成按照每个规定区域、例如被摄体的眼睛的左右端部(内眼角或外眼角)分别合成瞳图像K1的被摄体的样本图像O2和样本图像O3(图6(b)→图6(c)和图6(b)→图6(d))。另外，在图6中，除了被摄体的眼睛的左右端部以外，瞳变更图像生成部153也可以生成在上下端部或斜方向端部进行合成的变更了被摄体的视线的样本图像。
在步骤S109中，显示控制部156使显示部31一览显示瞳变更图像生成部153生成的样本图像和实时取景图像。具体而言，如图7所示，显示控制部156使显示部31一览显示与摄像部10生成的图像数据对应的实时取景图像LV1、瞳变更图像生成部153生成的样本图像GL和样本图像GR。该情况下，显示控制部156缩小实时取景图像LV1、样本图像GL和样本图像GR并使显示部31进行一览显示。进而，显示控制部156在样本图像GL和样本图像GR的瞳朝向的视线方向上分别排列样本图像GL和样本图像GR并使显示部31进行显示。
由此，被摄体O1通过在自拍时确认显示部31中显示的图像，在使视线相对于显示部31或摄像部10偏移时，能够假想地掌握所拍摄的自己自身的表情。其结果，在进行自拍的情况下，也能够以自然的表情进行拍摄。进而，在拍摄者进行自拍的情况下，拍摄者能够一边确认画面，一边假想地掌握自己横向的状态或偏移视线的状态。
并且，显示控制部156通过使显示部31一览显示样本图像GL和样本图像GR，用户(拍摄者)能够一眼判断什么样的眼睛朝向适合于此时的场景，进行比较，能够简单地判定哪个眼睛朝向较好。当然，也可以不是一览显示，而是依次显示。该情况下，显示控制部156不需要对画面进行分割，能够在较大画面中进行确认。在以能够相互比较的方式一览显示、且希望看到较大的表情差异的情况下，存在仅切出面部的部分进行排列的方法，这种应用当然是本申请的覆盖范围。但是，在观看背景时，还能够同时进行构图确认。因此，摄像装置1可以在构图确认后进行表情模拟。当然，有时能够兼顾背景和表情而选择视线方向最佳的图像，该情况下，显示控制部156也可以采用如下方式：不在显示部31中显示多个图像，而显示“请以该方式进行拍摄”这样的单一的劝告图像(建议图像)。不仅能够自动变更视线方向，例如，当滑动触摸面板时或操作特定开关时，也可以移动视线(黑眼球)以观看该方向。此前的照相机等摄像装置只能确认凝视面板的图像，所以，这样，能够在拍摄者的操作过程中变更并确认未凝视面板(显示部31)的表情，能够进行此前不存在的“自拍”，在拍摄中发挥显著效果。即，由于将面板凝视图像转换为变更为除此以外的视线的视线图像，所以，还会发现此前未注意到的魅力表情等。
接着，在从输入部11输入了用于指示拍摄的释放信号的情况下(步骤S110：是)，摄像装置1执行拍摄(步骤S111)。
然后，在摄像装置1的电源断开的情况下(步骤S112：是)，摄像装置1结束本处理。与此相对，在摄像装置1的电源未断开的情况下(步骤S112：否)，摄像装置1返回步骤S101。
在步骤S110中，在未从输入部11输入用于指示拍摄的释放信号的情况下(步骤S110：否)，摄像装置1转移到步骤S113。
接着，在经由输入部11选择了显示部31一览显示的多个样本图像中的任意一方的情况下(步骤S113：是)，在构图判定部154判定为与由摄像部10生成的图像数据对应的实时取景图像的被摄体的构图和由输入部11选择出的样本图像的被摄体的构图一致时(步骤S114：是)，摄像控制部155使摄像部10执行拍摄(步骤S115)。由此，被摄体O1能够以期望表情进行拍摄，能够以自然的表情进行拍摄。在步骤S115之后，摄像装置1转移到步骤S112。
在步骤S113中，在未输入部11经由输入部11选择显示部31一览显示的多个样本图像中的任意一方的情况下(步骤S113：否)，摄像装置1转移到步骤S112。
在步骤S114中，在构图判定部154判定为与由摄像部10生成的图像数据对应的实时取景图像的被摄体的构图和由输入部11选择出的样本图像的被摄体的构图不一致时(步骤S114：否)，摄像装置1转移到步骤S112。
在步骤S106中，在瞳检测部152针对由面部检测部151检测到的面部未检测到一对瞳的情况下(步骤S106：否)，显示控制部156在实时取景图像上重叠警告并使显示部31进行显示(步骤S116)。
接着，在从输入部11输入了用于指示拍摄的释放信号的情况下(步骤S117：是)，摄像装置1执行拍摄(步骤S118)。在步骤S118之后，摄像装置1转移到步骤S112。与此相对，在未从输入部11输入用于指示拍摄的释放信号的情况下(步骤S117：否)，摄像装置1转移到步骤S112。
在步骤S104中，在摄像装置1未设定为视线模拟模式的情况下(步骤S104：否)，摄像装置1转移到步骤S117。
在步骤S119中，在显示部31显示与由摄像部10生成的图像数据对应的实时取景图像的情况下，在从输入部11输入了用于指示拍摄的释放信号时，摄像装置1执行进行拍摄的通常拍摄模式处理。在步骤S119之后，摄像装置1转移到步骤S112。
根据以上说明的本发明的实施方式1，由于显示控制部156使显示部31显示变更了被摄体的视线的多个样本图像，所以，在进行自拍的情况下，也能够利用面板确认并假想地掌握所拍摄的自己自身的表情。
并且，根据本发明的实施方式1，由于摄像控制部155根据构图判定部154的判定结果进行拍摄，所以，拍摄者能够以期望表情进行拍摄，能够得到自然的表情的图像。
另外，在本发明的实施方式1中，对摄像装置1设定为自拍模式的情况进行了说明，但是，例如，在通常的拍摄模式中也能够应用。该情况下，拍摄者一边确认显示部31中显示的多个样本图像，一边对被摄体进行显示建议，由此，拍摄者能够拍摄非意图的表情的被摄体。
另外，在本发明的实施方式1中，利用一个人物进行了说明，但是，如果在两个人物中应用该技术，则能够使摄像装置1提示以两人的视线交错的方式演出戏剧的拍摄。进而，脱离摄像装置1，能够提供提示两人见面的引导装置等。
(实施方式2)
接着，对本发明的实施方式2进行说明。本实施方式2的摄像装置与上述实施方式1的摄像装置1的结构不同，而且，执行的处理不同。具体而言，在上述实施方式1的摄像装置中，仅变更被摄体的瞳的位置，但是，在本实施方式2的摄像装置中，还变更被摄体的面部的各要素位置。因此，下面，在对本实施方式2的摄像装置的结构进行说明后，对本实施方式2的摄像装置执行的处理进行说明。另外，对与上述实施方式1的摄像装置1相同的结构标注相同标号并省略说明。
图8是示出本实施方式2的摄像装置的功能结构的框图。图8所示的摄像装置1a具有：主体部2a，其对被摄体进行摄像，生成被摄体的图像数据；以及显示机构3a，其设置成能够相对于主体部2a从拍摄者侧朝向被摄体侧转动，能够显示与主体部2a生成的图像数据对应的图像。
首先，对主体部2a的结构进行说明。主体部2a具有输入部11、记录部12、记录介质13、旋转判定部14、镜头部41、摄像元件42、姿势检测部43、时钟44、通信部45、控制部46。
镜头部41从规定视野区域会聚光并在摄像元件42的摄像面上形成被摄体像。镜头部41使用能够沿着光轴L1移动的变焦镜头或对焦镜头、光圈和快门等构成。
摄像元件42通过接收镜头部41形成的被摄体像并进行光电转换，生成图像数据、摄像元件42使用CCD或CMOS、信号处理部和A/D转换部等构成。另外，在本实施方式2中，镜头部41和摄像元件42作为摄像部发挥功能。
姿势检测部43使用加速度传感器和陀螺仪传感器构成，分别检测摄像装置1a中产生的加速度和角速度，将该检测结果输出到控制部46。
时钟44具有计时功能和拍摄日期时间的判定功能。时钟44将日期时间数据输出到控制部46，以对由摄像元件42进行摄像而得到的图像数据附加日期时间数据。
通信部45按照规定的无线通信规格与外部设备进行无线通信，发送或接收包含图像数据的图像文件。这里，规定的无线通信规格是IEEE802.11b和IEEE802.11n等。另外，在本实施方式2中，能够应用任意的无线通信规格。并且，通信部45使用用于经由网络与外部设备进行图像文件或内容数据等各种信息的双向通信的通信器件构成。通信器件由在与其他设备之间收发电波信号的天线、以及对天线接收到的信号进行解调处理并且对要发送的信号进行调制处理的收发电路等构成。并且，在摄像装置1a的起动时，通信部45定期发送包含用于报知其存在的识别信息(设备ID)的通信信号。另外，通信部45也可以设置在从摄像装置1a的外部安装的存储卡等记录介质中。进而，通信部45也可以设置在经由热靴安装在摄像装置1a上的配件中。
控制部46进行与构成摄像装置1a的各部对应的指示和数据的转送等，对摄像装置1a的动作进行总括控制。控制部46使用CPU等构成。
这里，对控制部46的详细结构进行说明。控制部46具有面部检测部151、瞳检测部152、瞳变更图像生成部153、构图判定部154、摄像控制部155、显示控制部156、要素位置变更图像生成部461。
要素位置变更图像生成部461生成使构成面部检测部151检测到的面部的各要素朝向由瞳变更图像生成部153变更的巩膜区域内的瞳区域的配置方向移动后的被摄体的要素变更图像数据。
接着，对显示机构3a的结构进行说明。显示机构3a具有显示部31、可动部32、旋转支承部33、触摸面板34。
触摸面板34重叠设置在显示部31的显示画面上。触摸面板34检测来自外部的物体的触摸，将与该检测到的触摸位置对应的位置信号输出到控制部46。并且，触摸面板34也可以检测用户根据显示部31中显示的信息例如图标图像或缩略图像进行触摸的位置，根据该检测到的触摸位置受理用于指示摄像装置1a进行的动作的指示信号的输入。一般情况下，作为触摸面板34，存在电阻膜方式、静电容量方式和光学方式等。在本实施方式2中，可以应用任意一种方式的触摸面板。进而，显示部31、可动部32和触摸面板34也可以一体形成。
对具有以上结构的摄像装置1a执行的处理进行说明。图9是示出摄像装置1a执行的处理的概要的流程图。
步骤S201～步骤S208分别对应于上述图4的步骤S101～步骤S108。
在步骤S209中，要素位置变更图像生成部461执行用于生成多个对被摄体的面部的要素(特征点)进行变更后的样本图像的面部要素变更图像生成处理(步骤S209)。
图10是示意地说明要素位置变更图像生成部461生成的样本图像的生成方法的概要的图。如图10所示，要素位置变更图像生成部461针对瞳变更图像生成部153对瞳的位置进行变更后的被摄体的图像(图10(a)→图10(b)→图10(c))，根据瞳朝向的方向，对面部的要素的位置进行变更(图10(d))。具体而言，如图10(d)所示，在被摄体的瞳朝向左方向(参照图10(c))的情况下，要素位置变更图像生成部461生成使面部的要素的位置向左方向移动的相似样本图像O21(图10(d))。
这里，对图9的步骤S209的面部要素变更图像生成处理进行详细说明。图11是示出面部要素变更图像生成处理的概要的流程图。图12是说明要素位置变更图像生成部461生成的样本图像的生成方法的图。
如图11所示，首先，要素位置变更图像生成部461根据由瞳变更图像生成部153变更后的被摄体的瞳的配置位置，设定面部区域A(步骤S301)。
接着，要素位置变更图像生成部461根据面部区域A设定包含被摄体的鼻子的面部区域B(步骤S302)，根据面部区域A和面部区域B设定面部区域C(步骤S303)。具体而言，如图12(a)所示，要素位置变更图像生成部461将被摄体的面部的区域分别设定为面部区域A、面部区域B和面部区域C。
然后，要素位置变更图像生成部461朝向由瞳变更图像生成部153变更后的被摄体的瞳的配置位置的方向，缩小面部区域A的面部图像和面部区域C的面部图像(步骤S304)。具体而言，如图12(b)所示，要素位置变更图像生成部461朝向由瞳变更图像生成部153变更后的被摄体的瞳图像K1的配置位置的方向例如左方向，缩小面部区域A的面部图像F1和面部区域C的面部图像F3。
接着，要素位置变更图像生成部461朝向由瞳变更图像生成部153变更后的被摄体的瞳图像K1的配置位置的方向，使面部图像F1、面部图像F2和面部图像F3分别移动并进行合成(步骤S305)。具体而言，如图12(c)所示，要素位置变更图像生成部461朝向由瞳变更图像生成部153变更后的被摄体的瞳图像K1的配置位置的方向(左侧)，使面部图像F1、面部图像F2和面部图像F3分别移动并进行合成(图12(b)→图12(c))。
然后，要素位置变更图像生成部461朝向由瞳变更图像生成部153变更后的被摄体的瞳图像的配置位置的方向，使被摄体的面部的各要素移动(步骤S306)。
图13是示意地说明要素位置变更图像生成部461使被摄体的面部的各要素移动的移动方法的概要的图。
如图13(a)所示，在设被摄体O1的头部的半径为R的球的情况下，在被摄体从朝向正面的状态以规定角度θ1回头时，鼻子M1的位置可以用R·tanθ1表示。进而，还可以根据角度θ1来表示面部的各要素的横向的长度。具体而言，在设被摄体O1的眼睛区域AL、AR的宽度为H的情况下，可以用H·cosθ1表示。因此，要素位置变更图像生成部461在使面部的各主要要素成为cosθ1倍后，通过使各主要要素从被摄体O1的中心P1移动R·tanθ1，能够生成被摄体O1朝向横向的图像。
但是，如图14(a)所示，关于被摄体的鼻子M1的区域，由于立体感较大、倾斜方向的鼻子的棱线(阴影)的区域m1不容易观看，所以，与cosθ1倍相比，需要较大地显示倾斜方向的相反侧的侧面的区域m3。因此，如图14(b)所示，要素位置变更图像生成部461利用隆起的顶点P2对鼻子的部分进行分割，仅缩小区域m1～m3中的倾斜的区域m1。由此，要素位置变更图像生成部461能够生成被摄体朝向横向的自然的样本图像。这里示出一例，但是，还考虑调出带要素位置信息的面部的不同朝向的图像的数据库等并在此粘贴各实拍图像的方法。
在步骤S307中，要素位置变更图像生成部461针对空白区域执行根据周边像素的信息进行插值的插值处理。具体而言，如图12(d)所示，要素位置变更图像生成部461针对空白区域D，进行利用其他像素进行插值的插值处理(图12(c)→图12(d))。另外，在图12中，对被摄体O1未佩戴配件例如眼镜等的状态进行了说明，但是，在被摄体O1佩戴配件的情况下，也能够应用本发明。该情况下，要素位置变更图像生成部461同样使配件例如眼镜成为cosθ1倍后，通过使配件从被摄体O1的中心P1移动R·tanθ1，生成被摄体O1朝向横向时的配件图像，将该配件图像重叠在样本图像上。此时，在配件的区域中像素不足的情况下，要素位置变更图像生成部461利用其他区域或配件区域中表示最佳比例的像素的颜色进行插值即可。
接着，要素位置变更图像生成部461使瞳上下偏移并缩小面部，并且生成上下偏移的样本图像(步骤S308)。例如，如图12(e)所示，要素位置变更图像生成部461使瞳图像在巩膜区域WL中向上偏移，并且生成在瞳图像的配置方向上缩小面部的样本图像(在长度方向上缩小距离E的样本图像)。同样，使瞳图像在巩膜区域WL中向下偏移，并且生成在瞳图像的配置方向上缩小面部的样本图像。
然后，在基于要素位置变更图像生成部461的各图案的样本图像的生成结束的情况下(步骤S309：是)，摄像装置1a返回图9的主进程。与此相对，在基于要素位置变更图像生成部461的各图案的样本图像的生成未结束的情况下(步骤S309：否)，摄像装置1a返回步骤S301。
返回图9，继续进行步骤S210以后的说明。在步骤S210中，显示控制部156使显示部31一览显示要素位置变更图像生成部461生成的对被摄体的面部的位置和各要素进行变更后的多个样本图像。具体而言，如图15所示，显示控制部156使显示部31一览显示要素位置变更图像生成部461生成的对被摄体的面部的位置进行变更后的多个样本图像G11～G18和实时取景图像LV1。由此，拍摄者(被摄体)通过在自拍时确认显示部31中显示的图像，能够假想地掌握超出预想的自己自身的表情。
步骤S211～步骤S220分别对应于上述图4的步骤S110～步骤S119。
根据以上说明的本发明的实施方式2，由于显示控制部156使显示部31显示变更了被摄体的视线的多个样本图像，所以，在进行自拍的情况下，也能够假想地掌握所拍摄的自己自身的表情。
并且，根据本发明的实施方式2，显示控制部156使显示部31显示与由要素位置变更图像生成部461变更了被摄体的各要素的要素变更图像数据对应的样本图像。其结果，被摄体通过在自拍时确认显示部31中显示的图像，能够假想地掌握此前在凝视显示部31的基础上怎么也无法确认的、超出预想的自己自身的表情。
并且，根据本发明的实施方式2，由于摄像控制部155根据构图判定部154的判定结果进行拍摄，所以，拍摄者能够以期望表情进行拍摄，能够得到自然的表情的图像。
(实施方式3)
接着，对本发明的实施方式3进行说明。本实施方式3的摄像装置与上述实施方式2的摄像装置的结构不同，而且，执行的处理不同。具体而言，在上述实施方式2的摄像装置中，摄像装置生成对被摄体的表情进行变更后的样本图像，但是，在本实施方式3的摄像装置中，经由网络接收由外部设备生成的样本图像数据并进行显示。这种所谓的云端上的处理能够进行超出移动设备的处理能力的图像处理，所以，适合应用于复杂的处理。但是，在能够在装置内完成同样处理的情况下，当然也可以不利用网络。进而，关于从哪到哪在装置内进行、从哪到哪在云端进行，能够进行各种应用、变形。因此，下面，在对本实施方式3的显示系统的结构进行说明后，对本实施方式3的显示系统执行的处理进行说明。另外，对与上述实施方式2的摄像装置1a相同的结构标注相同标号并省略说明。
图16是示出本实施方式3的显示系统的功能结构的框图。图16所示的显示系统100具有摄像装置1a、以及经由网络200从外部接收图像数据并生成与接收到的图像数据对应的图像的作为外部设备的图像生成装置5。
图像生成装置5具有经由网络200与外部进行双向通信的通信部51、记录图像生成装置5生成的图像数据和各种程序的记录部52、以及进行与构成图像生成装置5的各部对应的指示和数据的转送等并对图像生成装置5的动作进行总括控制的图像生成控制部53。
通信部51按照规定的通信规格与外部设备进行通信，接收或发送包含图像数据的图像文件。
记录部52记录经由图像生成控制部53输入的图像数据、图像生成装置5的处理中的信息、用于使图像生成装置5进行动作的各种程序、本实施方式3的程序以及程序的执行中使用的各种数据等。
图像生成控制部53具有面部检测部531、瞳检测部532、瞳变更图像生成部533、要素位置变更图像生成部534、输出控制部535。
面部检测部531检测与经由网络200和通信部51接收到的图像数据对应的图像内的被摄体的面部。具体而言，面部检测部531通过图案匹配来检测与图像数据对应的图像中包含的人物的面部。例如，面部检测部531在使用图案匹配检测到图像中的面部的位置后，通过检测眼睛、鼻子和嘴等的面部特征点的位置，检测面部的位置、面部的大小(区域)、面部的朝向、面部的角度(倾斜)和面部的表情(笑脸等)。另外，面部检测部531不仅可以检测人物的面部，还可以检测狗或猫等动物的面部。进而，面部检测部531也可以使用图案匹配以外的公知技术来检测人物的面部。
瞳检测部532检测面部检测部531检测到的被摄体的面部的瞳。具体而言，瞳检测部532通过在对面部检测部531检测到的被摄体的面部的眼睛(眼睛区域)进行规定处理例如灰色标度处理后进行二值化处理，检测瞳(瞳区域)。
瞳变更图像生成部533根据瞳检测部532检测到的检测结果，对被摄体的眼睛区域中的瞳的位置进行变更。具体而言，瞳变更图像生成部533生成如下的图像数据：对瞳检测部532检测到的瞳区域进行裁剪处理并生成瞳图像，将该瞳图像重叠在眼睛区域中的白眼球区域中，并且，进行利用白色或周边的白眼球区域的像素对进行裁剪处理后的瞳区域进行插值的插值处理。例如，在瞳检测部532检测到的被摄体的瞳的位置为正面(中心)的情况下，瞳变更图像生成部533生成映出使瞳分别左右移动的被摄体的2个图像数据。
要素位置变更图像生成部534生成使构成面部检测部531检测到的面部的各要素朝向由瞳变更图像生成部533变更的巩膜区域内的瞳区域的配置方向移动的后被摄体的要素变更图像数据。
输出控制部535将瞳变更图像生成部533生成的瞳变更图像数据或要素位置变更图像生成部534生成的要素变更图像数据作为摄像装置1a的拍摄时的拍摄建议的范例，经由通信部51和网络200发送到摄像装置1a。另外，在本实施方式3中，输出控制部535作为输出部发挥功能。
对具有以上结构的显示系统100的摄像装置1a和图像生成装置5各自的处理进行说明。首先，在摄像装置1a执行的处理的说明后，对图像生成装置5执行的处理进行说明。图17是示出摄像装置1a执行的处理的概要的流程图。
在图17中，步骤S401～步骤S403分别对应于上述图4的步骤S101～步骤S103。
在步骤S404中，在摄像装置1a设定为面部朝向模拟模式的情况下(步骤S404：是)，摄像装置1a转移到后述步骤S405。与此相对，在摄像装置1a未设定为面部朝向模拟模式的情况下(步骤S404：否)，摄像装置1a转移到后述步骤S417。
在步骤S405中，在能够经由通信部45和网络200与外部的图像生成装置5进行通信的情况下(步骤S405：是)，在已经向图像生成装置5发送了包含图像数据的图像文件时(步骤S406：是)，摄像装置1a转移到后述步骤S408。
在步骤S405中，在能够经由通信部45和网络200与外部的图像生成装置5进行通信的情况下(步骤S405：是)，在未向图像生成装置5发送包含图像数据的图像文件时(步骤S406：否)，控制部46经由通信部45和网络200将包含摄像元件42生成的图像数据的图像文件发送到图像生成装置5(步骤S407)。例如，如图18所示，被摄体O1从显示部31显示的多个图像中选择请求图像生成装置5进行模拟时的期望图像，通过操作输入部11或触摸面板34，将包含图像数据的图像文件发送到图像生成装置5。在该图像文件中，除了图像数据以外，还存储有指示模拟的内容的指示信息、识别摄像装置1a的识别信息、摄像装置1a的焦点距离、以及假设了自拍模式时的从摄像装置1a到被摄体的距离的假想距离。
接着，在经由通信部45和网络200从图像生成装置5接收到对被摄体的面部的构图进行变更后的图像数据的范例的情况下(步骤S408：是)，显示控制部156使显示部31一览显示与范例的图像数据对应的图像(步骤S409)。具体而言，如图19所示，显示控制部156使显示部31显示与从图像生成装置5接收到的范例的图像数据对应的多个样本图像G21～G29作为拍摄样本图像。由此，拍摄者通过在自拍时确认显示部31中显示的多个构图(角度)的图像，能够假想地掌握超出预想的自己自身的显示和角度。
在步骤S408中，在未经由通信部45和网络200从图像生成装置5接收到对被摄体的构图进行变更后的图像数据的范例的情况下(步骤S408：否)，摄像装置1a返回步骤S401。
在步骤S405中，在不能经由通信部45和网络200与外部的图像生成装置5进行通信的情况下(步骤S405：否)，摄像装置1a转移到步骤S416。
步骤S410～步骤S419分别对应于上述图4的步骤S110～步骤S119。
接着，对图像生成装置5执行的处理进行说明。图20是示出图像生成装置5执行的处理的概要的流程图。
如图20所示，在经由网络200和通信部51从摄像装置1a或外部设备接收到图像文件的情况下(步骤S501：是)，图像生成装置5转移到后述步骤S502。与此相对，在未经由网络200和通信部51从摄像装置1a或外部设备接收到图像文件的情况下(步骤S501：否)，在接收到图像数据之前，持续进行该判断。
在步骤S502中，在接收到的图像文件中存储的指示模拟的指示信息为面部朝向模拟模式的情况下(步骤S502：是)，图像生成装置5转移到后述步骤S503。与此相对，在接收到的图像文件中存储的指示模拟的指示信息不是面部朝向模拟模式的情况下(步骤S502：否)，图像生成装置5转移到后述步骤S506。
在步骤S503中，图像生成装置5执行上述图11的面部要素变更图像生成处理。
接着，要素位置变更图像生成部534针对与通过面部要素变更图像生成处理生成的多个图像数据分别对应的多个样本图像，执行变更被摄体的构图的构图变更处理(步骤S504)。
图21是示意地示出自拍模式时的摄像装置1a和被摄体(拍摄者)的关系的图。图22是示意地示出图21所示的状况下的摄像装置1a的视场角θ2和被摄体O1的关系的图。图23是示出与图21所示的状况下由摄像装置1a生成的图像数据对应的图像的一例的图。
如图21～图23所示，要素位置变更图像生成部534根据图像文件中存储的摄像装置1a的识别信息、拍摄图像数据时的焦点距离和假想距离d1，在与图像数据对应的图像内计算被摄体O1的面部区域。具体而言，在设假想距离为d1、摄像装置1a的视场角为θ2的情况下，要素位置变更图像生成部534通过以下的式(1)将显示部31的显示区域中的横向的长度换算为XP。
Xp＝d1×tan(θ2/2)×2…(1)
然后，要素位置变更图像生成部534根据显示部31的显示区域中的横向的长度XP和面部检测部531检测到的被摄体O1的面部的横向的长度H1(例如20cm)的比率，生成以在被摄体O1伸手或缩手时能够拍摄被摄体O1的构图进行变更后的样本图像作为拍摄建议的范例。具体而言，如图22所示，要素位置变更图像生成部534对图像内的被摄体O1进行裁剪，针对该裁剪后的被摄体图像，缩小设从摄像装置1a到被摄体O1的距离为d2的情况下的各被摄体O1的各要素、例如面部、手臂或躯体等以使得长度XP和长度H1的比率减小，生成变更为被摄体O1伸手时能够拍摄的构图的样本图像作为拍摄样本图像的范例。另外，在图21～图23中，关于要素位置变更图像生成部534，以被摄体O1的构图的变更为例进行了说明，但是，也可以对构成被摄体O1的各要素进行分割，组合该分割后的各要素来变更被摄体O1的姿势等。
然后，输出控制部535经由通信部51和网络200向摄像装置1a发送范例的图像数据(步骤S505)。在步骤S505之后，图像生成装置5返回步骤S501。
在步骤S506中，在接收到的图像文件中存储的模拟的指示信息为面部显示模拟模式的情况下(步骤S506：是)，执行上述图11的面部要素变更图像生成处理(步骤S507)。在步骤S507之后，图像生成装置5转移到步骤S505。
在步骤S506中，在接收到的图像文件中存储的模拟的指示信息不是面部显示模拟模式的情况下(步骤S506：否)，图像生成装置5返回步骤S501。
根据以上说明的本发明的实施方式3，通过使图像生成装置5生成样本图像，能够减轻对摄像装置1a造成的负荷。
另外，在本发明的实施方式3中，图像生成装置5进行变更被摄体的构图的构图变更处理，但是，摄像装置1a的要素位置变更图像生成部461也可以进行同样的构图变更处理。
(其他实施方式)
并且，关于本发明的摄像装置，除了数字单反照相机以外，例如还能够应用于数字照相机、数字摄像机和具有摄像功能的便携电话和平板型便携设备等电子设备。
并且，关于本发明的摄像装置，除了镜头一体型的数字照相机以外，还能够应用于镜头拆装自如的数字单反照相机、数字摄像机和具有摄像功能的便携电话和平板型便携设备等电子设备。特别是由于能够发现未注意到的魅力等，所以可以代替镜子加以利用。即，还能够利用于美容设备、确认显示装置、作为辅导用的康复用等的医疗设备等。这里，利用一个人物进行了说明，但是，如果在两个人物中应用该技术，则能够使照相机提示利用两人的视线、面部朝向、姿势等演出戏剧的拍摄。进而，脱离摄像装置，能够提供提示两人见面、基于表情的良好沟通的引导装置等。
并且，在本发明的摄像装置中，主体部和显示部一体形成，但是，主体部和显示部也可以分别单独构成。该情况下，例如，主体部和显示部能够双向发送图像数据和指示数据等即可。
并且，本发明的摄像装置所执行的程序以可安装形式或可执行形式的文件数据记录在CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk)、USB介质、闪存等的计算机可读取的记录介质中进行提供。
并且，本发明的摄像装置所执行的程序也可以存储在与因特网等网络连接的计算机上，通过经由网络下载进行提供。进而，也可以经由因特网等网络提供或发布本发明的摄像装置所执行的程序。
另外，在本说明书的流程图的说明中，使用“首先”、“然后”、“接着”等表现明示了步骤间的处理的前后关系，但是，实施本发明所需要的处理的顺序不由这些表现唯一决定。即，能够在不矛盾的范围内对本说明书中记载的流程图中的处理的顺序进行变更。
这样，本发明可以包括这里未记载的各种实施方式，能够在由权利要求书确定的技术思想范围内进行各种设计变更等。
标号说明
1、1a：摄像装置；2、2a：主体部；3、3a：显示机构；5：图像生成装置；10：摄像部；11：输入部；12、52：记录部；13：记录介质；14：旋转判定部；15、46：控制部；31：显示部；32：可动部；33：旋转支承部；34：触摸面板；41：镜头部；42：摄像元件；43：姿势检测部；44：时钟；45、51：通信部；53：图像生成控制部；100：显示系统；151、531：面部检测部；152、532：瞳检测部；153、533：瞳变更图像生成部；154：构图判定部；155：摄像控制部；156：显示控制部；200：网络；461、534：要素位置变更图像生成部；535：输出控制部。

Claims (9)

1.一种显示装置，其特征在于，该显示装置具有：
摄像部，其对被摄体进行摄像，生成该被摄体的图像数据；
显示部，其能够显示与所述摄像部生成的所述图像数据对应的图像；以及
显示控制部，其在利用所述摄像部拍摄所述被摄体时，使所述显示部同时或依次显示所述摄像部获得的实时取景图像和变更了映在所述实时取景图像上的所述被摄体的视线后的多个样本图像，
所述摄像部的摄像方向和所述显示部的显示方向一致，
所述样本图像是将观看所述显示部的视线的被摄体图像变更为观看所述显示部以外的视线的被摄体图像而得到的被摄体图像。
2.根据权利要求1所述的显示装置，其特征在于，
所述显示装置具有：
面部检测部，其检测与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的面部；
瞳检测部，其分别检测由所述面部检测部检测到的所述面部中的眼睛的巩膜区域和眼睛的瞳区域；以及
瞳变更图像生成部，其根据所述瞳检测部检测到的检测结果，生成对所述巩膜区域内的所述瞳区域的位置进行变更后的瞳变更图像数据，
所述显示控制部使所述显示部显示与所述瞳变更图像生成部生成的所述瞳变更图像数据对应的瞳变更图像作为所述样本图像。
3.根据权利要求2所述的显示装置，其特征在于，
所述显示装置还具有要素位置变更图像生成部，该要素位置变更图像生成部如下生成所述被摄体的要素变更图像数据，即，使构成所述面部检测部检测到的所述面部的各要素朝向由所述瞳变更图像生成部变更的所述巩膜区域内的所述瞳区域的配置方向移动，来生成所述被摄体的要素变更图像数据，
所述显示控制部使所述显示部显示与所述要素位置变更图像生成部生成的所述要素变更图像数据对应的要素变更图像作为所述样本图像。
4.根据权利要求2所述的显示装置，其特征在于，
所述显示装置还具有要素位置变更图像生成部，该要素位置变更图像生成部如下生成所述被摄体的要素变更图像数据，即，根据预先设定的该显示装置与所述被摄体的距离对构成所述面部检测部检测到的所述面部的各要素进行缩小或放大，来生成所述被摄体的要素变更图像数据，
所述显示控制部使所述显示部显示与所述要素位置变更图像生成部生成的所述要素变更图像数据对应的要素变更图像作为所述样本图像。
5.根据权利要求3所述的显示装置，其特征在于，
所述要素位置变更图像生成部还根据预先设定的该显示装置与所述被摄体的距离对构成所述面部检测部检测到的所述面部的各要素进行缩小或放大，来生成所述被摄体的要素变更图像数据。
6.根据权利要求2～5中的任意一项所述的显示装置，其特征在于，
所述显示装置还具有：
输入部，其受理用于选择所述显示部显示的多个所述样本图像中的任意一方的指示信号的输入；
构图判定部，其判定根据所述输入部受理输入的所述指示信号而选择出的样本图像内的所述被摄体的构图和与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的构图是否一致；以及
拍摄控制部，其在所述构图判定部判定为所述样本图像内的所述被摄体的构图和所述图像内的所述被摄体的构图一致的情况下，使所述摄像部进行拍摄。
7.根据权利要求1～5中的任意一项所述的显示装置，其特征在于，
所述显示装置具有：
构图判定部，其判定所述样本图像中的所述被摄体的构图和与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的构图是否一致；以及
拍摄控制部，其在所述构图判定部判定为所述样本图像内的所述被摄体的构图和与所述摄像部生成的所述图像数据对应的图像内的所述被摄体的构图一致的情况下，使所述摄像部进行拍摄。
8.根据权利要求1～5中的任意一项所述的显示装置，其特征在于，
所述显示部具有显示区域，该显示区域被设置成能够相对于该显示装置的主体部从该显示装置的背面侧朝向该显示装置的前面侧转动，显示与所述图像数据对应的图像，
在所述显示部转动到所述前面侧而使所述显示区域朝向所述前面侧的情况下，所述显示控制部使所述显示部显示所述样本图像。
9.一种由显示装置执行的显示方法，该显示装置具有对被摄体进行摄像而生成该被摄体的图像数据的摄像部、以及能够显示与所述摄像部生成的所述图像数据对应的图像的显示部，所述摄像部的摄像方向和所述显示部的显示方向一致，其特征在于，
所述显示方法包括显示步骤，在该显示步骤中，在所述摄像部拍摄所述被摄体时，使所述显示部同时或依次显示所述摄像部获得的实时取景图像和变更了映在所述实时取景图像上的所述被摄体的视线后的多个样本图像，
所述样本图像是将观看所述显示部的视线的被摄体图像变更为观看所述显示部以外的视线的被摄体图像而得到的被摄体图像。
CN201480002183.9A 2013-10-16 2014-06-16 显示装置和显示方法 Expired - Fee Related CN104718742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013215753 2013-10-16
JP2013-215753 2013-10-16
PCT/JP2014/065936 WO2015056466A1 (ja) 2013-10-16 2014-06-16 表示装置、画像生成装置、表示方法およびプログラム

Publications (2)

Publication Number Publication Date
CN104718742A CN104718742A (zh) 2015-06-17
CN104718742B true CN104718742B (zh) 2016-12-14

Family

ID=52827919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002183.9A Expired - Fee Related CN104718742B (zh) 2013-10-16 2014-06-16 显示装置和显示方法

Country Status (4)

Country Link
US (1) US9521329B2 (zh)
JP (1) JP5695809B1 (zh)
CN (1) CN104718742B (zh)
WO (1) WO2015056466A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5461738B1 (ja) * 2013-11-28 2014-04-02 稔 稲葉 ディジタルカメラ
JP6598543B2 (ja) * 2015-07-16 2019-10-30 キヤノン株式会社 発光制御装置およびその制御方法
US10546185B2 (en) 2015-12-01 2020-01-28 Casio Computer Co., Ltd. Image processing apparatus for performing image processing according to privacy level
JP6206542B2 (ja) * 2015-12-01 2017-10-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6799063B2 (ja) * 2016-07-20 2020-12-09 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
EP3858235A4 (en) * 2018-09-26 2021-09-08 NEC Corporation ESTIMATE DEVICE, ESTIMATE METHOD, AND STORAGE MEDIUM

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4112259B2 (ja) * 2002-04-01 2008-07-02 富士フイルム株式会社 画像処理システム
US6771303B2 (en) * 2002-04-23 2004-08-03 Microsoft Corporation Video-teleconferencing system with eye-gaze correction
US7177449B2 (en) * 2002-06-26 2007-02-13 Hewlett-Packard Development Company, L.P. Image correction system and method
JP4144492B2 (ja) * 2003-09-19 2008-09-03 株式会社日立製作所 画像表示装置
JP4970716B2 (ja) * 2004-09-01 2012-07-11 株式会社ニコン 電子カメラ
JP2007006016A (ja) * 2005-06-22 2007-01-11 Sharp Corp 撮影装置
JP2007013768A (ja) * 2005-07-01 2007-01-18 Konica Minolta Photo Imaging Inc 撮像装置
CN101021943A (zh) * 2007-04-06 2007-08-22 北京中星微电子有限公司 一种图像调整的方法和系统
JP5009204B2 (ja) * 2008-03-14 2012-08-22 オリンパスイメージング株式会社 撮影装置および撮影装置における画像合成方法
JP2009246408A (ja) * 2008-03-28 2009-10-22 Toshiba Corp 対話装置、画像処理モジュール、画像処理方法およびプログラム
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
KR101618759B1 (ko) * 2008-12-24 2016-05-09 삼성전자주식회사 영상 촬영 장치 및 방법
KR101604846B1 (ko) * 2009-11-27 2016-03-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9141875B2 (en) * 2010-05-26 2015-09-22 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
CN101930543B (zh) * 2010-08-27 2012-06-27 南京大学 一种自拍视频中眼睛图像的调正方法
JP5719223B2 (ja) * 2011-04-25 2015-05-13 オリンパスイメージング株式会社 画像記録装置、記録方法およびプログラム
JP2012244196A (ja) * 2011-05-13 2012-12-10 Sony Corp 画像処理装置及び方法
JP2013175802A (ja) 2012-02-23 2013-09-05 Nikon Corp 自分撮り機能付きカメラ
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置

Also Published As

Publication number Publication date
JP5695809B1 (ja) 2015-04-08
CN104718742A (zh) 2015-06-17
US20150172553A1 (en) 2015-06-18
WO2015056466A1 (ja) 2015-04-23
JPWO2015056466A1 (ja) 2017-03-09
US9521329B2 (en) 2016-12-13

Similar Documents

Publication Publication Date Title
CN104718742B (zh) 显示装置和显示方法
US9838597B2 (en) Imaging device, imaging method, and program
CN106254682B (zh) 一种拍照方法及移动终端
CN105580051B (zh) 图像捕捉反馈
JP5835383B2 (ja) 情報処理方法、情報処理装置、およびプログラム
JP5835384B2 (ja) 情報処理方法、情報処理装置、およびプログラム
CN102959941A (zh) 信息处理系统、信息处理装置及信息处理方法
WO2014128788A1 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
CN106575027A (zh) 摄像装置及其被摄体跟踪方法
CN103945117A (zh) 拍摄设备、协作拍摄方法以及记录了程序的记录介质
US8502883B2 (en) Photographing apparatus and photographing control method
CN105045420B (zh) 操作终端和操作方法
US20200106953A1 (en) Object detection apparatus, image apparatus, object detection method, and computer readable recording medium
CN106210699B (zh) 信息处理装置、信息处理装置的控制方法及图像处理系统
CN107710736A (zh) 辅助用户捕获图像或视频的方法和系统
US20130308829A1 (en) Still image extraction apparatus
JP6350695B2 (ja) 装置、方法、およびプログラム
US9143763B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium
CN107211090A (zh) 操作装置、跟踪系统、操作方法及程序
JP6241107B2 (ja) 視線方向検出装置および視線方向検出方法
CN104156138B (zh) 拍摄控制方法及拍摄控制装置
JP2023166176A (ja) 表示制御装置および方法並びにプログラム
JP6128185B2 (ja) 装置、方法、およびプログラム
JP5702037B1 (ja) 撮像装置、撮像方法およびプログラム
JP2015019215A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: OLYMPUS OPTICAL CO.

Free format text: FORMER OWNER: OLYMPUS IMAGE CO., LTD.

Effective date: 20150612

Free format text: FORMER OWNER: OLYMPUS OPTICAL CO.

Effective date: 20150612

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150612

Address after: Tokyo, Japan

Applicant after: OLYMPUS Corp.

Address before: Tokyo, Japan

Applicant before: Olympus Imaging Corp.

Applicant before: OLYMPUS Corp.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211202

Address after: Tokyo, Japan

Patentee after: Aozhixin Digital Technology Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161214