CN110881097B - 显示控制设备、控制方法和计算机可读介质 - Google Patents

显示控制设备、控制方法和计算机可读介质 Download PDF

Info

Publication number
CN110881097B
CN110881097B CN201910840970.5A CN201910840970A CN110881097B CN 110881097 B CN110881097 B CN 110881097B CN 201910840970 A CN201910840970 A CN 201910840970A CN 110881097 B CN110881097 B CN 110881097B
Authority
CN
China
Prior art keywords
image
display
unit
display control
control apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910840970.5A
Other languages
English (en)
Other versions
CN110881097A (zh
Inventor
小山泰史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110881097A publication Critical patent/CN110881097A/zh
Application granted granted Critical
Publication of CN110881097B publication Critical patent/CN110881097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Abstract

一种显示控制设备、控制方法和计算机可读介质。根据本发明的显示控制设备包括：显示控制单元，其被配置为进行控制以在画面上显示与观看方向相对应的图像的部分；以及改变单元，其被配置为与所述观看方向的改变相对应地改变所述图像的所述部分，其中，在所述图像的所述部分是所述图像中的在特定方向上拍摄的范围的情况下，所述显示控制单元进行控制以将图形图像以叠加在所述图像的所述部分上的方式进行显示。

Description

显示控制设备、控制方法和计算机可读介质
技术领域
本发明涉及显示控制设备、摄像设备、控制方法和计算机可读介质。
背景技术
已知可以通过一次摄像操作轻松拍摄360°全景球面图像(全方位图像、全周图像、360°图像)的摄像设备。还已知可以拍摄不到360°但在超过180°的宽范围内的图像的摄像设备。此外，还已知将由这种摄像设备拍摄的图像 (拍摄宽范围的图像：宽范围图像)的一部分作为显示范围在显示器(显示设备) 上显示，并基于用户操作(包括改变显示单元的姿势)改变显示范围的方法。
在作为数字照片的宽范围图像中，保持摄像设备的拍摄者、固定摄像设备的固定工具(例如三脚架)等被拍摄。为了在所有方向上拍摄图像，拍摄者通常通过将其手部向上伸直以支撑摄像设备来拍摄图像。因此，在地面方向上摄像的范围内很可能拍摄到拍摄者、固定工具等。
根据日本特开2003-244511的摄像设备被配置为使得把手直接设置在摄像设备下方，以便在图像中不会拍摄到拍摄者、固定工具等，也就是说，在图像中不会拍摄到正好下方和正好上方的范围。然而，在根据日本特开 2003-244511的、在图像中不拍摄设备的正好下方和正好上方的范围的摄像设备的情况下，不能获取完美的全方位图像。
发明内容
当在显示设备上显示对象图像(显示对象的图像)时，可以显示表示与对象图像有关的信息和显示设备的状态的图形图像(字符串和图标)。当显示这种图形图像时，通常使用以下两种方法：显示图形图像以叠加在对象图像上的方法；以及在显示面的一部分上以小尺寸显示对象图像，并在显示面的其它部分(空白空间)上显示图形图像的方法。然而，在第一种方法的情况下，由于图形图像叠加在对象图像上，因此图形图像可能在视觉上妨碍对象图像。并且在第二种方法的情况下，因为对象图像显示得小所以对象图像的可见性下降。
在根据日本特开2009-21733的技术的情况下，根据用户操作选择多个模板中的一个，并且在与所选择的模板相对应的位置显示字符信息。然而，即使使用日本特开2009-21733的技术，与所选择的模板相对应的位置也不一定是最佳位置，并且图形图像可能妨碍对象图像的可见性。
鉴于上述情况，本发明提供了在将宽范围图像的一部分作为显示范围在显示单元上显示并另外显示图形图像的情况下，允许更适当地显示图形图像的技术。
本发明在其第一方面提供一种显示控制设备，包括：显示控制单元，其被配置为进行控制以在画面上显示图像的与观看方向相对应的部分；以及改变单元，其被配置为与改变所述观看方向相对应地改变所述图像的所述部分；其中，在所述图像的所述部分是所述图像中的在特定方向上拍摄的范围的情况下，所述显示控制单元进行控制以将图形图像以叠加在所述图像的所述部分上的方式进行显示。
本发明在其第二方面提供一种摄像设备，包括：获取单元，其被配置为通过执行摄像处理来获取图像；检测单元，其被配置为检测在进行所述摄像处理时的所述摄像设备的姿势；指定单元，其被配置为基于所述检测单元所检测到的姿势来对拍摄所述图像中的特定方向的位置进行指定；以及合成单元，其被配置为通过在所获取的图像上在由所述指定单元所指定的位置处叠加图形图像来生成合成图像。
本发明在其第三方面提供一种显示控制设备的控制方法，所述控制方法包括：显示控制步骤，用于进行控制以在画面上显示图像的与观看方向相对应的部分；以及改变步骤，用于与改变所述观看方向相对应地改变所述图像的所述部分，其中，在所述图像的所述部分是所述图像中的在特定方向上拍摄的范围的情况下，在所述显示控制步骤中进行控制以将图形图像以叠加在所述图像的所述部分上的方式进行显示。
本发明在其第四方面提供一种摄像设备的控制方法，所述控制方法包括：获取步骤，用于通过执行摄像处理来获取图像；检测步骤，用于检测在进行所述摄像处理时所述摄像设备的姿势；指定步骤，用于基于在所述检测步骤中所检测到的姿势来对拍摄所述图像中的特定方向的位置进行指定；以及合成步骤，用于通过在所获取的图像上在所述指定步骤中所指定的位置处叠加图形图像来生成合成图像。
本发明在其第五方面提供一种存储程序的计算机可读介质，所述程序用于使计算机用作上述显示控制设备的各个单元。本发明在其第六方面提供一种存储程序的计算机可读介质，所述程序用于使计算机用作上述摄像设备的各个单元。
根据本发明，在将宽范围图像的一部分作为显示范围在显示单元上显示并且另外显示图形图像的情况下，可以更适当地显示图形图像。
根据以下参考附图对典型实施例的描述本发明的其它特征将变得明显。
附图说明
图1A和图1B是根据本实施例的数字照相机的外观图，图1C是描述根据本实施例的数字照相机的框图；
图2A是根据本实施例的显示设备的外观图，图2B是描述根据本实施例的显示设备的框图，以及图2C是根据本实施例的VR护目镜的外观图；
图3是描述根据本实施例的图像再现处理的流程图；
图4A至图4E是根据本实施例的VR显示的图像；
图5A至图5C是描述根据本实施例显示图形图像的方法的图；以及
图6是描述根据本实施例的摄像处理的流程图。
具体实施方式
将参考附图描述本发明的优选实施例。图1A是作为本实施例的摄像设备示例的数字照相机100的正面立体图(外观图)。图1B是数字照相机100的背面立体图(外观图)。数字照相机100是用于拍摄全方位图像(全景球面图像)的照相机(全方位照相机、全景球面图像照相机)。
防护器102a是摄像范围为数字照相机100的向前区域的前照相机单元的保护窗。例如，前照相机单元是摄像范围为数字照相机100的向前方向的宽范围(例如垂直和水平不少于180°的范围)的广角照相机单元。防护器102b是摄像范围为数字照相机100的向后区域的后照相机单元的保护窗。例如，后照相机单元是摄像范围为数字照相机100的向后方向的宽范围(例如垂直和水平不少于180°的范围)的广角照相机单元。
显示单元28显示各种信息。快门按钮61是指示摄像的操作单元(操作构件)。模式选择器开关60是用于在各种模式之间切换的操作单元。连接I/F 25 是用于将连接线缆连接到数字照相机100的连接器，由此外部设备(例如智能电话、个人计算机、TV)经由连接线缆连接到数字照相机100。操作单元70 包括用于从用户接收各种操作输入的各种开关、按钮、拨盘或触摸传感器等。电源开关72是切换电源接通/断开的推式按钮。
发光单元(发光构件)21是发光二极管(LED)等，并通过发光图案或发光颜色向用户通知数字照相机100的各种状态。固定单元40例如是三脚架的螺纹孔，并且用于将数字照相机100安装和固定到诸如三脚架等的固定工具。
图1C是描述数码照相机100的结构示例的框图。
防护器102a覆盖前照相机单元的摄像系统(例如摄像镜头103a、快门101a、摄像单元22a)，以防止对摄像系统的污染和损坏。摄像镜头103a是包括变焦透镜和聚焦透镜的透镜组，并且是广角镜头。快门101a是具有调整摄像单元 22a上的被摄体光的入射量的光圈功能的快门。摄像单元22a是包括CCD和 CMOS元件以将光学图像转换为电信号的摄像元件(图像传感器)。A/D转换器 23a将从摄像单元22a输出的模拟信号转换为数字信号。摄像镜头103a、快门101a和摄像单元22a由系统控制单元50控制。不设置防护器102a，可以露出摄像镜头103a的外表面，以便摄像镜头103a防止摄像系统的其它组件(例如快门101a和摄像单元22a)受到污染和损坏。
防护器102b覆盖后照相机单元的摄像系统(例如摄像镜头103b、快门 101b、摄像单元22b)，以防止对摄像系统的污染和损坏。摄像镜头103b是包括变焦透镜和聚焦透镜的透镜组，并且是广角镜头。快门101b是具有调整摄像单元22b上的被摄体光的入射量的光圈功能的快门。摄像单元22b是包括 CCD和CMOS元件以将光学图像转换为电信号的摄像元件。A/D转换器23b 将从摄像单元22b输出的模拟信号转换为数字信号。摄像镜头103b、快门101b 和摄像单元22b由系统控制单元50控制。不设置防护器102b，可以露出摄像镜头103b的外表面，以便摄像镜头103b防止摄像系统的其它组件(例如快门 101b和摄像单元22b)受到污染和损坏。
由摄像单元22a和摄像单元22b拍摄虚拟现实(VR)图像。VR图像是可以被VR显示(以“VR视图”显示模式显示)的图像。VR图像包括由全方位照相机 (全景球面图像照相机)拍摄的全方位图像(全景球面图像)和具有比可以同时在显示单元上显示的显示范围更宽的影像范围(有效影像范围)的全景图像。 VR图像不仅包括静止图像，而且包括运动图像和实时图像(几乎实时从照相机获取的图像)。VR图像具有垂直(垂直角度、从天顶起的角度、仰角、俯角、高度角、俯仰角)360°和水平(水平角度、方位角、横摆角)360°的最大影像范围(有效影像范围)。
VR图像包括具有比普通照相机可以拍摄的视角更宽的宽视角(视野范围) 的图像，或者具有比可以同时在显示单元上显示的显示范围更宽的更宽影像范围(有效影像范围)的图像，即使这样的图像的视野垂直上小于360°且水平上小于360°。例如，由可以拍摄水平方向(水平角、方位角)上360°且以天顶为中心的垂直方向上210°的视野(视角)的被摄体的全景球面图像照相机所拍摄到的图像是一种VR图像。此外，由可以拍摄水平方向(水平角、方位角) 上180°且以天顶为中心的垂直方向上180°的视野(视角)的被摄体的照相机所拍摄到的图像是一种VR图像。换句话说，如下的图像是一种VR图像，该图像具有在垂直方向和水平方向上分别超过160°(±80°)的视野的影像范围并且该影像范围比个人可以视觉上同时识别的范围更宽。
在对VR图像进行VR显示(以“VR视图”显示模式显示)的情况下，可以通过改变显示设备(显示VR图像的显示设备)在水平旋转方向上的姿势来在水平方向(水平旋转方向)上观看无缝全方位影像。在垂直方向(垂直旋转方向) 上，可以在从头顶正上方(天顶)起的±105°范围内观看到无缝全方位图像，但是±105°外的范围变成不存在影像的空白区域。VR图像可以被定义为“影像范围是虚拟空间(VR空间)的至少一部分的图像”。
VR显示(VR视图)是可以改变VR图像中的显示范围以显示与根据显示设备的姿势指定的观看方向相对应的部分视野范围(显示范围、显示区域)内的影像的显示方法(显示模式)。在佩戴作为显示设备的头戴式显示器(HMD) 观看影像的情况下，显示与用户的面部方向相对应的视野范围内的影像。例如，假设在一定定时显示水平方向0°(特定方位，诸如北)和垂直方向90°(从天顶起的90°，即水平方向)的视野角度(视角)的影像。在这种状态下，如果显示设备的姿势前后反转(例如，显示设备从面向南改变为面向北)，则显示范围被改变成视野角度为水平方向上180°(反方位，诸如南)且垂直方向上 90°(水平)的影像。在用户正在观看HMD的情况下，如果用户将他们的面部从北转动到南(即回头)，则在HMD上显示的影像也从北向的影像改变成南向的影像。通过该VR显示，可以视觉上向用户提供好像在VR图像(VR空间)中的感觉(沉浸感)。连接到VR护目镜(头戴式适配器)的智能电话可以被视为一种HMD。
VR图像的显示方法不限于上述VR显示。代替姿势的改变，可以检测对预定操作构件(例如触摸面板、方向按钮)的用户操作(操作检测)，从而根据用户操作移动(滚动)显示范围。对预定操作构件的用户操作例如是触摸面板上的触摸移动、鼠标的拖动操作以及按下方向按钮。在VR显示中(当显示模式为“VR视图”时)，可以进行根据姿势的变化而改变显示范围的处理和根据对预定操作构件的用户操作而改变显示范围的处理两者。
图像处理单元24对来自A/D转换器23a或A/D转换器23b的数据或对来自存储器控制单元15的数据进行预定处理(像素插值、诸如缩放等的调整大小处理、颜色转换处理)。图像处理单元24还使用拍摄到的图像数据进行预定算术处理。系统控制单元50基于由图像处理单元24获取的计算结果进行曝光控制和距离测量控制。因此进行诸如自动调焦(AF)处理、自动曝光(AE)处理和预闪光(EF)处理等的处理。此外，图像处理单元24使用拍摄到的图像数据进行预定算术处理，并基于获取的计算结果进行自动白平衡(AWB)处理。此外，图像处理单元24对由A/D转换器23a和A/D转换器23b获取的两个图像(两个鱼眼图像；两个广角图像)进行基本图像处理，并且进行将进行了基本图像处理后的两个图像合成的图像连接处理。从而生成单个VR图像。此外，在实时取景模式下进行VR显示时、或再现VR图像时，图像处理单元24进行图像提取处理、缩放处理和失真校正处理以对VR图像进行VR显示，然后通过将处理结果写入存储器32中的预定存储区域(VRAM)进行渲染。
在图像连接处理中，图像处理单元24将这两个图像中的一个图像作为参考图像并将另一图像作为比较图像，并通过模式匹配处理针对各个区域计算参考图像和比较图像之间的偏差量，然后基于针对各个区域的偏差量检测连接位置以连接两个图像。此后，图像处理单元24考虑检测到的连接位置和各光学系统的透镜特性，通过几何变换来校正各个图像的失真。因此，将各个图像转换成全景球面格式的图像(全景球面图像格式)。然后，图像处理单元 24通过将全景球面格式的两个图像进行合成(调和)，生成一个全景球面图像 (VR图像)。所生成的全景球面图像是基于等距圆柱投影的图像，全景球面图像的各个像素的位置可以与球体(VR空间)的表面上的坐标相对应。
来自A/D转换器23a和23b的输出数据经由图像处理单元24和存储器控制单元15或在不使用图像处理单元24的情况下经由存储器控制单元15写入存储器32。存储器32存储由摄像单元22a和22b获取并由A/D转换器23a和23b转换成数字数据的图像数据以及要从连接I/F 25输出到外部显示设备的图像数据。存储器32具有足够的存器容量以存储预定数量的静止图像、以及预定时间的运动图像和声音。
存储器32还用作显示图像的存储器(视频存储器)。存储器32中所存储的用于显示图像的数据可以从连接I/F 25输出到外部显示设备。如果将由摄像单元22a和22b拍摄、并由图像处理单元24生成、且存储在存储器32中的VR 图像顺序地传输到外部显示设备并显示，则可以实现电子取景器的功能，并且可以进行实时取景显示(LV显示)。利用实时取景显示所显示的图像在下文中称为实时取景图像(LV图像)。如果将存储器32中所存储的VR图像顺序地传输到经由通信单元54无线连接的外部设备(例如智能电话)并显示，则可以实现实时显示(远程LV显示)。
数字照相机100可以包括可以显示图像的主体显示单元，并且在主体显示单元上可以显示与上面作为从连接I/F 25输出并在外部显示设备上显示的影像而描述的影像等同的影像。
非易失性存储器56是作为可以电气地记录和擦除数据的记录介质的存储器，并且例如是EEPROM。在非易失性存储器56中，记录操作系统控制单元50所用的常数、程序等。这里的程序是指执行本实施例中稍后将描述的流程图中的各种处理的计算机程序。
系统控制单元50是包括至少一个处理器或电路并全面控制数字照相机 100的控制单元。系统控制单元50通过执行上述非易失性存储器56中所记录的程序来实现稍后描述的本实施例的各个处理。例如，系统存储器52是RAM，系统控制单元50在系统存储器52中展开操作系统控制单元50所用的常数和变量、以及从非易失性存储器56读取的程序。系统控制单元50还通过控制存储器32、图像处理单元24、和存储器控制单元15等来控制显示。系统定时器 53是用于测量各种控制所用的时间和内部时钟的时间的时钟单元。
模式选择器开关60、快门按钮61、操作单元70和电源开关72用于向系统控制单元50输入各种操作指示。
模式选择器开关60将系统控制单元50的操作模式切换到静止图像记录模式、运动图像拍摄模式、再现模式、和通信连接模式等其中之一。静止图像记录模式中包括的模式是：自动摄像模式、自动场景判别模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式。还包括针对各个摄像场景设置摄像的各种场景模式和自定义模式。使用模式选择器开关60，用户可以直接切换到这些模式其中之一。用户还可以首先使用模式选择器开关60将画面切换到摄像模式列表画面，然后可以使用其它操作构件选择显示单元28上所显示的多个模式其中之一。以同样的方式，运动图像拍摄模式可以包括多个模式。
快门按钮61包括第一快门开关62和第二快门开关64。第一快门开关62在操作快门按钮61的过程中(即处于半按下状态(摄像准备指示)时)接通并生成第一快门开关信号SW1。系统控制单元50利用第一快门开关信号SW1开始自动调焦(AF)处理、自动曝光(AE)处理、自动白平衡(AWB)处理和预闪光(EF) 等的摄像准备操作。第二快门开关64在快门按钮61的操作完成时(即处于全按下状态(摄像指示)时)接通并生成第二快门开关信号SW2。系统控制单元50 利用第二快门开关信号SW2开始从读取来自摄像单元22a和22b的信号到将图像数据写入记录介质90的一系列摄像操作。
快门按钮61不限于可以进行两个操作步骤(半按下和全按下)的操作构件，也可以是能够进行一个按下步骤的操作构件。在这种情况下，通过一个按下步骤连续进行摄像准备操作和摄像处理。该操作与当可以进行半按下和全按下两者的快门按钮被完全按下时所进行的操作相同(几乎同时生成第一快门开关信号SW1和第二快门开关信号SW2的情况)。
通过选择和操作在显示单元28上显示的各种功能图标和选择，将适当的功能分配给操作单元70，并且操作单元70用作各种功能按钮。功能按钮是例如结束按钮、返回按钮、图像转发按钮、跳转按钮、预览按钮和属性改变按钮。例如，当按压菜单按钮时，在显示单元28上显示可以进行各种设置的菜单画面。用户可以在观看显示单元28上所显示的菜单画面的同时通过操作操作单元70直观地进行各种设置。
电源开关72是切换电源的接通/断开的推式开关。电源控制单元80包括电池检测电路、DC-DC转换器、以及切换要通电的块的开关电路等，并且例如检测电池的安装、电池的类型和电池的剩余电力。基于该检测结果和来自系统控制单元50的指示，电力控制单元80控制DC-DC转换器，并在所需时段内将所需的电压提供给包括记录介质90的各个单元。电源单元30包括一次电池(例如碱性电池、锂电池)、二次电池(例如NiCd电池、NiMH电池、Li电池)、和AC适配器等。
记录介质I/F 18是与作为存储卡和硬盘这样的记录介质90的接口。记录介质90是记录拍摄图像的记录介质(例如存储卡)，并包括半导体存储器、光盘、或磁盘等。记录介质90可以是可从数字照相机100移除的可更换记录介质，或者可以是嵌入在数字照相机100中的记录介质。
通信单元54相对于以无线方式或经由线缆连接的外部设备发送/接收视频信号和音频信号。通信单元54还可以连接到无线局域网(LAN)和互联网，并且可以经由网络与网络上的外部设备(例如服务器)通信。通信单元54还可以经由通过蓝牙
Figure BDA0002193707580000101
和蓝牙低功耗(Bluetooth Low
Figure BDA0002193707580000102
)与外部设备通信。通信单元54可以发送由摄像单元22a和22b拍摄的图像(包括LV图像)以及记录介质90中所记录的图像，并且可以接收来自外部设备的图像和各种其它信息。
姿势检测单元55检测数字照相机100相对于重心方向的姿势。基于由姿势检测单元55检测到的姿势，可以判别由摄像单元22a和22b拍摄的图像是将数字照相机100保持在水平位置时拍摄的图像还是将数字照相机100保持在垂直位置时拍摄的图像。还可以判别由摄像单元22a和22b拍摄的图像是否是通过在旋转方向(例如横摆方向、俯仰方向、侧倾方向)上倾斜数字照相机110 而拍摄的图像，并且还可以判别倾斜量。系统控制单元50可以通过将与姿势检测单元55检测到的姿势相对应的方向信息附加到由摄像单元22a和22b拍摄到的VR图像的图像文件，或者通过旋转图像(调整图像的方向以校正倾斜 (天顶校正))来记录图像。对于姿势检测单元55，可以使用多个传感器(例如加速度传感器、陀螺仪传感器、地磁传感器、方位传感器、高度传感器)中的一个或组合。利用构成姿势检测单元55的加速度传感器、陀螺仪传感器、或方位传感器等，也可以检测数字照相机100的运动(平摇、纵摇、抬起、静止)。
麦克风20拾取作为运动图像的VR图像(VR运动图像)的声音所记录的数字照相机100周围的声音。连接I/F 25是相对于外部设备发送/接收影像所用的与
Figure BDA0002193707580000111
线缆、或USB线缆等连接的连接插头。
图2A是作为根据本实施例的显示控制设备的示例的显示设备200的外观图。例如，显示设备200是智能电话。显示单元205显示图像和各种信息。显示单元205与触摸面板206a集成，从而可以检测到对显示单元205的显示面的触摸操作。显示设备200可以在显示单元205上VR显示由数字照相机100生成的VR图像(VR内容)。操作单元206b是用于切换显示设备200的电源的接通/ 断开的电源按钮。操作单元206c和操作单元206d是用于增加/减少从声音输出单元212输出的声音的音量的音量按钮。操作单元206e是用于在显示单元205 上显示主画面的主按钮。声音输出端子212a是耳机插孔，并且是用于将音频信号输出到耳机或外部扬声器等的端子。扬声器212b是内置的扬声器，用于输出声音。
图2B是描述显示设备200的结构示例的框图。CPU 201、存储器202、非易失性存储器203、图像处理单元204、显示单元205、操作单元206、记录介质I/F 207、外部I/F 209和通信I/F 210连接到内部总线250。此外，声音输出单元212和姿势检测单元213也连接到内部总线250。连接到内部总线250的各个单元可以经由内部总线250彼此交换数据。
CPU 201是全面控制显示设备200的控制单元，并且包括至少一个处理器或电路。例如，存储器202包括RAM(例如，使用半导体元件的易失性存储器)。例如，CPU 201根据非易失性存储器203中所存储的程序、使用存储器 202作为工作存储器来控制显示设备200的各个单元。在非易失性存储器203 中，存储图像数据、音频数据、其它数据和CPU 201操作所用的各种程序。例如，非易失性存储器203包括闪存或ROM。
基于CPU 201的控制，图像处理单元204对非易失性存储器203和记录介质208中所存储的图像、经由外部I/F 209获取的图像信号、和经由通信I/F 210 获取的图像等进行各种图像处理。图像处理单元204进行的图像处理包括A/D 转换处理、D/A转换处理、图像数据编码处理、压缩处理、解码处理、放大/ 缩小处理(调整大小)、降噪处理和颜色转换处理。此外，图像处理单元204 进行诸如全景展开、映射处理和VR图像的转换等的各种类型的图像处理，该VR图像是全方位图像或者即使不是全方位图像也是具有宽范围影像的宽范围图像。图像处理单元204可以包括用于进行特定图像处理的专用电路块。取决于图像处理的类型，CPU 201可以在不使用图像处理单元204的情况下根据程序进行图像处理。
显示单元205例如基于CPU 201的控制来显示图像和图形用户界面(GUI) 画面。CPU 201根据程序生成显示控制信号，并控制显示设备200的各个单元，从而生成用于在显示单元205上显示图像的图像信号并输出到显示单元205。显示单元205基于生成的图像信号显示图像。根据本实施例的显示控制设备可以包括相当于输出在显示单元205上显示图像的图像信号的接口的结构，并且显示单元205可以包括外部监视器(例如TV、HMD)。
操作单元206是用于接收用户操作输入的输入装置，并且包括文本信息输入装置(例如键盘)、指向装置(例如鼠标、触摸面板)、按钮、拨盘、操纵杆、触摸传感器和触摸面板。在本实施例中，操作单元206包括触摸面板206a 和操作单元206b、206c、206d以及206e。
诸如存储卡、CD和DVD等的记录介质208可以可拆卸地安装在记录介质 I/F 207上。记录介质I/F 207基于CPU 201的控制从所安装的记录介质208读取数据，或者将数据写入记录介质208。例如，对于记录介质208，可以安装记录由数字照相机100生成的全景球面图像的记录介质90。在这种情况下，从记录介质208读出VR图像的图像信号，并在显示单元205上显示。外部I/F 209 是用于以无线方式或经由线缆连接外部设备，并输入/输出视频信号和音频信号的接口。通信I/F 210是与外部设备、或互联网211等通信的接口，并发送/接收各种数据(例如文件、指示)。通信I/F 210可以经由无线LAN、线缆LAN、
Figure BDA0002193707580000131
或
Figure BDA0002193707580000132
低功耗等与外部设备通信。
声音输出单元212输出运动图像和音乐数据(声音文件)的声音、操作声音、铃声和各种通知音。假设声音输出单元212包括用于连接耳机等的声音输出端子212a和扬声器212b，但是声音输出单元212可以经由例如无线通信向外部扬声器输出声音数据。
姿势检测单元213检测显示设备200相对于重心方向的姿势。基于由姿势检测单元213检测到的姿势，例如可以判别显示设备200是水平保持还是垂直保持、是指向上还是指向下、或是否转动到对角姿势。还可以判别显示设备 200是否在旋转方向上(例如横摆方向、俯仰方向、侧倾方向)倾斜、倾斜时的倾斜量、以及显示设备200是否在该旋转方向上旋转。对于姿势检测单元213，可以使用多个传感器(例如加速度传感器、陀螺仪传感器、地磁传感器、方位传感器、高度传感器)中的一个或组合。如果根据本实施例的显示控制设备是与显示设备分离的设备(在显示单元205为外部监视器的情况下)，则姿势检测单元213可以不设置在显示控制设备中，而是设置在显示设备中。
如上所述，操作单元206包括触摸面板206a。触摸面板206a是被配置为作为叠加在显示单元205上的平面的输入装置，从而输出与接触位置相对应的坐标信息。CPU 201可以检测触摸面板206a的以下操作或状态。
·没有触摸触摸面板206a的手指或笔触摸触摸面板206a，即触摸的开始(以下称为触及)。
·手指或笔正触摸触摸面板206a(以下称为触摸持续)。
·手指或笔在触摸触摸面板206a的状态下正在移动(以下称为触摸移动)。
·触摸触摸面板206a的手指或笔从触摸面板206a释放，即触摸的结束(以下称为触摸停止)。
·没有任何事物触摸触摸面板206a(以下称为未触摸)。
在检测到触及时，同时检测到触摸持续。在触及之后，除非检测到触摸停止，否则通常继续检测到触摸持续。在检测到触摸移动时，也同时检测到触摸持续。即使检测到触摸持续，除非触摸位置移动，否则也不会检测到触摸移动。在检测到触摸触摸面板206a的所有手指或笔的触摸停止时，检测到未触摸。
将这些操作和状态以及手指或笔触摸的触摸面板206a上的位置坐标经由内部总线250通知至CPU 201，并且CPU 201基于所通知的信息来判断在触摸面板206a上进行了哪种操作(触摸操作)。关于触摸移动，还可以基于位置坐标的变化针对触摸面板206a上的各个垂直分量和水平分量判断手指或笔在触摸面板206a上移动的移动方向。如果检测到超过预定距离的触摸移动，则判断为进行了滑动操作。
使触摸触摸面板206a的手指在继续触摸触摸面板206a的同时快速移动一定距离、然后释放手指的操作称为轻拂(flick)。换句话说，轻拂是在触摸面板206a上快速扫过手指的操作。在检测到预定速度以上的预定距离以上的触摸移动、并且之后立即检测到触摸停止时，判断为进行了轻拂(判断为在滑动操作之后进行了轻拂)。
同时触摸多个部位(例如两个点)并移动触摸位置以彼此靠近的操作称为捏合(pinch-in)，并且移动这些触摸位置以彼此远离的操作称为分开 (pinch-out)。分开和捏合统称为捏分(pinch)操作(或捏分)。作为触摸面板206a，可以使用任何类型的触摸面板：诸如电阻膜型、电容型、表面声波型、红外型、电磁感应型、图像识别型和光学传感器型等。一些类型在触摸接触面板时检测出触摸，并且其它类型在手指或笔靠近面板时检测出触摸，但是可以使用任何类型。
图2C是可以安装显示设备200的VR护目镜(头戴式适配器)300的外观图。显示设备200可以通过安装在VR护目镜300中用作头戴式显示器。插入槽301 是用于插入显示设备200的插入槽。整个显示设备200可以通过使显示单元 205的显示面朝向用于将VR护目镜300固定至用户的头部的头带302的一侧 (即，朝向用户)定位来插入VR护目镜300。用户可以在不需要通过手部保持显示设备200、而将插入显示设备200的VR护目镜300佩戴在其头部上的状态下，观看显示单元205。在这种情况下，当用户移动其头部或身体时，显示设备200的姿势改变。姿势检测单元213检测此时的显示设备200的姿势的改变，并且CPU 201基于姿势的改变进行VR显示所用的处理。这里，姿势检测单元213检测显示设备200的姿势等同于检测用户的头部的姿势(用户的视线指向的方向)。显示设备200本身可以是在不使用VR护目镜的情况下可以佩戴在头部上的HMD。
显示设备200可以使用图像处理单元204对VR图像进行天顶校正。天顶校正是用于对VR图像的俯仰角和侧倾角进行校正使得VR图像中的天顶方向变为预定方向(VR空间中的天顶方向)的倾斜校正。显示设备200可以显示进行天顶校正之后的图像，或者可以显示未进行天顶校正的图像。如上所述，数字照相机100也可以进行天顶校正。天顶校正可以由数字照相机100或显示设备200进行。
图3是描述显示设备200的图像再现处理的示例的流程图。通过CPU 201 将非易失性存储器203中所存储的程序(例如用于实现记录介质208中所存储的VR图像的VR显示的特定应用程序)展开到存储器202中并执行该程序来实现图像再现处理。记录介质208中所存储的VR图像是由数字照相机100、或标准全景球面图像照相机等拍摄的VR图像。将表示天顶方向的拍摄(投影) 位置的天顶信息作为元数据附加到VR图像。
在步骤S301中，CPU 201根据附加到(嵌入在)VR图像的天顶信息以及姿势检测单元213的检测结果(显示设备200的姿势(方向))，确定作为VR图像的一部分的显示范围。然后，CPU 201在显示单元205上显示所确定的显示范围。由此实现了用于在显示单元205上显示与用户转动显示设备200的方向相对应的范围(VR图像的一部分)的VR显示。图4A至图4E是由使用三脚架定位在道路上的全景球面图像照相机所拍摄的VR图像的VR显示示例。例如，图4A 是当显示单元205的显示面指向水平方向(与地面平行的方向)时进行的显示。
然后，在步骤S302中，CPU 201判断显示单元205的显示面是否变为天顶方向。换句话说，CPU 201基于用户转动显示设备200的方向来检测VR图像中的方向，并判断检测到的方向是否为天底方向(地面方向)，即VR图像的当前显示范围是否为在天底方向(地面方向)投影的范围。如果判断为显示面转向天顶方向(显示范围为在天底方向投影的范围内)，则处理进入步骤S303。另一方面，如果判断为显示面没有转向天顶方向(显示范围不是在天底方向投影的范围)，则处理进入步骤S306。优选地，在允许一定量的误差的情况下判断显示面是否转向天顶方向，但这是可选的。
在步骤S306中，CPU 201删除在稍后描述的步骤S304和S305中显示的图形图像(不显示图形图像)。然后，处理进入步骤S307。
在步骤S303中，CPU 201判断在显示设备200中是否设置了背景填充模式。如果判断为设置了背景填充模式，则处理进入步骤S304，以及如果未设置，则处理进入步骤S305。
在步骤S304中，为了改善在步骤S305中显示的图形图像(信息图像)的可见性，CPU201在显示单元205上显示作为信息图像的背景的图形图像(背景图像)以叠加在VR图像(当前显示范围)上。背景图像叠加在当前显示范围的一部分上，尤其是显示信息图像的区域上。然后，处理进入S305。不具体限制背景图像的颜色、形状、大小和透明度等。背景图像可以是单色图像或多色图像(或具有图案的图像)。为了使VR图像透射，背景图像可以透明或可以不透明。背景图像可以具有诸如矩形和圆形(包括椭圆)等的特定形状。
在步骤S305中，CPU 201在显示单元205上显示作为在屏显示(OSD)的信息图像，以叠加在VR图像上(当前显示范围)。当进行步骤S304中的处理时，信息图像叠加在背景图像上。然后，处理进入步骤S307。信息图像表示可能对用户有用的信息，诸如与当前显示的VR图像有关的信息。具体而言，信息图像至少表示以下中的任何一个：VR图像的图像文件名、文件大小(数据大小)、图像大小、拍摄日期和时间以及可交换图像文件格式(EXIF)信息。EXIF信息表示拍摄图像时的设置条件。信息图像可以是独立于显示对象VR 图像的信息，诸如显示设备200的当前时间和剩余电量。信息图像还可以表示与VR图像的被摄体无关的信息。信息图像可以是字符串(文本图像)，或者与信息相对应的图标和图形。
图4B表示未设置背景填充模式且显示信息图像的状态。图4C表示设置了背景填充模式并且显示无透明度的背景图像和信息图像的状态。图4D表示设置了背景填充模式且显示具有透明度的背景图像和信息图像的状态。
在步骤S307中，CPU 201判断是否进行了再现结束操作(用于结束图像再现处理的操作)。如果判断为进行了再现结束操作，则CPU 201结束图像再现处理。如果未进行再现结束操作，则处理返回步骤S301。在步骤S301中，如果显示设备200的姿势改变，则显示范围改变。
在VR范围中，很可能在天底方向(地面方向)投影的范围的图像值低。换句话说，当观看VR图像时，在天底方向的图像的范围包括三脚架和保持摄像设备的用户的手部的图像。因此，观看者未必愿意关注该范围内的图像，或者用户未必愿意示出该范围内的图像。根据上述图像再现处理，如果显示范围是在天底方向投影的范围，则显示图形图像以叠加在显示范围上，以及如果显示范围不是在天底方向投影的范围，则不显示图形图像。由此用户可以在不会感知(几乎不会感知)图形图像妨碍要观看的被摄体的情况下观看 VR图像(图形图像部分和其它部分)(用户友好方面改善)。此外，通过显示图形图像，可以有效地利用VR图像的图像值低的范围。此外，用户可以通过诸如将显示面向天顶方向转动等的预定操作来检查图形图像，因此可以在期望的定时容易地检查图形图像(改善用户友好方面)。
优选地，固定图形图像相对于用户的方向。例如，优选地，即使在保持将显示面向天顶方向转动的状态的同时显示设备200围绕作为旋转轴的天顶方向旋转，也不改变图形图像相对于用户的方向。另外，优选地，相对于用户在正常位置显示图形图像。将参考图5A至图5C描述该方法。
图5A表示在保持将显示面向天顶方向转动的状态的同时，显示面(显示设备200)围绕作为旋转轴的天顶方向旋转的状态。此时，CPU 201根据显示面的旋转而旋转显示范围，并沿显示范围的旋转方向(显示面的旋转方向)的相反方向旋转图形图像。换句话说，在显示范围是在天底方向投影的范围的情况下，CPU 201根据显示范围围绕作为旋转轴的天底方向(天顶方向)的旋转，沿显示范围的旋转方向的相反方向旋转图形图像。由此当在保持显示面向天顶方向转动的同时围绕作为旋转轴的天顶方向旋转显示设备200时，图形图像相对于用户的方向可以保持恒定。
此外，如图5B所示，在显示面转动到天顶方向之前，显示面相对于天顶方向在一定方向上倾斜。然后，在与显示面平行的多个方向中，唯一确定与天顶方向(相对于地面的法线)形成的角度最小的方向。在图5B中，角度Θ为天顶方向与显示面之间的最小角度，虚线501表示与天顶方向形成的角度为最小角度Θ的方向。图5C中的虚线502表示当天顶方向投影到显示面时获取的、并且与形成最小角度Θ的虚线501一致的方向。CPU 201开始以虚线501 和502的方向为图形图像的向上方向而显示图形图像。根据人手部的自然运动，通过该方法可以开始图形图像的显示以使得图形图像相对于用户显示在正常位置。
通过图5A中描述的方法以及图5B和图5C中描述的方法，可以如图4E中所示，在相对于用户的正常位置的状态下连续显示图形图像。
图6是描述数字照相机100的摄像处理的示例的流程图。由系统控制单元 50将非易失性存储器56中所存储的程序展开到系统存储器52中并执行该程序来实现摄像处理。
在步骤S601中，系统控制单元50判断是否全按下快门按钮61。换句话说，系统控制单元50判断是否通过接通第二快门开关64而生成了第二快门开关信号SW2。重复步骤S601中的处理，直到判断为全按下快门按钮61，并且如果全按下快门按钮61，则处理进入步骤S602。
在步骤S602中，系统控制单元50将摄像单元22a和22b的摄像结果写入 (展开)存储器32中。可以单独写入由摄像单元22a拍摄的图像和由摄像单元 22b拍摄的图像，或者可以通过对由摄像单元22a和22b拍摄的两个图像进行合成生成单个VR图像、并且可以写入该VR图像。存在各种写入方法，但可以使用任何一种。在步骤S602中，系统控制单元50将姿势检测单元55的检测结果(数字照相机100的当前姿势)记录在系统存储器52中。
然后，在步骤S603中，系统控制单元50判断在数字照相机100中是否设置了信息压印模式。如果设置了信息压印模式，则处理进入步骤S604，如果未设置信息压印模式，则处理进入步骤S608。
然后，在步骤S604中，系统控制单元50基于系统存储器52中所存储的姿势检测单元55的检测结果，指定存储器32中所存储的VR图像中的天底位置 (拍摄天底方向(地面方向)的位置)。这里，系统存储器52中所存储的检测结果是在步骤S602中记录的检测结果，并表示当拍摄VR图像时(当进行摄像处理时)数字照相机100的姿势。存储器32中所存储的VR图像是在步骤S602中写入(展开)的VR图像。
然后，在步骤S605中，系统控制单元50判断在数字照相机100中是否设置了背景填充模式。如果设置了背景填充模式，则处理进入步骤S606，如果未设置背景填充模式，则处理进入步骤S607。
在步骤S606中，为了改善要在步骤S607中合成的信息图像的可见性，系统控制单元50将作为信息图像的背景的背景图像与存储器32中所存储的VR 图像相合成(将背景图像叠加在VR图像上)。背景图像叠加在步骤S604中所指定的位置上。然后，处理进入步骤S607。正如图3中的图像再现处理一样，在步骤S606中要合成的背景图像的颜色、形状、透明度等不受特定限制。
在步骤S607中，系统控制单元50将图像信息与存储器32中所存储的VR 图像相合成(将信息图像叠加在VR图像上)。信息图像(文本图像、图标、图形)叠加在步骤S604中所指定的位置上。如果进行了步骤S606中的处理，则信息图像叠加在背景图像上。然后，处理进入步骤S608。正如图3中的图像再现处理一样，步骤S607中合成的信息图像表示可能对用户有用的信息(例如存储器32中所存储的VR图像的图像文件名、图像大小、摄像日期和时间以及EXIF信息)。在传统的卤化银照相机中，合成诸如摄像日期和时间等的的基本信息，因此优选将诸如摄像日期和时间等的基本信息与由摄像设备拍摄并输出的VR图像相合成。换句话说，优选地，步骤S607中合成的信息图像表示诸如存储器32中所存储的VR图像的摄像日期和时间等的基本信息。
将等距圆柱投影所展开的VR图像从等距圆柱投影格式展开(转换)为VR 显示所用的全景球面图像格式。因此，为了将图形图像(背景图像和信息图像)与等距圆柱投影展开的VR图像相合成，通过进行等距圆柱投影图像格式转换为全景球面投影图像格式的逆转换来合成图形图像。因此，可以在VR 显示中以期望的形式显示图形图像。此外，为了在未设置背景填充模式时改善信息图像的可见性，可以将以与主色(框内的颜色)不同的颜色设计的图像用于信息图像。
在步骤S608中，系统控制单元50生成包括存储器32中所存储的VR图像 (图像数据)的图像文件，并将图像文件写入记录介质90。然后，系统控制单元50结束摄像处理。如果设置了信息压印模式，则将合成有信息图像的VR 图像(合成图像)写入记录介质90。如果未设置信息压印模式，则将未合成信息图像和背景图像的VR图像写入记录介质90。
如上面在图3中所述，在天底方向(地面方向)拍摄的范围内的图像的图像值很可能低。根据上述摄像处理，通过将图形图像叠加在VR图像的拍摄天底方向的图像的位置处来生成合成图像。因此当VR显示摄像处理中所生成的合成图像时，用户可以在不会感知(或几乎不会感知)图形图像的妨碍的情况下观看VR图像(图形图像部分和其它部分两者)(改善用户友好方面)。
在图3的图像再现处理和图6的摄像处理中，叠加图形图像的方向不限于天底方向(地面方向)。例如，特定方向可以是天顶方向(天空方向)。天底方向和天顶方向中的一个可以用作特定方向，或者天底方向和天顶方向两者都可以用作特定方向。当VR图像不是360°图像(全景球面图像)而是180°图像(半球面图像)时，在背面方向没有图像，因此背面方向可以用作特定方向。
在图3中的图像再现处理中，CPU 201可以根据拍摄VR图像时摄像设备 (例如数字照相机100)的方向来确定特定方向，使得在天顶方向和天底方向之间切换特定方向。以同样的方式，在图6中的摄像处理中，系统控制单元50 可以根据拍摄VR图像时数字照相机100的方向来确定特定方向，使得在天顶方向和天底方向之间切换特定方向。
因此，可以防止当拍摄图像时将图形图像显示于在用户正关注的方向 (天顶方向或天底方向)上拍摄图像的位置，并且改善了用户友好方面。例如，如果摄像设备在拍摄图像时指向上，则可能用户正关注向上的方向(天顶方向)，因此将天底方向视为特定方向(图形图像应显示于在天底方向拍摄到的位置)。另一方面，如果摄像设备在拍摄图像时指向下，则可能用户正关注向下的方向(天底方向)，因此将天顶方向视为特定方向(图形图像应显示于在天顶方向拍摄到的位置)。
然而，也可能在摄像设备指向上时用户正关注向下的方向(天底方向)。此外，还可能在摄像设备指向下时用户正关注向上的方向(天顶方向)。在这种情况下，如果摄像设备在拍摄图像时指向上，则可以将天顶方向视为特定方向，并且如果摄像设备在拍摄图像时指向下，则可以将天底方向视为特定方向。
在数字照相机100中，姿势检测单元55检测数字照相机100的姿势。因此系统控制单元50可以基于姿势检测单元55的检测结果(拍摄VR图像时数字照相机100的姿势)确定特定方向。
另一方面，显示设备200不能直接检测摄像设备的姿势。然而，显示设备200可能能够基于VR图像确定拍摄VR图像时摄像设备的姿势。在这种情况下，CPU 201可以基于VR图像确定特定方向。如果在VR图像的元数据中包括表示拍摄VR图像时摄像设备的姿势的姿势信息，则CPU 201可以基于姿势信息确定特定方向。然而，一般不将姿势信息附加到VR图像。通常通过等距圆柱投影展开VR图像并对其进行记录。当记录通过等距圆柱投影展开的 VR图像时，附加表示VR图像中的天顶位置(拍摄天顶方向的位置)的天顶信息作为元数据。另外，可以基于天顶信息确定摄像设备的姿势。因此，优选地，CPU 201基于天顶信息确定特定方向。
存在两种通过等距圆柱投影展开VR图像的方法。第一种展开方法是：在不校正VR图像的角度的情况下，即在不进行天顶校正(倾斜校正)的情况下，通过等距圆柱投影展开由摄像单元所获取的VR图像。根据第一种展开方法，可以减少图像连接处理(用于通过对由多个摄像单元获取到的多个图像进行合成来获取单个VR图像的处理)的处理负荷和处理时间。然而，由于摄像设备的姿势反映在通过等距圆柱投影所展开的VR图像中，因此在VR图像中难以识别天顶方向、天底方向、和水平方向(与地面平行的方向)等。第二种展开方法是：基于摄像设备的姿势对由摄像单元所获取的VR图像的角度进行校正(即进行天顶校正)，并通过等距圆柱投影展开天顶校正后的VR图像。在第二种展开方法的情况下，等距圆柱投影所展开的VR图像的下端位置变为天底位置(拍摄天底方向的位置)，上端位置变为天顶位置(拍摄天顶方向的位置)。根据第二种方法，由于摄像设备的姿势不反映在通过等距圆柱投影所生成的VR图像中，所以在VR图像中容易识别天顶方向、天底方向、和水平方向(与地面平行的方向)等。然而，由于进行了天顶校正，所以图像连接处理的处理负荷和处理时间增加。因此，展开方法根据摄像设备而不同。如果使用天顶信息，则无论采用何种展开方法，都可以进行适当的VR显示(VR空间和真实空间看起来相同的VR显示(诸如通过将显示面向天顶方向转动来显示天底方向))。
根据第一种展开方法，在通过等距圆柱投影所展开的VR图像中，天顶位置随拍摄图像时摄像设备的姿势而改变，并且不管拍摄图像时摄像设备的姿势如何，摄像设备拍摄各个方向的位置变成预定位置。换句话说，摄像设备的摄像设备把手侧(三脚架侧)被拍摄为在通过等距圆柱投影展开的VR图像中的预定位置。例如，如果摄像设备的把手位于摄像单元的下侧，则把手侧被拍摄为在通过等距圆柱投影展开的VR图像的下端部分。另一方面，根据第二种展开方法，进行天顶校正，因此在通过等距圆柱投影展开的VR图像中，无论拍摄图像时摄像设备的姿势如何，天顶位置变成预定位置。摄像设备拍摄各个方向的位置根据拍摄图像时摄像设备的姿势而改变。换句话说，摄像设备的把手位置根据拍摄图像时摄像设备的姿势而改变。
在第一种展开方法的情况下，CPU 201可以基于天顶信息(通过等距圆柱投影所展开的VR图像中的天顶位置)判断在拍摄图像时摄像设备是从水平线向上转动还是从水平线向下转动。具体而言，如果天顶位置位于通过等距圆柱投影所展开的VR图像的上半区域，则判断为拍摄图像时摄像设备从水平线向上转动。另一方面，如果天顶位置位于通过等距圆柱投影所展开的VR 图像的下半区域，则判断为摄像设备从水平线向下转动。因此，CPU 201可以通过用于基于天顶信息确定特定方向的处理确定更合适的特定方向。
另一方面，在第二种展开方法的情况下，天顶信息(通过等距圆柱投影所展开的VR图像中的天顶位置)是固定的，因此不能基于天顶信息判断拍摄图像时摄像设备的姿势。如果VR图像的元数据中包括表示把手侧图像在VR 图像中的位置的把手位置信息，则CPU 201可以基于把手的位置信息判断拍摄图像时摄像设备的姿势。然而，通常不将把手位置信息附加到VR图像。
无论展开方法是第一展开方法还是第二展开方法，CPU 201都可以基于天顶信息确定特定方向。如上所述，在第一种展开方法的情况下，可以通过用于基于天顶信息确定特定方向的处理更适当地确定特定方向。另一方面，在第二种展开方法的情况下，无论拍摄图像时摄像设备的姿势如何，天顶位置总是位于通过等距圆柱投影所展开的VR图像的上半区域。因此，无论拍摄图像时摄像设备的姿势如何，通过用于基于天顶信息确定特定方向的处理总是将同一方向确定为特定方向。例如，总是将天底方向确定为特定方向。换句话说，在不进行基于天顶信息确定特定方向的处理的情况下，实现了与固定特定方向的情况类似的状态。这意味着对于第二种展开方法即使进行了用于基于天顶信息确定特定方向的处理，也不会不适当地确定特定方向。
上述由系统控制单元50进行的各种控制可以由一个硬件组件进行，或者可以由多个硬件组件(例如多个处理器和电路)共享，从而控制整个设备。以同样的方式，上述由CPU201进行的各种控制可以由一个硬件组件执行，或者可以由多个硬件组件(例如多个处理器和电路)共享，从而控制整个设备。
尽管基于本发明的优选实施例描述了本发明，但本发明不限于这些具体实施例，而是本发明还包括在不偏离本发明本质的范围内的各种模式。此外，上述各个实施例仅是本发明的示例，并且可以根据需要进行组合。
在上述实施例中，将本发明应用于数字照相机或显示设备，但本发明不限于这些示例，而是适用于可以拍摄VR图像或在显示单元上显示VR图像的任何设备(电子设备)。例如，本发明适用于个人计算机、PDA、便携式电话终端、便携式图像观看器、打印机、数字相框、音乐播放器、游戏机、电子书阅读器以及视频播放器等。本发明还适用于TV、投影设备、平板终端、智能电话、AI扬声器、家用电子设备、车载设备以及医疗设备等。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (12)

1.一种显示控制设备，包括：
显示控制单元，其被配置为进行控制以在显示单元的画面上显示图像的与观看方向相对应的部分；以及
改变单元，其被配置为与改变所述观看方向相对应地改变所述图像的所述部分；
其中，所述显示控制单元进行控制以：
在所述显示单元的显示面转向特定方向以使得所述图像的与所述观看方向相对应地显示的所述部分是在所述特定方向上拍摄的所述图像中的范围的情况下，显示叠加在所述图像的所述部分上的图形图像；以及
在所述显示单元的所述显示面没有转向所述特定方向以使得所述图像的与所述观看方向相对应地显示的所述部分不是在所述特定方向上拍摄的所述图像中的范围的情况下，删除或者不显示叠加在所述图像的所述部分上的图形图像；以及
其中，所述特定方向是天顶方向和天底方向中的至少一个。
2.根据权利要求1所述的显示控制设备，还包括确定单元，所述确定单元被配置为基于所述图像确定所述特定方向，使得所述特定方向根据拍摄所述图像时的摄像设备的方向而在所述天顶方向和所述天底方向之间切换。
3.根据权利要求1或2所述的显示控制设备，
其中，在所述图像的与所述观看方向相对应地显示的所述部分是在所述特定方向上拍摄的所述图像中的所述范围的情况下，所述显示控制单元根据所述图像的所述部分围绕作为旋转轴的所述特定方向的旋转进行控制，使得所述图形图像在所述图像的所述部分的旋转方向的相反方向上旋转。
4.根据权利要求1或2所述的显示控制设备，其中，所述图形图像表示所述图像的文件名、所述图像的摄像日期和时间、所述图像的大小和所述图像的可交换图像文件格式信息即EXIF信息中的至少一个。
5.根据权利要求1或2所述的显示控制设备，
其中，所述图形图像表示独立于所述图像的信息。
6.根据权利要求1或2所述的显示控制设备，
其中，所述图形图像表示与所述图像的被摄体无关的信息。
7.根据权利要求1或2所述的显示控制设备，还包括：
姿势检测单元，其被配置为检测具有所述画面的所述显示单元的姿势，
其中，所述观看方向基于所检测到的所述显示单元的姿势而改变。
8.根据权利要求1或2所述的显示控制设备，还包括：
操作检测单元，其被配置为检测针对预定操作构件的用户操作；
其中，所述观看方向基于所检测到的用户操作而改变。
9.根据权利要求1或2所述的显示控制设备，
其中，所述图像是通过对由多个图像传感器拍摄到的多个图像进行预定图像处理而生成的，并且被记录在记录介质中，
其中，所述显示控制单元从所述记录介质读取所述图像并显示所述图像的所述部分。
10.根据权利要求1或2所述的显示控制设备，其中，所述图像是360°图像或180°图像。
11.一种显示控制设备的控制方法，所述控制方法包括：
显示控制步骤，用于进行控制以在显示单元的画面上显示图像的与观看方向相对应的部分；以及
改变步骤，用于与改变所述观看方向相对应地改变所述图像的所述部分，
其中，在所述显示控制步骤中，进行控制以：
在所述显示单元的显示面转向特定方向以使得所述图像的与所述观看方向相对应地显示的所述部分是在所述特定方向上拍摄的所述图像中的范围的情况下，显示叠加在所述图像的所述部分上的图像图像；以及
在所述显示单元的所述显示面没有转向所述特定方向以使得所述图像的与所述观看方向相对应地显示的所述部分不是在所述特定方向上拍摄的所述图像中的范围的情况下，删除或者不显示叠加在所述图像的所述部分上的图形图像；以及
其中，所述特定方向是天顶方向和天底方向中的至少一个。
12.一种存储程序的计算机可读介质，所述程序使计算机用作根据权利要求1至10中任一项所述的显示控制设备的各个单元。
CN201910840970.5A 2018-09-06 2019-09-06 显示控制设备、控制方法和计算机可读介质 Active CN110881097B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-166929 2018-09-06
JP2018166929A JP2020042064A (ja) 2018-09-06 2018-09-06 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体

Publications (2)

Publication Number Publication Date
CN110881097A CN110881097A (zh) 2020-03-13
CN110881097B true CN110881097B (zh) 2022-01-04

Family

ID=67658625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910840970.5A Active CN110881097B (zh) 2018-09-06 2019-09-06 显示控制设备、控制方法和计算机可读介质

Country Status (7)

Country Link
US (1) US20200084385A1 (zh)
EP (1) EP3621295A1 (zh)
JP (1) JP2020042064A (zh)
KR (1) KR102477993B1 (zh)
CN (1) CN110881097B (zh)
BR (1) BR102019017826A2 (zh)
RU (1) RU2740119C1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327833B (zh) * 2020-03-31 2021-06-01 厦门美图之家科技有限公司 辅助拍摄方法、装置、电子设备和可读存储介质
CN112312116B (zh) * 2020-07-08 2022-09-16 青岛一舍科技有限公司 一种自动适配于移动设备的vr图像显示方法及装置
CN116457745A (zh) * 2020-10-27 2023-07-18 富士胶片株式会社 显示控制装置、显示控制方法及显示控制程序

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085197A (ja) * 2010-10-14 2012-04-26 Dainippon Printing Co Ltd 広角撮影画像へのスーパーインポーズ方法および装置
CN103141078A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像显示装置及图像显示方法
EP2613296A1 (en) * 2010-08-30 2013-07-10 The University of Tokyo Mixed reality display system, image providing server, display apparatus, and display program
CN103888646A (zh) * 2012-12-21 2014-06-25 佳能株式会社 摄像设备和摄像设备的控制方法
CN105379244A (zh) * 2013-05-28 2016-03-02 奥林巴斯株式会社 摄像装置和摄像方法
WO2018101227A1 (ja) * 2016-11-29 2018-06-07 シャープ株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244511A (ja) 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
JP4508049B2 (ja) * 2005-09-05 2010-07-21 株式会社日立製作所 ３６０°画像撮影装置
JP2009021733A (ja) 2007-07-11 2009-01-29 Casio Comput Co Ltd 画像ファイル生成装置、及び、画像ファイル生成プログラム
JP6299067B2 (ja) * 2013-02-14 2018-03-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
BR102014028946B1 (pt) * 2014-11-19 2023-01-10 Samsung Eletrônica Da Amazônia Ltda Método para ajustar dinamicamente a exibição de um teclado virtual
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP6597259B2 (ja) * 2015-12-10 2019-10-30 株式会社リコー プログラム、情報処理装置、画像表示方法、画像処理システム
US11284124B2 (en) * 2016-05-25 2022-03-22 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
JP6724659B2 (ja) * 2016-08-30 2020-07-15 株式会社リコー 撮影装置、方法およびプログラム
CN108259782A (zh) * 2016-12-28 2018-07-06 株式会社理光 图像处理装置、摄影系统、图像处理方法
CN115695648A (zh) * 2020-10-15 2023-02-03 华为技术有限公司 一种界面显示方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2613296A1 (en) * 2010-08-30 2013-07-10 The University of Tokyo Mixed reality display system, image providing server, display apparatus, and display program
CN103141078A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像显示装置及图像显示方法
JP2012085197A (ja) * 2010-10-14 2012-04-26 Dainippon Printing Co Ltd 広角撮影画像へのスーパーインポーズ方法および装置
CN103888646A (zh) * 2012-12-21 2014-06-25 佳能株式会社 摄像设备和摄像设备的控制方法
CN105379244A (zh) * 2013-05-28 2016-03-02 奥林巴斯株式会社 摄像装置和摄像方法
WO2018101227A1 (ja) * 2016-11-29 2018-06-07 シャープ株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム

Also Published As

Publication number Publication date
US20200084385A1 (en) 2020-03-12
CN110881097A (zh) 2020-03-13
KR20200028298A (ko) 2020-03-16
EP3621295A1 (en) 2020-03-11
JP2020042064A (ja) 2020-03-19
BR102019017826A2 (pt) 2020-03-17
RU2740119C1 (ru) 2021-01-11
KR102477993B1 (ko) 2022-12-15

Similar Documents

Publication Publication Date Title
CN110691187B (zh) 电子装置、电子装置的控制方法和计算机可读介质
CN111385470B (zh) 电子设备、电子设备的控制方法和计算机可读介质
US10924789B2 (en) Display control apparatus, control method for display control apparatus, and non-transitory computer readable medium
CN110881097B (zh) 显示控制设备、控制方法和计算机可读介质
US20210287447A1 (en) Electronic apparatus and control method therefor
US11079898B2 (en) Electronic device for controlling display of VR image, control method of electronic device, and non-transitory computer readable medium
JP7267764B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2021174317A (ja) 電子機器及びその制御方法
US20210287446A1 (en) Electronic apparatus and control method therefor
JP7204511B2 (ja) 電子機器、電子機器の制御方法、プログラム
CN110881102B (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
US11558599B2 (en) Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium
US11049220B2 (en) Display control apparatus, display control method, and non-transitory computer readable medium
JP7336200B2 (ja) 電子機器及びその制御方法
JP2023120679A (ja) 電子機器、電子機器の制御方法、プログラム
JP2020205554A (ja) 表示制御装置、その制御方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant