CN108965656B - 显示控制设备、显示控制方法和存储介质 - Google Patents

显示控制设备、显示控制方法和存储介质 Download PDF

Info

Publication number
CN108965656B
CN108965656B CN201810516805.XA CN201810516805A CN108965656B CN 108965656 B CN108965656 B CN 108965656B CN 201810516805 A CN201810516805 A CN 201810516805A CN 108965656 B CN108965656 B CN 108965656B
Authority
CN
China
Prior art keywords
display
captured image
image
unit
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810516805.XA
Other languages
English (en)
Other versions
CN108965656A (zh
Inventor
水野贵義
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108965656A publication Critical patent/CN108965656A/zh
Application granted granted Critical
Publication of CN108965656B publication Critical patent/CN108965656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/047
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • G06T3/12
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

本发明涉及一种显示控制设备、显示控制方法和存储介质。在作为使用鱼眼镜头所拍摄到的拍摄图像的一部分的区域被指定的情况下,生成单元基于所述拍摄图像中指定的所述区域的位置来生成显示图像。所述显示图像是使所述拍摄图像绕所述拍摄图像中的预定位置转动以使得所述区域中所包括的被摄体的状态变得更正立的图像。显示控制单元使所述生成单元所生成的显示图像显示在显示单元上。

Description

显示控制设备、显示控制方法和存储介质
技术领域
本发明涉及显示控制设备、显示控制方法和存储介质。
背景技术
传统上,已知有经由网络远程地控制照相机以监视视频图像的网络照相机系统。还已知有能够控制诸如调焦、变焦、曝光、分辨率、白平衡和摄像时的帧频等的照相机设置的网络照相机系统。这种网络照相机系统可以在用户利用客户端设备确认所拍摄到的视频图像时,根据想要监视的对象来切换视频图像显示方法。视频图像显示方法的示例包括用于显示利用照相机正拍摄的整体图像的方法、用于通过切出所指定的区域来显示该所指定的区域的方法、以及用于通过将整体图像转换成全景图像来显示该全景图像的方法。这里,可以根据正监视的区域来校正要显示的视频图像。日本特开2012-119804论述了如下的技术,其中利用该技术,生成全景视频图像,使得在显示该全景视频图像的情况下,整体图像内的所指定的区域居中。
然而,用户有时发现难以识别监视对象。例如,如果将图像的显示从除整体图像以外的图像的显示切换为整体图像的显示,则由于切换之前的显示区域的角度与整体图像的角度不一致,因此用户可能会失去监视对象。
发明内容
为了在显示图像的情况下以可容易辨认的状态显示观察对象,本发明例如涉及以下的结构。
根据本发明的方面,一种显示控制设备包括:生成单元,用于在作为使用鱼眼镜头所拍摄到的拍摄图像的一部分的区域被指定的情况下,基于所述拍摄图像中指定的所述区域的位置来生成显示图像,其中所述显示图像是使所述拍摄图像绕所述拍摄图像中的预定位置转动以使得所述区域中所包括的被摄体的状态变得更正立的图像;以及显示控制单元,用于使所述生成单元所生成的所述显示图像显示在显示单元上。
此外,为了在显示图像的情况下以可容易辨认的状态显示观察对象,本发明例如涉及以下的结构。
根据本发明的另一方面,一种显示控制设备包括:生成单元,用于在作为使用鱼眼镜头所拍摄到的拍摄图像的一部分的区域被指定的情况下,基于所述拍摄图像中指定的所述区域的位置来生成显示图像,其中所述显示图像是使所述拍摄图像以所述拍摄图像中的预定位置为轴转动得到的图像,并且是以使得所述区域的位置向上方移动的方式而使所述拍摄图像转动得到的图像;以及显示控制单元,用于使所述生成单元所生成的所述显示图像显示在显示单元上。
此外,为了在显示图像的情况下以可容易辨认的状态显示观察对象,本发明例如涉及以下的结构。
根据本发明的又一方面,一种显示控制设备包括:生成单元,用于在作为使用鱼眼镜头所拍摄到的拍摄图像的一部分的区域被指定的情况下,基于所述拍摄图像中指定的所述区域的位置来生成显示图像,其中所述显示图像是使所述拍摄图像以所述拍摄图像中的预定位置为轴转动的图像,并且是以使得所述区域的位置向下方移动的方式而使所述拍摄图像转动得到的图像;以及显示控制单元,用于使所述生成单元所生成的所述显示图像显示在显示单元上。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出显示系统的硬件结构的图。
图2是示出显示系统的功能结构的图。
图3是显示控制处理的序列图。
图4A、4B和4C是各自示出显示控制处理的图。
图5A、5B和5C是各自示出变形例的图。
图6A、6B和6C是各自示出变形例的图。
图7A、7B和7C是各自示出变形例的图。
图8A、8B和8C是各自示出变形例的图。
图9是示出变形例的图。
图10是示出根据第二典型实施例的显示系统的功能结构的图。
图11是示出根据第二典型实施例的显示控制处理的流程图。
图12是示出根据第三典型实施例的显示控制处理的流程图。
图13A、13B和13C是各自示出显示控制处理的图。
具体实施方式
以下参考附图来说明典型实施例。
图1是示出根据第一典型实施例的显示系统的硬件结构的图。该显示系统包括照相机100和客户端设备110。照相机100和客户端设备110经由网络120彼此连接,使得照相机100和客户端设备110可以彼此进行通信。在本典型实施例中,照相机100是摄像设备的示例。尽管照相机100是网络照相机,但照相机100可以是不具有网络功能的照相机。此外,在本典型实施例中,如通过使用鱼眼镜头来拍摄图像的照相机那样,照相机100能够拍摄全方位图像。照相机100不必能够拍摄全方位图像,只要照相机100可以拍摄比利用具有一般镜头的照相机所拍摄到的图像相比更宽角度的图像即可。客户端设备110是诸如个人计算机等的通用计算机。这里,照相机100和客户端设备110是用于控制相对于客户端设备110的拍摄图像的显示的显示控制设备的示例。此外,客户端设备110也是显示拍摄图像的显示设备的示例。
照相机100包括摄像单元101、图像处理单元102、系统控制单元103、镜头驱动单元106、镜头控制单元107、存储单元104和通信单元105。摄像单元101包括镜头和图像传感器。摄像单元101拍摄被摄体的图像,并且将拍摄图像转换成电气信号。图像处理单元102进行针对由摄像单元101进行摄像和光电转换后的信号的预定图像处理以及压缩编码处理,以获取拍摄图像。该拍摄图像是全方位图像。
系统控制单元103包括中央处理单元(CPU)以全面控制照相机100。系统控制单元103例如分析所接收到的照相机控制命令以进行与该命令相对应的处理。系统控制单元103例如向镜头控制单元107发出变焦指示和调焦控制指示。存储单元104包括只读存储器(ROM)和随机存取存储器(RAM)。存储单元104存储各种信息和程序。系统控制单元103读取存储单元104中所存储的程序以执行该程序,使得执行以下所述的照相机100的功能及其所进行的处理。
通信单元105经由网络120与外部装置进行通信。通信单元105例如将拍摄图像和表示转动角度的角度信息经由网络120传送至客户端设备110。此外,通信单元105接收从客户端设备110发送来的照相机控制命令,并且将该照相机控制命令发送至系统控制单元103。镜头驱动单元106包括用于包含前透镜、调焦透镜和变焦透镜的透镜组的驱动系统、以及作为该驱动系统的驱动源的马达。镜头驱动单元106的操作由镜头控制单元107来控制。在本典型实施例中,利用镜头驱动单元106要驱动的透镜组包括鱼眼镜头。然而,代替鱼眼镜头,透镜组可以包括广角镜头。此外,可以省略变焦透镜。镜头控制单元107基于所接收到的指示来控制镜头驱动单元106。
客户端设备110包括显示单元111、输入单元112、系统控制单元113、存储单元114和通信单元115。显示单元111例如是液晶显示装置,并且显示从照相机100获取到的图像和照相机控制所用的图形用户界面(GUI)。输入单元112例如是键盘和诸如鼠标等的指示装置。客户端设备110的用户经由输入单元112操作GUI。通信单元115经由网络120与外部装置进行通信。通信单元115例如经由网络120从照相机100接收拍摄图像和角度信息。
系统控制单元113包括CPU以全面控制客户端设备110。系统控制单元113例如生成与用户操作相对应的照相机控制命令。将系统控制单元113所生成的照相机控制命令经由通信单元115发送至照相机100。存储单元114包括ROM和RAM以存储各种信息和程序。系统控制单元113读取存储单元114中所存储的程序以执行该程序,使得进行以下所述的客户端设备110的功能及处理。这种客户端设备110可以经由网络120从照相机100获取拍摄图像并进行各种照相机控制。
图2是示出显示系统的功能结构的图。照相机100包括通信处理单元201和角度识别单元202。通信处理单元201控制相对于客户端设备110的数据的发送和接收。通信处理单元201例如将摄像单元101所获取到的拍摄图像发送至客户端设备110。此外,通信处理单元201从客户端设备110接收区域信息。这里,区域信息表示指定拍摄图像的一个区域的信息。该一个区域是根据在客户端设备110中进行的用户操作所选择的。以下将根据用户操作所选择的这种区域称为选择区域。该选择区域可以是要切出的区域、或者作为视频图像分析的对象的区域。此外,该选择区域可以是通过视频图像分析检测到了诸如运动物体和人物等的检测对象的区域、而不是根据用户操作而选择的区域。即,选择区域可以是利用提供视频图像分析功能的视频图像分析单元(未示出)指定的区域。角度识别单元202根据区域指定信息来识别选择区域的坐标。然后,角度识别单元202基于选择区域的位置来确定转动角度。这里,术语“转动角度”表示在显示包括选择区域的拍摄图像整体的情况下、该拍摄图像整体的转动所使用的角度。以下详细说明这种处理。将表示转动角度的角度信息经由通信处理单元201发送至客户端设备110。
客户端设备110包括通信处理单元211、显示处理单元212和接收单元213。通信处理单元211控制相对于照相机100的数据的发送和接收。通信处理单元211例如接收拍摄图像和转动角度信息。显示处理单元212进行控制,使得在显示单元111上显示各种数据。显示处理单元212例如进行控制,使得根据通信处理单元211所接收到的转动角度来使拍摄图像转动,以将转动后的拍摄图像显示在显示单元111上。即,显示处理单元212生成根据所接收到的转动角度进行转动后的拍摄图像,以显示这种转动后的拍摄图像。
图3是示出显示系统所进行的显示控制处理的序列图。图4A、4B和4C是显示控制处理的图。这里,使用拍摄图像是如图4A所示的全方位图像的示例来说明显示控制处理。图4A所示的拍摄图像400是利用配置在天花板上的照相机100所拍摄的以人物作为被摄体的图像。由于照相机100使用鱼眼镜头,因此拍摄图像400具有圆形的摄像范围。如果选择拍摄图像的一个区域,则客户端设备110的显示处理单元212针对所选择的区域进行去扭曲(失真校正),以提供使用鱼眼镜头获取到的拍摄图像作为正常外观的图像,并且显示去扭曲后的图像。图4B示出显示有与图4A所示的选择区域401相对应的区域图像411的GUI 410的示例。区域图像411是选择区域401(图4A)的去扭曲后的图像。
在图3所示的流程图的步骤S301中,如果进行了预定的用户操作,则客户端设备110的通信处理单元211将区域信息发送至照相机100。这里,预定的用户操作包括用于在进行用于使显示单元111上的显示对象从区域图像切换为整体拍摄图像的操作的情况下、使选择区域链接至整体拍摄图像的操作。在步骤S302中,在照相机100的通信处理单元201接收到区域信息的情况下,照相机100的角度识别单元202基于该区域信息来获取拍摄图像中的选择区域的坐标。将这些坐标存储在存储单元104中。随后,在步骤S303中,角度识别单元202基于选择区域的坐标和拍摄图像的中心位置来识别选择区域的中心线。在图4A所示的拍摄图像400中,将连接拍摄图像400的中心位置O与选择区域401的中心位置P的线A识别为选择区域401的中心线。中心位置O的位置是根据拍摄图像的形状预先设置的。
随后,在步骤S304中,角度识别单元202获取显示位置的坐标。这里,显示位置是预先设置的并且存储在存储单元104中。在本典型实施例中,将图4A所示的线段Q上的位置设置为显示位置。照相机100可以配置在天花板上。在这种情况下,存在于照相机100的下方的人物是被摄体。因而,作为被摄体的人物经常被拍摄成:人物的上部配置得更靠近摄像范围的外周、并且人物的下部配置得更靠近摄像范围的中心。因此,在本典型实施例中,如图4A所示,将通过拍摄图像内的中心位置O并且与拍摄图像的垂直方向平行的线中的、配置于相对于中心位置O的上侧的线段Q上的位置设置为显示位置。在该显示位置中,拍摄图像的垂直方向与在选择区域上出现的被摄体的垂直方向相对应,并且在包括显示位置的范围中要显示的人物看上去正立(即,处于直立位置或姿势)。在存储单元104中,存储表示线段Q的位置信息作为显示位置。
在步骤S302~S306中,确定整体拍摄图像的转动所用的转动角度,使得选择区域401的中心位于显示位置中(线段Q上)。在图4A所示的示例中,选择区域401移动,然后变为区域402。在步骤S304之后,在步骤S305中,角度识别单元202识别显示位置的中心线。在图4A所示的拍摄图像400中,将连接拍摄图像400的中心位置O与显示位置的线B识别为显示位置的中心线。接着,在步骤S306中,角度识别单元202将选择区域的中心线和显示位置的中心线之间的角度确定为转动角度。该处理识别从选择区域的位置到显示位置的转动所用的转动角度,并且是角度识别处理的示例。
随后,在步骤S307中,通信处理单元201将表示在步骤S306中确定的转动角度的角度信息以及拍摄图像发送至客户端设备110。在步骤S308中,在客户端设备110的通信处理单元211接收到拍摄图像和角度信息的情况下,客户端设备110的显示处理单元212使拍摄图像仅转动利用角度信息表示的转动角度。该处理是用于使拍摄图像根据转动角度而转动的转动处理的示例。该转动处理生成转动后的拍摄图像并且使得显示转动后的拍摄图像。关于用于生成转动后的拍摄图像的方法,可以使用各种图像处理技术。在步骤S309中,显示处理单元212进行控制,使得将转动后的拍摄图像显示在显示单元111上。然后,该处理结束。
图4C示出显示转动后的整体拍摄图像的GUI 420的示例。GUI 420包括显示区域421,并且转动后的拍摄图像422显示在显示区域421中。由于拍摄图像422已转动、使得选择区域401从图4A所示的状态移动到显示位置,因此在选择区域401中出现的人物为正立。因此,即使在显示单元111上的显示从图4B所示的区域图像411切换为整体拍摄图像的情况下,用户也可以容易地辨认观察对象的位置。
在本典型实施例中,使拍摄图像转动,使得选择区域位于显示位置中。然而,选择区域可能没有精确地位于显示位置中。选择区域可以以用户能够辨认区域图像中的被摄体为正立的角度来显示。从这种观点,使拍摄图像实际转动的角度可以在以直到显示位置为止的转动角度为基准的预定角度范围内。
因此,在根据本典型实施例的显示系统中,使选择区域转动到显示位置使得能够以选择区域中出现的被摄体为正立的状态来显示拍摄图像。即,在显示系统显示图像的情况下,可以以可容易辨认的状态显示观察对象。
在第一典型实施例的第一变形例中,拍摄图像不限于第一典型实施例所述的拍摄图像。例如,拍摄图像可以是如图5A、5B和5C所示的、利用能够拍摄全方位图像的照相机所拍摄到的全景图像。图5A所示的拍摄图像500是全景图像。在这种情况下,照相机100配置在天花板上。即,照相机100被配置成向下方拍摄图像。向下方向表示与重力方向大致相同的方向。图5B是示出显示有与拍摄图像500的选择区域501相对应的区域图像511的GUI 510的示例的图。由于本变形例中的拍摄图像是利用配置在天花板上的照相机100拍摄到的全景图像,因此与上述典型实施例相同,作为被摄体的人物经常被拍摄成:人物的上部配置得更靠近摄像范围的外周、并且人物的下部配置得更靠近摄像范围的中心。因此,与上述典型实施例相同,在如图5A所示的本变形例中,将通过拍摄图像内的中心位置O并且与拍摄图像的垂直方向平行的线中的、配置于相对于中心位置O的上侧的线段Q上的位置设置为显示位置。在图5A所示的示例中,选择区域501移动,然后变为区域502。因此,以使得选择区域的位置向上方移动的方式使拍摄图像转动。
然后,角度识别单元202将连接拍摄图像500的中心位置O与选择区域501的中心位置P的线A识别为选择区域501的中心线。此外,角度识别单元202将连接中心位置O与显示位置的线B识别为显示位置的中心线。图5C示出显示有转动后的整体拍摄图像的GUI 520的示例。GUI 520包括显示区域521,并且在显示区域521中显示转动后的拍摄图像522。
在第二变形例中,显示位置不限于本典型实施例所述的显示位置。参考图6A、6B和6C来说明第二变形例。图6A所示的拍摄图像600是利用配置在桌子上的照相机100拍摄到的全方位图像。即,照相机100被配置为向上方拍摄图像。向上方向表示与重力方向大致相反的方向。图6B示出显示有与拍摄图像600的选择区域601相对应的区域图像611的GUI 610的示例。在第二变形例中,由于照相机100配置在桌子上,因此例如,以包围桌子的方式在照相机100周围存在的人物是被摄体。因而,将作为被摄体的人物经常被拍摄成:人物的上部配置得更靠近摄像范围的中央、并且人物的下部配置得更靠近摄像范围的外周。因此,在如图6A所示的第二变形例中,将通过拍摄图像内的中心位置O并且与拍摄图像的垂直方向平行的线中的、配置于相对于中心位置O的下侧的线段Q上的位置设置为显示位置。在选择区域601移动之后,区域602中的包括显示位置的范围内所显示的人物看上去正立。在存储单元104中,存储表示线段Q的位置信息作为显示位置。因此,以使得选择区域的位置向下方移动的方式使拍摄图像转动。
角度识别单元202将连接拍摄图像600的中心位置O与选择区域601的中心位置P的线A识别为选择区域601的中心线。此外,角度识别单元202将连接中心位置O与显示位置的线B识别为显示位置的中心线。然后,角度识别单元202确定转动角度。客户端设备110的显示处理单元212使拍摄图像仅转动该转动角度。在图6A所示的示例中,选择区域601移动到区域602。图6C示出显示有转动后的整体拍摄图像的GUI 620的示例。GUI 620包括显示区域621,并且在显示区域621中显示有转动后的拍摄图像622。因此,预先可以根据拍摄图像来设置适当位置作为显示位置。
在第三变形例中,可以设置多个选择区域。图7A示出拍摄图像700。拍摄图像700与以上参考图4A所述的拍摄图像400大致相同。在第三变形例中,切出拍摄图像700的多个选择区域701~704,并且如图7B所示在GUI 710中显示四个区域图像711~714。区域图像711~714分别与图7A所示的选择区域701~704相对应。
在第三变形例中,角度识别单元202从多个选择区域中选择预先设置的一个选择区域作为处理对象。预先设置的选择区域的示例包括第一个选择的选择区域和在GUI 710的预定区域中显示的选择区域。角度识别单元202识别转动角度,使得处理对象的选择区域移动到包括显示位置的区域705。图7C示出显示有转动后的整体拍摄图像的GUI 720的示例。GUI 720包括显示区域721,并且在显示区域721中显示转动后的拍摄图像722。因此,如果要显示整体拍摄图像,则显示处理单元212进行控制,使得以处理对象的选择区域701位于显示位置中的状态来显示拍摄图像722。在其它示例中,代替预先设置的选择区域,角度识别单元202可以选择用户所指定的一个选择区域作为处理对象。
此外,如图8A、8B和8C所示,拍摄图像可以是全景图像,并且可以在GUI中显示分别与两个选择区域相对应的两个区域图像。即使在这种情况下,角度识别单元202也可以选择一个选择区域作为处理对象。如图8B所示,在GUI 810中显示分别与图8A所示的拍摄图像800的选择区域801和802相对应的区域图像811和812。这里,图8A所示的拍摄图像800与以上参考图4A所述的拍摄图像400大致相同。这里,例如,如果选择了选择区域801作为处理对象,则如图8C所示,将转动成选择区域801位于区域803中的拍摄图像822显示在GUI 820中。
在第四变形例中,客户端设备110的显示处理单元212可以显示转动后的整体拍摄图像和表示拍摄图像已转动的信息的引导。图9是示出引导的显示示例的图。在图9中,GUI900包括拍摄图像的显示所用的显示区域901、显示区域901中所显示的拍摄图像902、以及向用户通知拍摄图像已转动的引导用户界面(UI)903和904。此外,GUI 900包括表示转动前的拍摄图像的向上方向的引导UI 905、以及引导UI 906。与引导UI 903、引导UI 904和引导UI 905相同,引导UI 906表示拍摄图像转动了多远。因此,转动前的拍摄图像和转动后的拍摄图像之间的关系的指示使得用户能够辨认转动之前和之后的状态。要连同整体拍摄图像一起显示的信息可以是与转动有关的信息。这种信息除包括表示转动前的拍摄图像的位置的信息和表示转动了多远的信息外,还包括表示拍摄图像已转动的信息、以及表示转动角度的信息。
在第五变形例中,照相机100可以进行用于使拍摄图像转动的处理。即,在确定转动角度之后,照相机100使拍摄图像按该转动角度转动,并且将转动后的拍摄图像发送至客户端设备110。在这种情况下,客户端设备110可以通过仅仅显示所接收到的拍摄图像来将转动后的拍摄图像显示在显示单元111上。
在根据第二典型实施例的显示系统中,客户端设备110识别转动角度。以下将主要说明根据第二典型实施例的显示系统和根据第一典型实施例的显示系统之间的不同之处。图10是示出根据第二典型实施例的显示系统的功能结构的图。在第二典型实施例中,客户端设备110包括角度识别单元1001。图11是根据第二典型实施例的客户端设备110所进行的显示控制处理的流程图。如果在例如进行用于将显示单元111上的显示对象从区域图像切换为整体拍摄图像的操作的情况下、进行用于使选择区域链接至整体拍摄图像的操作,则客户端设备110开始显示控制处理。
在步骤S1101中,通信处理单元211经由网络120从照相机100接收选择区域的坐标。将选择区域的坐标存储在照相机100的存储单元104中。在步骤S1102中,角度识别单元1001基于选择区域的坐标和拍摄图像的中心位置来识别选择区域的中心线。该处理与图3所示的流程图的步骤S303中的处理相同。随后,在步骤S1103中,通信处理单元211从照相机100接收存储单元104中所存储的显示位置的坐标。随后,在步骤S1104中,角度识别单元1001识别显示位置的中心线。该处理与图3所示的流程图的步骤S305中的处理相同。在步骤S1105中,角度识别单元1001确定转动角度。该处理与图3所示的流程图的步骤S306中的处理相同。步骤S1106和S1107中的后续处理与图3所示的流程图的各步骤S308和S309中的处理相同。根据第二典型实施例的显示系统的除这些结构和处理以外的结构和处理与根据第一典型实施例的显示系统的结构和处理相同。
因此,在根据第二典型实施例的显示系统中,使选择区域转动至显示位置使得能够以要出现在选择区域中的被摄体为正立的状态来显示拍摄图像。
在第三典型实施例的显示系统中,与根据第二典型实施例的系统相同,客户端设备110识别转动角度。以下将主要说明根据第三典型实施例的显示系统和根据第二典型实施例的显示系统之间的不同之处。图12是根据第三典型实施例的客户端设备110所进行的显示控制处理的流程图。图13A、13B和13C是示出显示控制处理的图。图13A所示的拍摄图像1300与图4A所示的拍摄图像400大致相同。
在图12所示的流程图的步骤S1201中,显示处理单元212进行控制,使得表示选择区域的区域图像和转动后的拍摄图像整体同时显示在显示单元111上。这里,通过拍摄图像的转动使得选择区域位于显示位置中,来提供转动后的拍摄图像整体。客户端设备110通过进行图11所示的流程图的步骤S1101~S1106来使拍摄图像转动,使得显示拍摄图像整体。图13B是示出显示有通过步骤S1201的处理所显示的区域图像1313和拍摄图像1311的GUI1310的示例的图。拍摄图像1311的区域1312与图13A所示的选择区域1301相对应。此外,拍摄图像1311是通过使图13A所示的选择区域1301转动至包括显示位置的区域1303来提供的。因此,将区域图像1313以及与区域图像1313相对应的拍摄图像1311显示在显示单元111上。此外,拍摄图像1311是以选择区域1301中的人物转动成正立的状态来显示的。
接着,在步骤S1202中,接收单元213检查接收单元213是否接收到选择区域改变指示。在接收单元213接收到该改变指示的情况下(步骤S1202中为“是”),处理进入步骤S1203。在接收单元213没有接收到该改变指示的情况下(步骤S1202中为“否”),处理结束。在步骤S1203中,通信处理单元211接收与该改变指示有关的选择区域的坐标。接着,在步骤S1204中,通信处理单元211识别改变后的选择区域的中心线。该处理与图11所示的流程图的步骤S1101(图3所示的流程图的步骤S303)中的处理相同。
步骤S1205和S1206的后续处理与图11所示的流程图的各步骤S1103和S1104的处理相同。在步骤S1206的处理之后,操作进入步骤S1207。在步骤S1207中,角度识别单元1001将改变后的选择区域的中心线和显示位置的中心线之间的角度确定为转动角度。然后,在步骤S1208中,显示处理单元212使转动前的拍摄图像按该转动角度转动。在步骤S1209中,显示处理单元212进行控制,使得将转动后的拍摄图像显示在显示单元111上。
例如,在正在显示图13B所示的GUI 1310的状态下,可能接收到用于将选择区域从图13A所示的区域1301改变为区域1302的改变指示。在这种情况下,角度识别单元1001识别与选择区域1302相对应的中心线A以确定中心线A和显示位置的中心线B之间的转动角度,并且显示按仅该转动角度转动后的拍摄图像以及选择区域1302的区域图像。因而,在如图13C所示的GUI 1320中,通过选择区域的改变来更新区域图像和拍摄图像。在图13C中,区域图像1322与选择区域1302相对应,并且将拍摄图像1321更新为转动成选择区域1302位于显示位置中的图像。根据第三典型实施例的显示系统的除这些结构和处理以外的结构和处理与根据第二典型实施例的显示系统的结构和处理相同。
即使同时显示拍摄图像整体和区域图像,根据第三典型实施例的显示系统也可以以与选择区域有关的被摄体为正立的状态来显示拍摄图像。此外,在选择区域改变的情况下,显示系统可以以与改变后的选择区域有关的被摄体为正立的状态来显示拍摄图像。
已经参考典型实施例详细说明了本发明。然而,本发明不限于此。可以在没有背离本发明的范围的情况下进行各种变形和改进。
本发明的方面可以通过以下操作来实现:将用于进行上述典型实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备,并且该系统或设备的计算机中的一个或多个处理器读取并执行该程序。此外,本发明的方面可以由用于进行一个或多个功能的电路(例如,专用集成电路(ASIC))来实现。
根据各典型实施例,在显示图像的情况下,可以以可容易识别的状态显示观察对象。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (7)

1.一种显示控制设备,包括:
确定单元,用于基于使用鱼眼镜头所拍摄到的拍摄图像中的指定区域的位置和预定显示位置,来确定用于使所述指定区域的位置转动至所述预定显示位置的转动角度;以及
显示控制单元,用于使显示单元显示从所述拍摄图像中切出的与所述指定区域相对应的部分图像以及所述拍摄图像,
其中,所述显示控制单元使所述显示单元在所述预定显示位置处显示被转动以使得所述部分图像中的被摄体处于直立姿势的所述部分图像、以及转动了所述转动角度以使得所述拍摄图像中的被摄体处于直立姿势的所述拍摄图像。
2.根据权利要求1所述的显示控制设备,其中,在显示所述部分图像之后,所述显示控制单元控制所述显示单元以显示转动了所述转动角度的所述拍摄图像。
3.根据权利要求1所述的显示控制设备,其中,所述显示控制单元使所述部分图像和转动了所述转动角度的所述拍摄图像同时显示在所述显示单元上。
4.根据权利要求1所述的显示控制设备,其中,在所述拍摄图像包括多个指定区域的情况下,所述确定单元基于所述多个指定区域中的预定指定区域的位置来确定所述转动角度。
5.根据权利要求1所述的显示控制设备,其中,所述显示控制单元使所述显示单元显示表示所述拍摄图像转动了多远的信息。
6.一种显示控制方法,包括以下步骤:
基于使用鱼眼镜头所拍摄到的拍摄图像中的指定区域的位置和预定显示位置,来确定用于使所述指定区域的位置转动至所述预定显示位置的转动角度;以及
使显示单元显示从所述拍摄图像中切出的与所述指定区域相对应的部分图像以及所述拍摄图像,
其中,在所述预定显示位置处显示被转动以使得所述部分图像中的被摄体处于直立姿势的所述部分图像、以及转动了所述转动角度以使得所述拍摄图像中的被摄体处于直立姿势的所述拍摄图像。
7.一种计算机可读存储介质,用于存储程序,所述程序用于使计算机执行显示控制方法,所述显示控制方法包括:
基于使用鱼眼镜头所拍摄到的拍摄图像中的指定区域的位置和预定显示位置,来确定用于使所述指定区域的位置转动至所述预定显示位置的转动角度;以及
使显示单元显示从所述拍摄图像中切出的与所述指定区域相对应的部分图像以及所述拍摄图像,
其中,在所述预定显示位置处显示被转动以使得所述部分图像中的被摄体处于直立姿势的所述部分图像、以及转动了所述转动角度以使得所述拍摄图像中的被摄体处于直立姿势的所述拍摄图像。
CN201810516805.XA 2017-05-25 2018-05-25 显示控制设备、显示控制方法和存储介质 Active CN108965656B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-103649 2017-05-25
JP2017103649A JP6976719B2 (ja) 2017-05-25 2017-05-25 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN108965656A CN108965656A (zh) 2018-12-07
CN108965656B true CN108965656B (zh) 2022-01-04

Family

ID=62597308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810516805.XA Active CN108965656B (zh) 2017-05-25 2018-05-25 显示控制设备、显示控制方法和存储介质

Country Status (5)

Country Link
US (1) US11190747B2 (zh)
EP (1) EP3407599A1 (zh)
JP (1) JP6976719B2 (zh)
KR (1) KR102280000B1 (zh)
CN (1) CN108965656B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100761445B1 (ko) 2006-04-26 2007-10-04 한국에너지기술연구원 모듈화된 하이브리드 집진장치
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
JP7005546B2 (ja) * 2019-03-15 2022-01-21 株式会社東芝 画像認識装置、画像認識方法および画像認識プログラム
KR102193984B1 (ko) 2019-05-31 2020-12-22 주식회사 아이디스 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
CN110611749A (zh) * 2019-09-30 2019-12-24 深圳市大拿科技有限公司 一种图像处理方法及装置
CN115826734A (zh) * 2021-09-16 2023-03-21 Oppo广东移动通信有限公司 信息显示方法、近眼显示设备以及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890748A (zh) * 2011-07-21 2013-01-23 株式会社东芝 图像处理系统、装置、 方法以及医用图像诊断装置
WO2013150775A1 (ja) * 2012-04-02 2013-10-10 パナソニック株式会社 画像生成装置、カメラ装置、画像表示装置及び画像生成方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031540A (en) * 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
KR101329470B1 (ko) * 2005-11-11 2013-11-13 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체
JP4625404B2 (ja) * 2005-11-28 2011-02-02 パナソニック株式会社 映像切替装置および切替対象切替装置
JP4756589B2 (ja) * 2005-12-07 2011-08-24 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
WO2008001441A1 (fr) * 2006-06-28 2008-01-03 Fujitsu Limited Dispositif vidéo portatif
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2008124830A (ja) * 2006-11-13 2008-05-29 Funai Electric Co Ltd 撮像装置
US8744216B2 (en) 2010-03-18 2014-06-03 Panasonic Corporation Omnidirectional image processing device and method using warp processing for enhanced object visibility
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
JP2012119804A (ja) 2010-11-30 2012-06-21 Canon Inc 画像記録装置
JP5724346B2 (ja) * 2010-12-09 2015-05-27 ソニー株式会社 映像表示装置、映像表示システム、映像表示方法およびプログラム
KR101758164B1 (ko) * 2011-04-08 2017-07-26 엘지전자 주식회사 이동 단말기 및 3d 멀티 앵글 뷰 제어방법
WO2012172923A1 (ja) * 2011-06-16 2012-12-20 アイシン精機株式会社 車両周辺監視装置
JP2014042160A (ja) 2012-08-22 2014-03-06 Ntt Docomo Inc 表示端末、動体検知の対象領域の設定方法及びプログラム
US8794766B2 (en) * 2012-11-30 2014-08-05 Robert Listou Trust System and method for physically disabled persons to read e-publications
JP2014225108A (ja) * 2013-05-16 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US9177362B2 (en) * 2013-08-02 2015-11-03 Facebook, Inc. Systems and methods for transforming an image
JP2015095802A (ja) * 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP6573211B2 (ja) * 2015-03-04 2019-09-11 カシオ計算機株式会社 表示装置、画像表示方法及びプログラム
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP6594039B2 (ja) * 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
US10715735B2 (en) * 2015-06-10 2020-07-14 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
US10701344B2 (en) * 2015-12-02 2020-06-30 Seiko Epson Corporation Information processing device, information processing system, control method of an information processing device, and parameter setting method
KR102505951B1 (ko) * 2016-08-24 2023-03-03 한화테크윈 주식회사 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2018101227A1 (ja) * 2016-11-29 2018-06-07 シャープ株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890748A (zh) * 2011-07-21 2013-01-23 株式会社东芝 图像处理系统、装置、 方法以及医用图像诊断装置
WO2013150775A1 (ja) * 2012-04-02 2013-10-10 パナソニック株式会社 画像生成装置、カメラ装置、画像表示装置及び画像生成方法

Also Published As

Publication number Publication date
US11190747B2 (en) 2021-11-30
KR102280000B1 (ko) 2021-07-21
JP6976719B2 (ja) 2021-12-08
JP2018201065A (ja) 2018-12-20
US20180343435A1 (en) 2018-11-29
EP3407599A1 (en) 2018-11-28
CN108965656A (zh) 2018-12-07
KR20180129667A (ko) 2018-12-05

Similar Documents

Publication Publication Date Title
CN108965656B (zh) 显示控制设备、显示控制方法和存储介质
CN109218606B (zh) 摄像控制设备、其控制方法及计算机可读介质
US9743048B2 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
JP7182865B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP2016096481A (ja) 制御装置、撮像システム、制御方法、及び、プログラム
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
US8692879B2 (en) Image capturing system, image capturing device, information processing device, and image capturing method
CN109104562B (zh) 信息处理设备、信息处理方法和记录介质
JP5820210B2 (ja) 撮像装置、撮像装置の制御方法
JP6584237B2 (ja) 制御装置、制御方法、およびプログラム
US9172860B2 (en) Computational camera and method for setting multiple focus planes in a captured image
KR20140061226A (ko) 영상을 표시하는 방법 및 이를 위한 장치
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
CN109391769B (zh) 控制设备、控制方法和存储介质
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
WO2023080099A1 (ja) 会議システムの処理方法および会議システムの制御装置
US11516404B2 (en) Control apparatus and control method
US20150365595A1 (en) Imaging control apparatus and method for generating a display image, and storage medium
KR100891793B1 (ko) 디지털 카메라의 이미지 처리 방법
JP2008228039A (ja) ネットワークカメラ装置及びその制御方法
US20140307097A1 (en) Method of Generating a Digital Video Image Using a Wide-Angle Field of View Lens
JP2023063765A (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム
JP2020021211A (ja) 画像処理装置、画像処理方法及びプログラム
KR20230073869A (ko) 인터랙션을 지원하는 사용자 인터페이스를 제공하는 방법 및 이를 수행하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant