CN105210379A - 显示控制装置、显示控制方法和程序 - Google Patents

显示控制装置、显示控制方法和程序 Download PDF

Info

Publication number
CN105210379A
CN105210379A CN201480024999.1A CN201480024999A CN105210379A CN 105210379 A CN105210379 A CN 105210379A CN 201480024999 A CN201480024999 A CN 201480024999A CN 105210379 A CN105210379 A CN 105210379A
Authority
CN
China
Prior art keywords
image
editing
wide angle
people
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480024999.1A
Other languages
English (en)
Other versions
CN105210379B (zh
Inventor
冈泽佳惠
吉冈圭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105210379A publication Critical patent/CN105210379A/zh
Application granted granted Critical
Publication of CN105210379B publication Critical patent/CN105210379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Abstract

示例性的实施例的显示控制单元同时显示根据广视角运动图像的相应范围裁剪的多个裁剪图像。

Description

显示控制装置、显示控制方法和程序
技术领域
本技术涉及显示控制装置、显示控制方法和程序,并且更具体地涉及允许有效地观看具有广视角的图像的显示控制装置、显示控制方法和程序。
<相关申请的交叉引用>
本申请要求享有于2013年5月10日提交的日本在先专利申请JP2013-099791的权益,通过引用将其全部内容并入本文。
背景技术
最近,在市场上可以得到具有内置的全景拍摄功能的各种数字相机。全景拍摄功能是用于通过将用户在恒定的方向上操作数字相机的主体的同时捕获的多个图像合成来生成具有广视角的一个图像的功能。
另外,存在每个都内置有具有非常广的视角的镜头并且能够在不合成图像的情况下拍摄具有广视角的图像的数字相机。在这样的数字相机中,存在能够在360度方向上进行拍摄的相机。
引用列表
专利文献
专利文献1:JPH11-331827A
发明内容
技术问题
虽然这样的数字相机能够拍摄具有广视角的图像,但是在很多情况下,用户实际期望观看的范围限于范围的一部分。因此,在按照原状显示这样的具有广视角的图像的情况下,用户不知道要被关注的图像的范围。
考虑到这样的情况而发明了本技术,并且本技术允许有效地观看具有广视角的图像。
问题的解决方案
根据例示性的实施例,显示控制单元同时显示从广角运动图像的相应范围裁剪的多个裁剪图像。
发明的有益效果
根据本技术,用户可以有效地观看具有广视角的图像。
附图说明
图1是例示信息处理装置和数字相机的图。
图2是例示数字相机的视角的示例的图。
图3是例示数字相机的视角的另一示例的图。
图4是例示事件选择画面的示例的图。
图5是例示剪辑选择画面的示例的图。
图6是例示剪辑再现画面的示例的图。
图7是例示运动图像的裁剪范围的示例的图。
图8是例示数字相机的硬件配置的示例的框图。
图9是例示信息处理装置的硬件配置的示例的框图。
图10是例示信息处理装置的功能配置的示例的框图。
图11是例示剪辑数据的示例的图。
图12是例示在图10中所示的信息处理单元的配置的示例的框图。
图13是例示运动图像的裁剪范围的示例的图。
图14是例示剪辑生成处理的流程图。
图15是例示剪辑再现处理的流程图。
图16是例示剪辑再现画面的另一示例的图。
图17是例示剪辑再现画面的又一示例的图。
图18是例示时移再现的概念的图。
图19是例示时移再现画面的示例的图。
图20是例示时移再现画面的切换的图。
图21是例示时移再现处理的流程图。
图22是例示时移再现画面的另一示例的图。
图23是例示改变再现时间的示例的图。
图24是例示时移再现画面的又一示例的图。
图25是例示喜爱图标被显示为与运动图像重叠的情况的示例的图。
图26是例示运动图像被显示为被突出的情况的示例的图。
图27是例示多画面显示的第一示例的图。
图28是例示运动图像的裁剪范围的示例的图。
图29是例示多画面显示的第二示例的图。
图30是例示运动图像的裁剪范围的示例的图。
图31是例示多画面显示的第三示例的图。
图32是例示运动图像的裁剪范围的示例的图。
图33是例示多画面显示的第四示例的图。
图34是例示运动图像的裁剪范围的示例的图。
图35是例示多画面显示的第五示例的图。
图36是例示在图35中所示的运动图像再现画面的切换的示例。
图37是例示多画面显示处理的流程图。
图38是例示人跟踪再现的概念的图。
图39是例示脸部图像选择画面的示例的图。
图40是例示跟踪再现画面的示例的图。
图41是例示脸部图像的裁剪的图。
图42是例示脸部图像的显示的切换的图。
图43是例示脸部图像选择画面的示例的图。
图44是例示在跟踪再现画面上的脸部图像的显示的切换的示例的图。
图45是例示脸部图像生成处理的流程图。
图46是例示人跟踪再现处理的流程图。
图47是例示跟踪再现画面的另一示例的图。
图48是例示脸部图像的裁剪的图。
图49是例示跟踪再现画面的切换的示例的图。
图50是例示网络系统的配置的示例的图。
具体实施方式
<信息处理装置的基本功能>
<装置的外部配置>
图1是例示根据本技术的实施例的信处理装置1以及与信息处理装置1通信的数字相机2的图。
信息处理装置(显示控制装置)1是所谓的平板型便携式信息终端。信息处理装置1具有盘形外壳,并且诸如液晶显示器(LCD)这样的显示器11布置在外壳的表面。触摸面板布置在显示器11上。用户可以通过使其手指直接接触显示在显示器11上的按钮等来操作信息处理装置1。
数字相机2是具有用于捕获运动图像的功能的拍摄装置。数字相机2具有薄型外壳,该薄型外壳具有基本上长的长方体形状,并且广角镜头21布置在外壳的顶面。例如,如图1所示,使用相机2捕获运动图像是在广角镜头21的光轴面向上侧的状态下进行。
图2是例示数字相机2的视角的示例的图。
当在广角镜头21面向上侧的情况下在位置P1处进行拍摄时,如图2所示,拍摄由虚线所标记的光轴L1和天顶会合处的半个天球形状的范围中的运动图像。换言之,拍摄在水平方向上具有360度视角并且在垂直方向上具有180度视角的运动图像。
另外,通过将广角镜头还布置在数字相机2的外壳的下面,如图3所示,可以将整个天球的范围的运动图像配置为被拍摄。光轴L2是布置在数字相机2的外壳的下面的广角镜头的光轴。在这样的情况下,组合通过布置在上面的广角镜头21拍摄的运动图像和通过布置在下面的广角镜头拍摄的运动图像,使得在相同时间拍摄的帧被组合,从而生成把一整个天球的范围作为拍摄范围的运动图像。
以下,将描述由数字相机2所拍摄的广角运动图像把在图2中所示的半个天球的范围作为拍摄范围的情况。
使用数字相机2拍摄广角运动图像被连续执行相对长的时间,诸如一个小时或两个小时。通过将数字相机2固定到用户的身体的一部分等并且移动身体,用户可以拍摄他的目的地的所有方向(在水平方向上360度并且在垂直方向上180度的方向)上的场景作为运动图像。
作为管理由数字相机2所捕获的广角运动图像的应用的广角运动图像管理应用被安装到信息处理装置1。广角运动图像管理应用以有线或无线的方式与数字相机2通信,从而获取由数字相机2所捕获的广角运动图像的数据。从数字相机2获取的广角运动图像的数据例如存储在信息处理装置1的内部存储器中。
在信息处理装置1中,从数字相机2获取的长时间广角运动图像被针对诸如10分钟这样的每个预定时间来划分并且作为剪辑来管理。另外,多个剪辑在基于拍摄间隔等针对每个事件来安排的情况下进行管理。
<用户接口(UI)的示例>
图4是例示事件选择画面的示例的图。
事件选择画面是用于选择作为再现目标的剪辑所属的事件的画面。当例如通过轻击(tap)呈现在菜单画面上的图标来作出启动广角运动图像管理应用的指令时,在图4中例示的事件选择画面显示在显示器11上。
在图4的上侧所示的事件选择画面的左侧,具有带形状(水平长的矩形形状)的缩略图31至35被显示为其间保留预定间隔而垂直地排列。仅显示缩略图31的大致下半部分,并且仅显示缩略图35的大致上半部分。在每个缩略图的右侧,显示诸如拍摄日期和事件名称这样的信息。
缩略图是通过从剪辑的广角运动图像裁剪范围的一部分并且将裁剪的运动图像布置在带形状中而生成的静态图像。如将稍后描述的那样,例如,针对作为目标的每个剪辑的广角运动图像裁剪出现人的范围,从而生成缩略图。
如上,在信息处理装置1中,通过从一帧的广角运动图像裁剪范围的任意部分并且布置裁剪部分来生成具有带形状的框形式的静态图像,并且将该静态图像用作缩略图。作为缩略图,可以不使用静态图像,而使用运动图像。
以下,适当时,进行缩略图显示的运动图像将被描述为缩略运动图像。因此,当图像仅被表示为缩略图时,这表示被显示为缩略图的图像是静态图像。缩略运动图像是通过对广角运动图像的每帧对范围的一部分进行裁剪并且将裁剪部分布置在带形状的框形式中来生成。
在缩略图31至35下方,属于同一事件的缩略图以重叠的方式显示,并且其角度稍微偏移。以重叠方式显示的缩略图表示存在多个剪辑作为属于同一事件的剪辑。
用户可以通过在事件选择画面上执行拖拽(drag)操作来切换显示,使得在下侧例示的事件选择画面被显示。例如,当执行向上的方向上的拖拽操作时,缩略图31至35的整体根据操作量向上移动,并且在事件选择画面上的显示被切换到在下侧例示的画面。在下侧例示的事件选择画面上,形成显示缩略图34至38的状态。
根据在图4中例示的事件选择画面,用户能够观看缩略图并且选择优选事件。
图5是例示剪辑选择画面的示例的图。
当通过在图4中所示的事件选择画面上的预定缩略图上轻击选择了事件时显示剪辑选择画面。
当选择了事件时,在剪辑选择画面的右侧,在垂直方向上显示作为带形状的图像的图像51至55,并且它们的位置稍微地偏移使得图像53位于中央。图像51至55是表示属于所选择的事件的剪辑。在图像51至55的左侧,显示每个剪辑的拍摄时间。当选择了事件时,在图4中所示的事件选择画面通过诸如在画面上展开捆绑的带这样的动画来切换到在图5中所示的剪辑选择画面。
图像51是表示拍摄时间为“14:40”的剪辑的缩略图。图像52是表示拍摄时间为“14:50”的剪辑的缩略图。
另外,布置在中央(即,处于关注状态下)的图像53是表示拍摄时间是“15:00”的剪辑的缩略运动图像。例如,仅图像53(即,被关注的运动图像)被显示为色彩,而其他缩略图(静态图像)被显示为灰色。
图像54是表示拍摄时间为“15:10”的剪辑的缩略图。图像55是表示拍摄时间为“15:20”的剪辑的缩略图。
当被安置在中央处的图53的位置被用作基准时,布置在上侧的图像52被显示为使得图像52的下侧的一部分被隐藏在图像53之下,并且图像52从图像53向右侧稍微偏移。另外,布置在下侧的图像54被显示为图像54的上侧的一部分被隐藏在图像53之下,并且图像54从图像53向右侧稍微偏移。
布置在最上侧的图像51被显示为使得图像51的下侧的一部分被隐藏在图像52之下,并且图像51从图像52向右侧稍微偏移。另外,布置在最下侧的图像55被显示为使得图像55的上侧的一部分被隐藏在图像54之下,并且图像55从图像54向右侧稍微偏移。
用户可以通过在剪辑选择画面上执行拖拽操作将显示切换到在下侧例示的剪辑选择画面。例如,当执行向上方向的拖拽操作时,图像51至55的整体根据操作量向上移动,并且剪辑选择画面的显示被切换到在下侧例示的画面。在下侧例示的剪辑选择画面上,形成在已经显示了图像51至55的位置处显示图像53至57的状态。
因为图像53未显示在中央,所以图像不是运动图像,而是表示拍摄时间为“15:00”的剪辑的缩略图。图像54是表示拍摄时间为“15:10”的剪辑的缩略图。
位于中央的被关注的图像55是表示拍摄时间为“15:20”的剪辑的缩略运动图像。从拍摄时间为“15:20”的剪辑的广角运动图像中裁剪的运动图像被显示为图像55。
图像56是表示拍摄时间为“15:30”的剪辑的缩略图。另外,图像57是表示拍摄时间为“15:40”的剪辑的缩略图。
用户可以从在图5中例示的剪辑选择画面中以时间标度的次序来检查属于所选择的事件的每个剪辑的内容。
图6是例示剪辑再现画面的示例的图。
当从图5中例示的剪辑选择画面中选择了剪辑时,显示剪辑再现画面。当通过在被关注的缩略运动图像上轻击来选择剪辑时,信息处理装置1的模式变成运动图像观看模式,并且开始所选择的剪辑的再现。在剪辑再现画面上,显示从剪辑的广角运动图像裁剪的预定范围的运动图像。
如图6中所示的画面的中央的箭头所指示的那样,用户可以通过向上侧、向下侧、向左侧或向右侧执行拖拽操作来自由地改变运动图像的裁剪范围,并且可以显示出现优选被摄体的范围。
图7是例示运动图像的裁剪范围的示例的图。
在图7中例示的半天球表示用户所选择的剪辑的广角运动图像的一帧的整个拍摄范围。位置P1是广角运动图像的拍摄位置,换言之,在进行拍摄时的数字相机2的位置。这对用于描述裁剪范围的其他图同样适用。
由球表面的虚线所指示的框F1表示根据广角运动图像的裁剪范围。在剪辑再现画面上,由框F1所指示的范围内的图像是从广角运动图像的每帧中裁剪,并且被显示为运动图像。虽然在广角运动图像中出现位于相对于作为基准的位置P1的在水平方向上360度并且在垂直方向上180度的方向上的被摄体,但是只显示被摄体的一部分。
当用户执行拖拽操作时,框F1根据用户的操作移动,并且因此,裁剪范围改变,从而显示在剪辑再现画面上的被摄体也改变。另外,其可以被配置为使得在根据捏缩(pinch-in)/捏放(pinch-out)改变框F1的大小的情况下执行显示在剪辑再现画面上的被摄体的放大/缩小。
例如,刚好在开始剪辑的再现之后的框F1的默认位置被设置为裁剪出现人的范围。在出现多人的情况下,框F1可以被设置为裁剪人集中的范围(人的密度高于阈值的范围)。
可以使用除图像数据之外的数据来设置裁剪范围,例如如下情况:基于剪辑的音频数据来指定声源的方向,并且将框F1设置为裁剪在声源的方向上的范围。稍后将更详细的描述运动图像的裁剪范围的设置。
如上所述,在信息处理装置1中,由数字相机2拍摄的长时间广角运动图像在针对每个剪辑被划分的情况下来管理并且被再现。另外,显示从广角运动图像裁剪的部分的范围的运动图像。
因此,用户可高效地观看具有广视角的运动图像。在按照原状显示长时间广角运动图像的情况下,用户需要观看未出现用户观察的被摄体的运动图像或未出现所观察的被摄体的范围的运动图像。然而,可以防止这样的情况。
稍后将参照流程图来描述如上所述的执行画面显示的信息处理装置1的处理。
<装置的内部配置>
图8是例示数字相机2的硬件配置的示例的框图。
通过将拍摄单元72、麦克风73、传感器74、显示器75、操作单元76、扬声器77、存储单元78以及通信单元79连接到控制单元71来配置数字相机2。
通过中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等来配置控制单元71。控制单元71执行预定程序并且根据用户的操作来控制数字相机2的总体操作。
例如,控制单元71将拍摄单元72所拍摄的广角运动图像的数据与从麦克风73提供的音频数据以及从传感器74提供的传感器数据一起存储在存储单元78中。将诸如拍摄日期和时间这样的信息添加到广角运动图像的数据。另外,控制单元71通过控制通信单元79与信息处理装置1进行通信,并且将广角运动图像的数据发送给信息处理装置1。
拍摄单元72包括诸如互补金属氧化物半导体(CMOS)图像传感器这样的成像传感器。拍摄单元72对通过广角镜头21在其中获取的光进行光电转换、对模拟信号进行A/D转换等,并且将广角运动图像的数据输出给控制单元71。
麦克风73在进行广角运动图像的拍摄的同时收集声音,并且将音频数据输出给控制单元71。
通过全球定位系统(GPS)传感器、陀螺仪传感器、加速度传感器等来配置传感器74。传感器74在进行广角运动图像的拍摄的同时进行定位以及角速度和加速度的检测,并且将传感器数据输出给控制单元71。在传感器数据中,包括在广角运动图像的拍摄期间的每个时间的拍摄位置角速度以及加速度的信息。
显示器75通过LCD等来配置,并且在控制单元71的控制下显示诸如菜单画面和正在被拍摄的广角运动图像这样的各种信息。
操作单元76通过布置在数字相机2的外壳的表面的操作按钮、触摸面板等来配置。操作单元76向控制单元71输出表示用户的操作的内容的信息。
例如,在广角运动图像的再现期间,扬声器77基于从控制单元71提供的音频信号来输出声音。
存储单元78通过插入到布置在外壳中的卡槽中的存储卡和闪存来配置。存储单元78存储诸如从控制单元71提供的广角运动图像的数据这样的各种数据。
通信单元79通过有线或无线通信与信息处理装置1进行通信。通信单元79向信息处理装置1发送诸如从控制单元71提供的广角运动图像的数据这样的各种数据。
图9是例示信息处理装置1的硬件配置的示例的框图。
CPU91、ROM92和RAM93通过总线94互连。CPU91通过执行预定程序来控制信息处理装置1的每个单元。例如,CPU91通过执行在预定操作系统(OS)上运行的广角运动图像管理应用来执行与广角运动图像的再现相关的各种处理。
输入/输出接口95连接到总线94,并且显示器11、触摸面板96、扬声器97、存储单元98、通信单元99和驱动器100连接到输入/输出接口95。通过总线94和输入/输出接口95执行在连接到输入/输出接口95的每个单元与CPU91之间的数据的发送/接收。
触摸面板96检测针对显示器11的表面的用户的操作,并且向CPU91输出表示操作的内容的信号。
扬声器97输出诸如广角运动图像的声音这样的各种声音。
存储单元98通过诸如闪存这样的存储介质来配置。存储单元98存储诸如广角运动图像的数据这样的各种数据。适当时,存储在存储单元98中的数据被CPU91读取。
通信单元99以无线或有线的方式与数字相机2通信。通信单元99接收从数字相机2发送的广角运动图像的数据,并且将所接收的数据提供给存储单元98以便存储在其中。
驱动器100驱动插入到卡槽中的存储卡101。驱动器100执行将各种数据写入存储卡101中以及从存储卡101读取各种数据。
图10是例示信息处理装置1的功能配置的示例的框图。
在图10中例示的至少一些功能单元是通过使用在图9中例示的CPU91执行广角运动图像管理应用来实现。在信息处理装置1中实现图像数据获取单元111、剪辑生成单元112、剪辑数据存储单元113、再现单元114、信息处理单元115以及显示控制单元116。
图像数据获取单元111获取从数字相机2发送并且被通信单元99接收的广角运动图像的数据。在由图像数据获取单元111获取的广角运动图像的数据中,添加音频数据、传感器数据以及诸如拍摄日期和时间以及文件名这样的元数据。图像数据获取单元111向剪辑生成单元112输出所获取的数据。
广角运动图像的数据可以被配置为使用数字相机2与广角运动图像的拍摄关联地实时地获取。
剪辑生成单元112通过针对每10分钟等的短时间间隔来划分从图像数据获取单元111提供的长时间广角运动图像来生成剪辑。剪辑生成单元112将包括广角运动图像、音频数据、传感器数据和元数据的每个剪辑的数据存储在剪辑数据存储单元113中。
另外,剪辑生成单元112针对每个事件布置多个剪辑,并且设置诸如标识信息这样的信息以及剪辑所属的事件的事件名称作为每个剪辑的元数据。每个剪辑的事件是通过布置拍摄间隔在预定时间内的剪辑或者布置拍摄日期是相同日期的剪辑来确定。另外,每个剪辑的事件可以通过分析广角运动图像并且布置出现相同场景的剪辑。事件名称通过由用户输入等来设置
例如,剪辑数据存储单元113通过存储单元98来实现。剪辑数据存储单元113存储从剪辑生成单元112提供的每个剪辑的数据。另外,剪辑数据存储单元113存储从信息处理单元115提供的信息。在每个剪辑中出现的人的标识信息、表示人的位置的信息等被从信息处理单元115提供给剪辑数据存储单元113。
图11是例示剪辑数据的示例的图。
每个剪辑的数据通过针对每10分钟等来划分的广角运动图像的数据、音频数据、传感器数据、元数据以及缩略数据来配置。
在传感器数据中,包括由数字相机2在进行拍摄时检测到的拍摄位置的信息、加速度和角速度。
在元数据中,包括剪辑名称、拍摄日期和时间、事件ID、事件名称、人ID以及人位置信息。
例如,通过将被设置到数字相机2中的广角运动图像的数据的文件名称和剪辑的拍摄日期和时间组合或者使用另一方法来设置剪辑名称。例如,拍摄日期和时间表示剪辑的拍摄日期和时间。
事件ID是剪辑所属的事件的标识。事件名称是剪辑所属的事件的名称。例如,事件ID和事件名称由剪辑生成单元112来生成。
人ID是分配给在剪辑的广角运动图像中出现的人的标识信息。人位置信息表示在广角运动图像中出现的在拍摄范围内的人的位置。人ID和人位信息由信息处理单元115设置。例如,人ID和人位置信息被与剪辑的再现时间关联地管理。信息处理装置1可以基于元数据来指定在剪辑的再现期间的特定定时出现的特定的人的位置。
在缩略数据中,包括缩略图和缩略运动图像,缩略图是从剪辑的广角运动图像的一帧中裁剪的静态图像,缩略运动图像是通过从广角运动图像的每帧中裁剪而生成的运动图像。
剪辑数据存储单元113存储诸如每个剪辑的数据这样的各种数据。适当时,存储在剪辑数据存储单元113中的每个剪辑的数据被再现单元114、信息处理单元115以及显示控制单元116读取。
再现单元114从剪辑数据存储单元113读取作为再现目标的剪辑的广角运动图像的数据,并且再现所读取的广角运动图像的数据。再现单元114向信息处理单元115输出通过再现处理获取的广角运动图像的每帧的数据。
另外,与使用再现单元114再现广角运动图像一起,再现单元再现未在图中例示的音频数据。基于通过再现音频数据而获取的音频信号,剪辑的声音从在图9中例示的扬声器97输出。
信息处理单元115执行图像处理,诸如裁剪从再现单元114提供的广角运动图像的范围的一部分。信息处理单元115向显示控制单元116输出从作为再现目标的剪辑的广角运动图像中裁剪的运动图像。另外,信息处理单元115向剪辑数据存储单元113输出从广角运动图像裁剪的静态图像作为在分析剪辑时的缩略图。
显示控制单元116在显示器11上显示从信息处理单元115提供的运动图像。另外,例如,当显示事件选择画面时,显示控制单元116从剪辑数据存储单元113读取设置为元数据的每个剪辑的缩略图或缩略运动图像,并且显示所读取的缩略图或缩略运动图像。
图12是例示在图10中例示的信息处理单元115的配置的示例的框图。
信息处理单元115通过图像分析单元131、数据分析单元132以及裁剪单元133来配置。在图像分析单元131中,包括人检测单元131A。从再现单元114提供的广角运动图像的数据被输入到图像分析单元131和裁剪单元133。另外,从剪辑数据存储单元113读取的音频数据、传感器数据和元数据被输入到数据分析单元132。
图像分析单元131对作为目标的广角运动图像进行各种分析,并且将分析的结果输出给裁剪单元133。
图像分析单元131的人检测单元131A从作为目标的广角运动图像的每帧的整个拍摄范围中检测人。在人的检测中,例如,使用脸部检测技术。在广角运动图像中出现多个人的情况下,检测每一个人。图像分析单元131向裁剪单元133输出表示人的位置的信息。另外,图像分析单元131向剪辑数据存储单元133输出人ID和人位置信息。
数据分析单元132分析剪辑的音频数据、传感器数据和元数据,并且向裁剪单元133输出分析的结果。
例如,数据分析单元132通过分析音频数据来指定包括在广角运动图像的拍摄范围中的声源的方向,并且输出声源的方向的信息。另外,数据分析单元132通过分析包括在传感器数据中的角速度和加速度的数据来指定在拍摄广角运动图像时数字相机2的行进方向等,并且输出与数字相机2的行进方向有关的信息。数据分析单元132分析元数据,并且输出在作为再现目标的剪辑中出现的人的人ID和人位置信息。
裁剪单元133基于由图像分析单元131和数据分析单元132进行的分析的结果来设置运动图像的裁剪范围。裁剪范围还被基于用户指定的位置来设置。
当再现用户选择的剪辑时,裁剪单元133向显示控制单元116输出从广角运动图像裁剪的运动图像以便进行显示。另外,当分析剪辑时,裁剪单元133向剪辑数据存储单元113输出从广角运动图像裁剪的作为缩略图的静态图像以及作为缩略运动图像的运动图像。
图13是例示运动图像的裁剪范围的示例的图。
在图13所示的示例中,有三个人在广角范围的拍摄范围中出现,并且被人检测单元131A检测到。在该情况下,例如,如框F11所表示的包括两个人的范围以及如框F12所表示的包括一个人的范围被设置为裁剪范围。
由此,可以从一帧的广角运动图像中裁剪多个运动图像。另外,裁剪范围的位置、大小(视角)、纵横比等是任意的。
<信息处理装置的操作>
这里,将描述具有如上所述的配置的信息处理装置1的处理。
首先,将参照在图14中例示的流程图来描述信息处理装置1的剪辑生成处理。例如,在图14中例示的处理在通信单元99接收到从数字相机2发送的广角运动图像的数据时开始。
在步骤S1中,图像数据获取单元111获取广角运动图像的数据,并且将所获取的广角运动图像的数据与音频数据、传感器数据和元数据一起输出给剪辑生成单元112。
在步骤S2中,剪辑生成单元112通过针对每个短时间间隔来划分从图像数据获取单元111提供的长时间广角运动图像来生成剪辑。
在步骤S3中,剪辑生成单元112针对每个事件布置多个剪辑,并且将每个剪辑的数据存储在剪辑数据存储单元113中。在剪辑数据存储单元113中,广角运动图像的数据、音频数据、传感器数据以及包括剪辑名称、拍摄日期和时间、事件ID和事件名称的元数据被存储为每个剪辑的数据。之后,分析剪辑。
在步骤S4中,再现单元114关注一个剪辑并且再现该剪辑。再现单元114向信息处理单元115输出通过再现处理获取的广角运动图像的数据。
在步骤S5中,人检测单元131A从作为目标的广角运动图像的每帧的整个拍摄范围中检测人。
在步骤S6中,人检测单元131A向剪辑数据存储单元113输出所检测到的人的人ID和人位置信息,并且将它们设置为元数据。
在步骤S7中,数据分析单元132从剪辑数据存储单元113中读取被关注的剪辑的音频数据和传感器数据,并且分析所读取的音频数据和传感器数据。例如,数据分析单元132通过分析音频数据来指定声源的方向以及每个声源的音量。另外,数据分析单元132通过分析传感器数据来指定在进行拍摄时的行进方向、移动速度等。数据分析单元132向裁剪单元133输出分析的结果。
在步骤S8中,裁剪单元133通过基于由人检测单元131A获取的检测结果以及由数据分析单132获取的分析结果来从广角运动图像的一帧中裁剪范围的一部分来生成缩略图。另外,裁剪单元133基于由人检测单元131A和数据分析单元132获取的分析的结果来从广角运动图像的每帧中裁剪范围的一部分,由此生成缩略运动图像。
例如,人出现多的范围、具有高音量水平的声源的方向上的范围等被确定为出现突出被摄体的范围,并且被从广角运动图像中裁剪。另外,从广角运动图像中裁剪在进行拍摄时的行进方向上的范围、数字相机2的前向方向的范围等。
在步骤S9中,裁剪单元133将裁剪的缩略图和缩略运动图像存储在剪辑数据存储单元113中,作为被关注的剪辑的数据。
在步骤S10中,再现单元114确定是不是所有的剪辑已被关注。在步骤10中确定并非所有的剪辑被关注的情况下,处理返回到步骤S4,并且再现单元114改变被关注的剪辑,并且重复上述处理。另一方面,在步骤10中确定所有的剪辑已经被关注的情况下,处理结束。
在以上呈现的描述中,在生成剪辑之后,假设对每个剪辑进行分析以便生成缩略图等,但是缩略图的生成可以在不同的定时进行,只要该定时在显示参照图4描述的事件选择画面之前即可。
接下来,将参照在图15中例示的流程图来描述信息处理装置1的再现处理。例如,在图15中例示的处理在通过轻击显示在菜单画面上的图标作出启动广角运动图像管理应用的指令时开始。
在步骤S21中,显示控制单元116从剪辑数据存储单元113读取每个事件的缩略图,并且将缩略图显示成排列。例如,显示控制单元116针对每个事件显示从属于该事件的剪辑中选择的一个剪辑的缩略图。
由此,显示参照图4描述的事件选择画面。用户通过进行向上或向下进行拖拽操作来切换缩略图的显示,并且可以通过在缩略图上轻击来选择优选事件。
当选择了事件时,在步骤S22中,显示控制单元116从剪辑存储单元113读取属于所选择的事件的每个剪辑的缩略图,并且将所读取的缩略图显示为排列。对于在以拍摄时间为次序排列时被放置在中央的剪辑,显示控制单元116从剪辑数据存储单元113读取缩略运动图像,并且显示所读取的缩略运动图像。
由此,显示参照图5描述的剪辑选择画面。用户通过向上或向下执行拖拽操作来切换缩略图或缩略运动图像的显示,并且可以通过进行轻击操作来选择优选的剪辑。
当选择剪辑时,在步骤S23中,再现单元114再现所选择的剪辑,并且向信息处理单元115输出广角运动图像的数据。
在步骤S24中,裁剪单元133从广角运动图像裁剪运动图像的范围的一部分,并且向显示控制单元116输出通过已经裁剪的帧形成的运动图像的数据。
在步骤S25中,显示控制单元116在显示器11上显示从广角运动图像裁剪的运动图像。
由此,显示参照图6所描述的剪辑再现画面。用户可以通过执行拖拽操作来切换显示范围(广角运动图像的裁剪范围),或者通过执行捏放/捏缩操作来放大或缩小显示范围。
根据上述处理,与从开始显示具有广视角的运动图像的情况相比,用户可以只显示优选间隔的剪辑的优选范围,并且可以高效地观看具有广视角的运动图像。
<剪辑再现画面的另一示例>
图16是例示剪辑再现画面的另一示例的图。例如,在从图4中所示的事件选择画面中选择事件时,显示图16中所示的剪辑再现画面。
在图16中例示的剪辑再现画面通过运动图像显示区域141和缩略显示区域142来配置,运动图像显示区域141是具有水平长的长方体形状的宽区域,缩略显示区域142是垂直长的长方体形状。运动图像显示区域141形成在显示器11的右侧,以便占据显示器11的大约5/6的范围。缩略显示区域142形成在运动图像显示区域141的左侧。
在运动图像显示区域141中,显示从在再现处理的中间的剪辑的广角运动图像裁剪的运动图像。在缩略显示区域142中,将表示剪辑的缩略图151至155显示为以时间标度为次序垂直地排列。对被放置在中央的缩略图153,施加光标C。在运动图像显示区域141中显示的移动图像是从内容由缩略图153表示的剪辑的广角运动图像中裁剪的。
用户可以通过在缩略显示区域142上沿垂直方向上执行拖拽操作来在缩略图的显示之间进行切换。另外,用户可以通过在运动图像显示区域141上执行拖拽操作来改变运动图像的裁剪范围,由此观看在再现处理的中间的剪辑的优选范围。
图17是例示剪辑再现画面的又一个示例的图。与在图16中例示的画面进行比较时,在图17中例示的剪辑再现画面中改变了缩略图显示区域和运动图像显示区域的布置。
在图17中例示的剪辑再现画面通过运动图像显示区域171和缩略显示区域172来配置。运动图像显示区域171形成在显示器11的上侧,以便占据显示器11的大约3/4的范围。缩略显示区域172形成在运动图像显示区域171的下侧。
由此,可以适当地改变剪辑再现画面的配置。可以被配置为使得可以在图16和17中例示的显示之间进行切换或者可以在图6和16中例示的显示和在图6和17中例示的显示之间进行切换。
<时移再现>
接下来将描述时移再现。
<关于时移再现>
图18是例示时移再现的概念的图。
时移再现是在相同时间从开始开始再现拍摄时间连续的多个剪辑并且将从剪辑的广角运动图像裁剪的运动图像显示为在一个画面上排列的功能。
在图18中所示的示例中,在相同时间从开始时间t1、t2和t3开始再现剪辑#1至剪辑#3这三个剪辑。
另外,如白色箭头的尖端所指示的那样,由框F21至F23表示的范围的运动图像被从剪辑#1至#3的广角运动图像中裁剪,并且被显示为在一个画面上排列。由框F21至F23表示的范围是具有相同大小的沿相同方向布置的范围。
在图18的左侧所示的实线箭头A1表示在拍摄剪辑#1时的行进方向。在图18的中央所示的实线箭头A2和在其右侧所示的实线箭头A3表示在拍摄剪辑#2和#3时的行进方向。例如基于包括在传感器数据中的加速度或角速度的数据来指定行进方向。由框F21至F23表示的所有范围是在进行拍摄时的在行进方向上的相同范围。
因为剪辑以每个相同的时间间隔来划分,所以各自按照与对应的剪辑的再现时间相同的时间对时间进行偏移所获取的相同范围的运动图像被排列以显示在一个画面上。
被用作运动图像的裁剪范围的基准的方向不限于进行拍摄时的行进方向。例如,运动图像可以被配置为使用声源的方向作为基准来裁剪,或者运动图像可以被配置为使用存在特定的人的方向作为基准来裁剪。
<时移再现的UI的示例>
图19是例示时移再现画面的示例的图。
在图19中例示的时移再现画面例如在从图4中所示的事件选择画面中选择预定事件时显示。当选择事件时,例如,开始再现在属于该事件的剪辑之中拍摄时间连续的三个剪辑。
在图19的上侧所示的时移再现画面中,显示器11在垂直方向上被划分成三个部分,并且从上侧开始顺序地形成带形状的运动图像显示区域201至203。
在运动图像显示区域201中,显示从拍摄时间为“14:30”的剪辑的广角运动图像中裁剪的运动图像。另外,在运动图像显示区域202中,显示从拍摄时间为“14:40”的剪辑的广角运动图像中裁剪的运动图像。在运动图像显示区域203中,显示从拍摄时间为“14:50”的剪辑的广角运动图像中裁剪的运动图像。在每个显示区域的右端,将拍摄时间的信息显示为与运动图像重叠。
当在开始再现每个剪辑之后过去预定时间时,每个运动图像向上滚动,并且如在下侧所示的画面上所表示的那样,切换在运动图像显示区域201至203中显示的运动图像。
在下侧所示的时移再现画面的运动图像显示区域201中,显示从拍摄时间为“15:00”的剪辑的广角运动图像中裁剪的运动图像。拍摄时间为“15:00”的剪辑是持续到在上侧所示的时移再现画面的最下部运动图像显示区域203中显示的剪辑的剪辑。
另外,在下侧所示的时移再现画面的运动图像显示区域202中,显示从拍摄时间为“15:10”的剪辑的广角运动图像裁剪的运动图像。另外,在运动图像显示区域203中,显示从拍摄时间为“15:20”的剪辑的广角运动图像裁剪的运动图像。
在运动图像之间的切换可以被配置为在完成每个剪辑的再现到达结束时或者在过去诸如三分钟这样的预定时间时执行。另外,在运动图像之间进行切换的定时可以由用户设置。
例如,在运动图像显示区域201至203中显示的运动图像还在用户执行在垂直方向上的拖拽操作时切换。当在显示图19的上侧所示例的时移再现画面的状态下执行与三个运动图像对应的向上的拖拽操作时,时移再现画面的显示被切换到图19的下侧所示的画面。
图20是例示时移再现画面的切换的图。
通过以时间标度为次序垂直地排列从每个剪辑的广角运动图像中裁剪的运动图像并且根据用户的操作在垂直方向上或对于每个预定时间向下移动包围三个运动图像的框f来进行时移再现画面的切换。被框f包围的运动图像被分别显示在运动图像显示区域201至203中。
例如,当在开始显示从剪辑#11至#13的广角运动图像中裁剪的运动图像之后过去预定时间时,显示从被表示为由框f包围的剪辑#14至#16的广角运动图像中裁剪的运动图像。另外,当在开始显示从剪辑#14至#16的广角运动图像中裁剪的运动图像之后过去预定时间时,显示从剪辑#17至#19的广角运动图像中裁剪的运动图像。剪辑#11至#19是拍摄时间连续的剪辑。
通过使用上述时移再现功能,用户可以同时观看多个剪辑。从而,与一次观看一个剪辑的情况相比,用户可以高效地观看广角运动图像。
在通过在时移再现处理中显示的运动图像上轻击来选择一个剪辑的情况下,如图6中所示,在整个显示器11上显示从所选择的剪辑的广角运动图像中裁剪的运动图像。
例如,在针对在图19的上侧所示的时移再现屏的运动图像显示区域201中显示的运动图像进行轻击操作的情况下,如图6中所示的那样显示从拍摄时间为“14:30”的剪辑的广角运动图像中裁剪的运动图像。广角运动图像的裁剪范围例如是包括在运动图像显示区域201中显示的范围的范围。
由此,用户可以通过观看在图19中所示的时移再现画面并且在存在希望详细地检查的剪辑时选择剪辑来以放大的比例在显示器11上显示所选择的剪辑的运动图像。
<时移再现处理>
这里将参照在图21中所示的流程图来描述信息处理装置1的时移再现处理。例如当从图4中所示的事件选择画面中选择预定事件时开始在图23中所示的处理。
在步骤S51中,再现单元114从属于所选择的事件的多个剪辑之中以拍摄时间的升序来顺序地选择拍摄时间连续的多个剪辑,并且顺序地再现所选择的剪辑。再现单元114向信息处理单元115输出通过再现处理获取的每个剪辑的广角运动图像的数据
在步骤S52中,裁剪单元133从每个剪辑的广角运动图像中裁剪相同范围的运动图像。从每个剪辑的广角运动图像中裁剪的运动图像的数据被提供给显示控制单元116。
在步骤S53中,显示控制单元116如图19所示那样地将从剪辑的广角运动图像中裁剪的运动图像显示为在运动图像显示区域中排列。
在步骤S54中,再现单元114确定用户是否执行了垂直方向的拖拽操作。
在步骤S54中确定执行了在垂直方向上的拖拽操作的情况下,再现单元114在步骤S55中根据用户的操作切换要再现的剪辑。再现单元114将处理返回到步骤S51,开始再现新选择的多个剪辑并且进行随后的处理。
另一方面,在步骤S54中确定未执行在垂直方向上的拖拽操作的情况下,再现单元114在步骤S56中确定在再现开始之后是否已经过去预定时间。在步骤S56中确定在再现开始之后未过去预定时间的情况下,再现单元114将处理返回到步骤S51,并且恢复在再现处理的期间的剪辑的再现。
另一方面,在步骤S56中确定在再现开始之后已经过去预定时间的情况下,再现单元114在步骤S57中确定是否已经执行再现处理直至属于用户所选择的事件的最后的剪辑。
在步骤S57中确定未执行再现直至最后的剪辑的情况下,再现单元114在步骤S58中将要再现的剪辑切换为在到此时为止已经再现的剪辑之后的多个剪辑。
之后,再现单元114将处理返回到步骤S51,开始再现已经新选择的多个剪辑,并且执行随后的处理。另一方面,在步骤S57中确定已经执行了再现直至最后的剪辑的情况下,处理结束。
根据上述的处理,与一次观看一个剪辑的情况相比,用户可以高效地观看具有广视角的运动图像。
代替显示在执行时移再现时从广角运动图像中裁剪的运动图像,可以通过使用已经提前生成的剪辑的缩略运动图像来显示如图19中所示的画面。
<时移再现的UI的另一示例>
图22是例示时移再现画面的另一示例的图。
在图22所示的示例中,显示器11在垂直的方向上被划分成6个部分,从而形成运动图像显示区域221和226。在运动图像显示区域221至226中,显示从拍摄时间连续的6个剪辑的广角运动图像中裁剪的运动图像。例如,在最上面的运动图像显示区域221显示从拍摄时间为“14:30”的剪辑的广角运动图像中裁剪的运动图像,并且在运动图像显示区域222至226中显示从该剪辑之后的剪辑的广角运动图像中裁剪的运动图像。
由此,被排列以显示在一个画面上的运动图像的数量可以被配置为三个或更多。例如,当用户将信息处理装置1的朝向从水平改变成垂直时,时移再现画面从图19中所示的画面切换到图22中所示的画面。
图23是例示改变再现时间的示例的图。
在图23中例示的时移再现画面与图19的上侧例示的画面相同。在运动图像显示区域201中,显示从拍摄时间为“14:30”的剪辑的广角运动图像裁剪的运动图像。另外,在运动图像显示区域202中,显示从拍摄时间为“14:40”的剪辑的广角运动图像裁剪的运动图像。在运动图像显示区域203中,显示从拍摄时间为“14:50”的剪辑的广角运动图像裁剪的运动图像。
在该状态下,例如,由白色箭头A11所指示的那样,在对拍摄时间为“14:40”的剪辑的运动图像执行向左的拖拽操作的情况下,仅对拍摄时间为“14:40”的剪辑倒回再现时间。另外,由白色箭头A12所指示的那样,在执行向右的拖拽操作的情况下,仅对拍摄时间为“14:40”的剪辑执行再现时间的快进。
由此,代替同时再现多个运动图像,再现时间可以被配置为由用户指定。另外,代替仅针对用户所选择的剪辑进行再现时间的倒回或快进,对多个运动图像的再现时间的倒回和快进可以被配置为一起执行。
另外,在上述的描述中,虽然显示从每个剪辑的广角运动图像裁剪的带形状的运动图像,但是可以适当地改变显示画面的配置。
图24是例示时移再现画面的又一个示例的图。
在图24所示的示例中,整个画面在垂直方向上被划分成三个部分,并且还在水平方向上被划分成三个部分,并且形成运动图像显示区域241至249这9个区域作为运动图像显示区域。在该情况下,广角运动图像的裁剪范围是水平长度比垂直长度稍长的水平长的矩形形状的范围,并且这样的范围的运动图像被显示在运动图像显示区域241至249中。
在图24中所示的示例中,在布置在左上侧的运动图像显示区域241中显示从拍摄时间为“14:30”的剪辑的广角运动图像中裁剪的运动图像。另外,在运动图像显示区域242至249中显示从拍摄时间为“14:30”的剪辑之后的8个剪辑的广角运动图像裁剪的运动图像。
如上所述,在时移再现画面上显示多个剪辑的运动图像的同时,除拍摄时间之外的与剪辑有关的各种信息可以被配置为与运动图像一起显示。
图25是例示喜爱图标被显示为与运动图像重叠的情况的示例的图。
在该示例中,在存在偏好剪辑的同时观看被排列以显示的运动图像的情况下,用户可以在剪辑中设置表示偏好剪辑的信息。例如通过执行诸如在被排列以显示预定时间或更多的运动图像上轻击这样的预定操作来进行偏好剪辑的选择。
在选择偏好剪辑的情况下,显示控制单元116显示具有预定形状的图标,诸如显示星形状作为喜爱图标以与所选择的剪辑的运动图像重叠。另外,信息处理单元115设置表示剪辑被选择作为喜爱剪辑的信息作为剪辑的元数据。
在图25中所示的示例中,喜爱图标261至263被添加到剪辑#21至#27之中的剪辑#21、#23和#26的运动图像。
通过显示喜爱图标,例如,在通过滚动时移再现画面来观看剪辑的内容时,用户可以检查剪辑在过去被设置为喜爱剪辑。
例如,被设置为元数据的表示喜爱剪辑的信息被用于生成剪辑的摘要版本的情况。摘要版本的内容是通过将从属于特定事件的剪辑之中选择的预定数量的剪辑组合来生成的。
例如,在选择事件并且用户作出生成摘要版本的指令的情况下,信息处理单元115通过允许在元数据中包括表示被选择作为喜爱剪辑的信息的剪辑以高优先级别建立来生成内容。
由此,附属于剪辑的元数据的各种信息可以被配置为被设置。
图26是例示将从包括突出部分的剪辑的广角运动图像中裁剪的运动图像显示为突出的情况的示例的图。
在该示例中,确定每个剪辑是否为包括突出部分的剪辑。
由信息处理单元115基于人检测单元131A检测到的人的数量、数据分析单元132基于音频数据检测的音量水平等来确定剪辑是否包括突出部分。与阈值或更多的数量对应的人出现等的剪辑被确定为包括突出部分的剪辑。对于被确定为包括突出部分的剪辑,信息处理单元115设置表示包括突出部分的信息作为元数据。
显示控制单元116将具有预定色彩的帧图像添加到包括突出部分的剪辑的运动图像,并且将运动图像显示为突出。
在图26中所示的示例中,在剪辑#31至#41之中,剪辑#32、#36和#39的运动图像被显示为突出。
通过将剪辑显示为突出,用户可以在通过滚动时移再现画面观看剪辑的内容等时来容易地检查剪辑包括突出部分。
<多画面显示>
接下来将描述多画面显示
多画面显示是用于针对一个剪辑的广角运动图像设置多个裁剪范围并且在一个画面上显示被裁剪的多个运动图像的功能。
<多画面显示的第一示例>
图27是例示多画面显示的第一示例的图。
在图27所示的运动图像再现画面上,显示器11被垂直地划分成两个部分,并且形成区域301和302。区域301形成在显示器11的上侧以占据显示器11的大约3/4的范围。区域302形成在区域301的下侧。
在区域301中,显示将在几乎直的路的两侧存在树的场景作为被摄体的运动图像。在区域302中,显示将布置在摩托车的把手的中央处的指示器作为被摄体的运动图像。在图27中所示的运动图像再现画面上显示的运动图像是从在驾驶摩托车的期间拍摄的剪辑的广角运动图像中裁剪的运动图像。
图28是例示运动图像的裁剪范围的示例的图。
作为拍摄位置的位置P1是几乎在摩托车的驾驶者的胸部的前侧附近的位置。箭头A21表示在拍摄处理期间的行进方向。
在该情况下,裁剪单元133将具有与区域301的纵横比几乎相同的纵横比的水平长的矩形形状的范围设置为裁剪范围,如框F31所示。例如,由框F31表示的裁剪范围被设置为包括存在于拍摄处理的期间的行进方向上具有大的运动并且位于远处的被摄体。裁剪单元133分配区域301作为根据框F31表示的范围裁剪的将行进方向上的前方场景作为被摄体的运动图像显示区域。
另外,裁剪单元133将由框F32表示的具有与区域302的纵横比几乎相同的纵横比的带形状范围作为裁剪范围。例如由框F32表示的裁剪范围被设置为包括在拍摄处理期间存在于行进方向上具有小的运动并且位于附近的被摄体。裁剪单元133分配区域302作为将根据框F32表示的范围裁剪的指示器作为被摄体的运动图像显示区域。
在该示例中,基于在拍摄处理期间的行进方向、被摄体的运动量以及到被摄体的距离来进行运动图像的裁剪范围的设置以及将裁剪的运动图像分配给显示区域。
换言之,在拍摄期间的行进方向上的包括具有大运动并且位于远处的被摄体的运动图像被分配给作为宽区域的区域301。另外,在拍摄期间的行进方向上的包括具有小运动并且位于附近的被摄体的运动图像被分配给作为窄区域的区域302。基于包括在拍摄处理期间检测到的角速度和加速度的传感器数据来指定拍摄处理期间的行进方向。另外,通过分析广角运动图像来指定被摄体的运动量以及到被摄体的距离。
另外,例如根据用户选择的运动图像再现画面的区域布局来确定裁剪范围的数量和形状。用户在选择用于多画面显示的目标的剪辑之前或之后从提前准备的多个布局中选择优选区域布局。
通过显示这样的画面,用户可以观看并比较在驾驶期间观看到的指示器的运动和前方场景。另外,因为前方场景和指示器的运动对于回顾驾驶期间的视图的用户是感兴趣的被摄体,所以与显示驾驶期间的广角运动图像的整个拍摄范围的情况相比,用户可以高效地观看广角运动图像。
通过对显示在每个区域上的运动图像执行操作,用户可以改变运动图像的裁剪范围。例如,在显示在区域301中的运动图像上进行轻击的情况下,包括由框F31表示的范围的运动图像被从同一广角运动图像中裁剪,并且如图6中所例示那样地显示在整个显示器11上。通过在被完整地显示的具有驾驶期间的前方场景的图6中所示的画面上执行拖拽操作,用户还可以检查除前方场景之外的优选场景。
另外,在对显示在区域301中的运动图像执行拖拽操作的情况下,由框F31表示的范围根据拖拽操作来移动,并且从广角运动图像中裁剪另一范围的运动图像。裁剪运动图像被显示在区域301中。
在对显示在区域301中的运动图像执行捏放/捏缩操作的情况下,由框F31表示的范围的大小在纵横比被维护的情况下改变,并且具有不同视角的范围的运动图像被从广角运动图像中裁剪。裁剪运动图像被显示在区域301中。
同样针对显示在区域302中的运动图像,类似地,根据用户的操作来切换显示。这被类似地应用于稍后描述的多画面显示的其他画面的运动图像。
<多画面显示的第二示例>
图29是例示多画面显示的第二示例的图。
在图29中所示的运动图像再现画面通过作为梯形区域的区域311和作为面向区域311的梯形区域的区域312以及作为其他区域的区域313来配置。
区域311是将显示器11的上侧作为下底并且上底的长度是下底的大约一半的梯形区域,并且形成在显示器11的上侧。区域312是将显示器11的下侧作为下底并且上底的长度是下底的大约一半的梯形区域,并且形成在显示器11的下侧。区域311和312的高度为垂直方向上的显示器的长度的约1/4,并且其上底彼此间隔预定距离。
在区域311中,显示将摩托车的驾驶者作为被摄体的运动图像。另外,在区域312中,显示将布置在摩托车的把手的中央处的指示器作为被摄体的运动图像。在作为被插入在区域311和312之间的区域的区域313,显示将在几乎直的路的两侧上存在树的场景作为被摄体的运动图像。在图29中所示的运动图像再现画面上显示的运动图像是从在摩托车的驾驶期间拍摄的剪辑的广角运动图像中裁剪的运动图像。
图30是例示运动图像的裁剪范围的示例的图。
作为拍摄位置的位置P1是在摩托车的驾驶者的胸部的前侧周围附近的位置。箭头A21表示在拍摄处理期间的行进方向。
在该情况下,裁剪单元133设置如框F41所表示的具有与显示器11的纵横比几乎相同的纵横比的水平长的矩形形状的范围作为裁剪范围。由框F41所表示的裁剪范围例如被设置为包括存在于拍摄处理期间的行进方向上、具有大运动并且位于远处的被摄体。裁剪单元133分配区域313作为根据由框F41所表示的范围裁剪的将在行进方向上的前方场景作为被摄体的运动图像显示区域。
另外,裁剪单元133设置由框F42所表示的具有与区域312的下底和高度之间的比几乎相同的纵横比的带形状范围作为裁剪范围。由框F42表示的裁剪范围例如被设置为包括在拍摄处理期间存在于行进方向上、具有小运动并且位于附近的被摄体。裁剪单元133分配区域312作为根据由框F42表示的范围裁剪的将指示器作为被摄体的运动图像显示区域。
裁剪单元133设置如框F43表示的具有与区域311的下底和高之间的比几乎相同的纵横比的带形状范围作为裁剪范围。由框F43表示的裁剪范围例如被设置为包括存在于与在拍摄处理的期间的行进方向相反的方向上并且是具有小运动的人并且位于附近的被摄体。裁剪单元133分配区域311作为根据由框F43表示的范围裁剪的将驾驶者作为被摄体的运动图像显示区域。
在该示例中,基于拍摄处理期间的行进方向、被摄体的运动量、到被摄体的距离以及人的位置来进行对运动图像的裁剪范围的设置以及将裁剪的运动图像分配给显示区域。
换言之,在拍摄处理期间的行进方向上包括具有大运动并且位于远处的被摄体的运动图像被分配给作为宽区域的区域313。另外,在拍摄处理期间的行进方向上包括具有小运动并且位于附近的运动图像被分配给作为窄区域的区域312。另外,包括在与拍摄处理期间的行进方向相对的方向上的被摄体和具有小运动并且位于附近的人的运动图像被分配给作为窄区域的区域311。
通过显示具有这样的区域布局的画面,信息处理装置1可以强调剪辑的深度感(速度感)。
另外,用户可以观看和比较在驾驶期间观看的前方场景、指示器的运动以及驾驶者的状态。因此,与观看在驾驶期间的广角运动图像的整个拍摄范围的情况相比,用户可以高效地观看具有广视角的运动图像。
画面的配置可以被配置为根据基于传感器数据指定的拍摄处理期间的移动速度来改变。例如,在拍摄处理期间的移动速度为阈值速度或更高的情况下,信息处理装置1通过加宽梯形区域等来改变在图29中例示的画面的配置。由此,信息处理装置1可以根据移动速度强调由用户所接收到的印象(诸如深度感)。
<多画面显示的第三示例>
图31是例示多画面显示的第三示例的图。
在图31中例示的运动图像再现画面上,类似于在图27中例示的画面,显示器11被垂直地划分成两个部分,并且形成区域321和322。
在区域321中,显示将戏剧表演的表演者作为被摄体的运动图像。在区域322中,显示将戏剧表演的观众作为被摄体的运动图像。换言之,在图31中例示的运动图像再现画面上显示的运动图像是从在戏剧表演期间拍摄的剪辑的广角运动图像中裁剪的运动图像。
图32是例示运动图像的裁剪范围的示例的图。
作为拍摄位置的位置P1是戏剧表演的舞台与观众座位之间的位置。箭头A21表示舞台的方向。
在该情况下,裁剪单元133设置如框F51所表示的具有与区域321的纵横比几乎相同的纵横比的水平长的矩形形状作为裁剪范围。由框F51表示的裁剪范围例如被设置为包括具有大运动并且在声源的方向上的被摄体。裁剪单元133分配区域321作为根据框F51表示的范围裁剪的将舞台上的表演者作为被摄体的运动图像显示区域。
另外,裁剪单元133设置如框F52所表示的具有与区域322的纵横比几乎相同的纵横比的带形状作为裁剪范围。由框F52表示的裁剪范围例如被设置为包括具有大运动并且在存在于与声源的方向上的被摄体相反的方向上存在的被摄体以及具有小运动的人。裁剪单元133分配区域322作为从框F52表示的范围中裁剪的将观众作为被摄体的运动图像显示区域。
在该示例中,基于拍摄处理期间的声源的方向以及被摄体的运动量来进行对运动图像的裁剪范围的设置和将裁剪的运动图像分配到显示区域。
换言之,包括在拍摄处理期间的声源方向上的被摄体以及具有大运动的被摄体的运动图像被分配给作为宽区域的区域301。另外,包括在拍摄处理期间的声源相反的方向上的被摄体以及具有小运动的被摄体的运动图像被分配给作为窄区域的区域302。基于剪辑的音频数据来指定拍摄处理期间的声源的方向。另外,通过分析广角运动图像来指定被摄体的运动量。
通过显示这样的画面,用户可以观看并比较戏剧表演的内容以及观众的状态。另外,与观看在戏剧表演的期间的整个拍摄范围的情况相比,用户可以高效地观看广角运动图像。
<多画面显示的第四示例>
图33是例示多画面显示的第四示例的图。
在图33中例示的运动图像再现画面上,显示器11被水平地划分成两个部分,并且只有其右半部被垂直地划分成两个部分,从而形成区域331至333。区域331形成在显示器11的左半部以占据显示器11的大致一半的范围。区域332形成在显示器11的右上侧以占据显示器11的大约1/4的范围。区域333形成在区域332的下侧。
在区域321中,显示将有两个选手的网球场作为被摄体的运动图像。在区域332和333中,显示各将选手作为被摄体的运动图像。显示在图33中所示的运动图像再现画面上的运动图像是从在网球比赛期间拍摄的剪辑的广角运动图像中分别裁剪的运动图像。
图34是例示运动图像的裁剪范围的示例的图。
作为拍摄位置的位置P1是可以俯视整个网球场的观众座位。箭头A21表示网球场的方向。
在该情况下,裁剪单元133设置如框F61所表示的具有与区域331的纵横比几乎相同的纵横比的矩形范围作为裁剪范围。由框F61表示的裁剪范围例如被设置为包括具有大运动的两个人。裁剪单元133分配区域331作为根据框F61表示的范围裁剪的将整个网球场作为被摄体的运动图像显示区域。
另外,裁剪单元133设置由框F62所表示的具有与区域332的纵横比几乎相同的纵横比的矩形范围作为裁剪范围。裁剪由框F61表示的裁剪范围内的范围的一部分的运动图像。由框F62表示的裁剪范围例如被设置为包括具有大运动并且位于远处的的人作为被摄体。裁剪单元133分配区域332作为根据由框F62表示的范围裁剪的将两个选手之中的相对位于远处的选手作为被摄体的运动图像显示区域。
裁剪单元133设置由框F63所表示的具有与区域333的纵横比几乎相同的纵横比的矩形范围作为裁剪范围。由框F63表示的裁剪范围例如被设置为包括具有大运动并且位于附近的的人作为被摄体。裁剪单元133分配区域333作为根据由框F63表示的范围裁剪的将两个选手之中的相对位于附近的选手作为被摄体的运动图像显示区域。
在该示例中,基于被摄体的运动量以及人的位置来进行对运动图像的裁剪范围的设置以及将裁剪的运动图像分配给显示区域。另外,裁剪范围被设置为裁剪宽范围以及其中的一部分范围。
如上所述,在每个剪辑的元数据中,与时间信息关联地设置在广角运动图像中出现的人的人ID和人位置信息。
通过基于人位置信息跟踪同一人的运动来设置由框F62表示的裁剪范围。类似地,通过基于人位置信息跟踪同一人的运动来设置由F63表示的裁剪范围。
由此,在区域332中持续地显示同一人,并且在区域333中持续地显示同一人。
通过将具有广视角的运动图像和与运动图像的一部分有关的运动图像显示为排列,用户可以观看和比较整个网球场的外观以及两个选手的状态。另外,与观看每一个剪辑的情况相比,例如在观看具有广视角的运动图像之后观看与选手有关的运动图像的情况,用户可以高效地观看具有广视角的运动图像。
<多画面显示的第五示例>
图35是例示多画面显示的第五示例的图。
在图35所示的运动图像再现画面上,显示器11被水平地划分成两个部分,并且只有其左半部被垂直地划分成两个部分,从而形成区域341至343,区域341形成在显示器11的左上侧以占据显示器11的大约1/4的范围。区域342形成在显示器11的左下侧以占据显示器11的大约1/4的范围。另外,区域343形成在显示器11的右半部以占据整个显示器11的大致一半的范围。
在区域341中,显示将场景作为被摄体的运动图像。在区域342中,显示将骑自行车的人作为被摄体的运动图像。显示在图35中所示的运动图像再现画面上的运动图像是分别从在驾驶自行车期间拍摄的剪辑的广角运动图像中裁剪的的运动图像。
运动图像的裁剪范围与由图30中所示的框F41和F43所表示的裁剪范围几乎相同。包括在拍摄处理期间的行进方向上存在的被摄体以及具有大运动并且位于远处的被摄体的范围的运动图像被从广角运动图像中裁剪,并且被分配给区域341。另外,包括存在于拍摄处理期间的行进方向相反的方向上的具有小运动并且位于附近的被摄体的范围的运动图像被分配给区域342。
在区域343中,显示从因特网上的服务器等下载的地图。在地图中,显示图标351以便表示在进行拍摄时的位置。如上所述,在每个剪辑的元数据中,包括表示进行拍摄时的位置的信息。
由此,可以与从广角运动图像中裁剪的运动图像一起显示与运动图像有关的各种信息。因此,用户可以高效地观看具有广视角的运动图像,同时检查与运动图像有关的信息。
在图35中例示的运动图像再现画面的中下侧,将图标361和362排列地显示。图标361和362在进行显示模式之间的切换时被操作。当显示在图35中例示的运动图像再现画面时,只有图标361是可操作的,而图标362处于不可操作的状态。
图36是例示当在显示图35中例示的运动图像再现画面的状态下操作图标361时显示的画面的示例的图。
当操作图标361时,已经显示在图35中例示的运动图像再现画面的区域341中的运动图像以放大的比例以弓形状的黑色区域被分配给上侧和下侧的形式来显示在显示器11上。根据这样的显示,信息处理装置1还可以强调剪辑的深度感。
当在显示在图36中例示的运动图像再现画面的状态下操作图标362时,显示器11的显示切换到在图35中例示的运动图像再现画面。当显示在图36中例示的运动图像再现画面时,只有图标362是可操作的,而图标361处于不可操作的状态。
<多画面显示处理>
这里将参照图37中例示的流程图来描述信息处理装置1的多画面显示处理。在图37中例示的处理例如在从图5中例示的剪辑选择画面中选择作为再现目标的剪辑时开始。
当选择作为再现目标的剪辑时,在显示器11上显示区域布局的选择画面。用户可以从显示在选择画面上的多种区域布局中选择优选的区域布局。
在步骤S61中,裁剪单元133根据用户针对选择画面的操作来选择区域布局。裁剪单元133根据区域布局来确定从广角运动图像中裁剪运动图像的范围的大小、形状和数量。
在步骤S62中,再现单元114再现作为再现目标的剪辑,并且向信息处理单元115输出广角运动图像的数据。
在步骤S63中,图像分析单元131分析广角运动图像的整个拍摄范围。例如,图像分析单元131指定对在广角运动图像中出现的场景的识别、在广角运动图像中出现的每个被摄体的运动量、到被摄体的距离等。图像分析单元131向裁剪单元133输出分析的结果的数据。
在步骤S64中数据分析单元132从剪辑数据存储单元113读取作为再现目标的剪辑的音频数据和元数据,并且分析数据。例如,通过分析音频数据,数据分析单元132指定声源的方向。另外,数据分析单元132基于角速度和加速度的数据指定在拍摄处理期间的行进方向。
类似于对在剪辑中出现的人的检测,在步骤S63和S64中进行的分析可以被配置为在剪辑的再现之前提前进行。在这样的情况下,将分析的结果的数据设置为每个剪辑的元数据。
在步骤S65中,裁剪单元133根据区域布局来设置运动图像的裁剪范围。另外,裁剪单元133将裁剪的运动图像分配给显示区域。如参照图28、30、32以及34所描述的那样地基于由图像分析单元131和数据分析单元132进行的分析的结果以及包括在作为再现目标的剪辑的元数据中的人的信息来进行裁剪范围的设置和将运动图像分配给显示区域。
在步S66中,裁剪单元133根据所设置的裁剪范围从剪辑的广角运动图像中裁剪运动图像。
在步骤S67中,显示控制单元116在如参照图27、29、31或33所描述的区域中显示从广角运动图像中裁剪的运动图像。
在步骤S68中,再现单元114确定再现是否完成。在确定再现未完成的情况下,重复步骤S62和随后的步骤的处理。在重复执行的处理中,在用户的操作被执行的情况下、在人被跟踪到的情况下等,再次执行裁剪范围的设置。另一方面,在步骤S68中确定再现已经完成的情况下,处理结束。
根据上述处理,用户可以高效地观看具有广视角的运动图像。
在上述的描述中,虽然假设区域布局由用户来选择,但是区域布局可以被配置为由信息处理装置1基于对人的检测的结果、对广角运动图像的分析的结果、对音频数据和传感器数据的分析的结果等来自动地选择。
另外,虽然将裁剪范围的设置以及将运动图像分配给显示区域描述为在再现剪辑时执行,但是,例如,用于显示如图27所示的运动图像再现画面的剪辑可以被配置为提前生成。当作出用于多画面显示的提前生成的剪辑的再现的指令时,显示如图27所示的运动图像再现画面。
<人跟踪再现>
接下来将描述人跟踪再现。
<关于人跟踪再现>
图38是例示人跟踪再现的概念的图。
人跟踪再现是用于允许裁剪范围跟踪特定的人的运动并且持续地显示出现该人的运动图像的功能。人跟踪再现通过使用包括在作为再现目标的剪辑的元数据中的人ID和人位置信息来实现。
在图38中表示的剪辑#51是再现时间为时间t11至t14的剪辑。一个人从时间t11至时间t12出现在位置P11处,并且从时间t12至t13出现在位置P12处。另外,该人从时间t13至t14出现在位置P13处。表示在各时间的人的位置的信息包括在元数据中。
在作出针对在作为目标的剪辑#51中出现的人的人跟踪再现的指令的情况下,包括位置P11的由框F101表示的范围的运动图像被裁剪并且从时间t11至时间t12被显示。另外,包括位置P12的由框F102表示的范围的运动图像被裁剪并且从时间t12至时间t13被显示。包括位置P13的由框F103表示的范围的运动图像被裁剪并且从时间t13至时间t14被显示。
由此,在显示器11上,在剪辑51中出现的该人在所有时间被持续地显示。从而,用户可以观看所选择的人被关注的剪辑。
<人跟踪再现的第一示例>
图39是例示脸部图像选择画面的示例的图。
脸部图像选择画面用于选择作为跟踪目标的人。在图39中例示的脸部图像选择画面上,作为人的脸部的图像的脸部图像401至412以三行、四列排列以显示在画面的中央附近。脸部图像401至412被显示为通过随机改变角度来部分地相互重叠。在脸部图像401至412的背景上,显示作为再现目标的剪辑的图像。
脸部图像401至412是在作为再现目标的剪辑中出现的所有的人的脸部的图像。例如在开始人跟踪再现之前从作为再现目标的剪辑的广角运动图像中裁剪脸部的图像。
通过在脸部图像上轻击,用户可以选择作为跟踪目标的人。在图39中例示的示例中,形成通过光标C选择脸部图像401的状态。
由此,通过指定人的脸部来选择作为跟踪目标的人。
图40是例示跟踪再现画面的示例的图。
在作为跟踪目标的人被选择时显示跟踪再现画面。当选择了人时,从所选择的人在所有剪辑之中出现的时间开始再现,并且从广角运动图像中裁剪包括作为跟踪目标的人的范围的运动图像。裁剪的运动图像显示在整个画面上。
如在图40中所示,在跟踪再现画面的下侧,脸部图像421至428被排列地显示,并且与作为再现目标的剪辑的运动图像重叠。在图40所示的示例中,被表示为由虚线包围的脸部图像显示区域431形成在整个画面的内部,即作为再现目标的剪辑的运动图像显示区域的内部。
脸部图像421至428是在被再现的场景中出现的所有的人的当前的脸部的运动图像。对脸部图像425施加光标C,具有被施加光标C的脸部图像425的脸部的人被表示为跟踪对象。
通过在被排列以显示在跟踪再现画面下方的脸部图像上轻击,用户可以在要作为跟踪目标的人之间进行切换。
图41是例示裁剪要在跟踪再现画面上显示的脸部图像的图。
在位于左后侧的位置P11处出现的人是当前作为跟踪目标的人。在整个跟踪再现画面上,显示由框F101表示的包括跟踪目标人的范围的运动图像。
在图41所示的示例中,在当前再现的场景上,除了跟踪目标人(位于位置P11处的人)之外,还出现位于位置P21至P26处的6个人。因为除跟踪目标人之外的6个人存在于由框F101表示的范围之外,所以这6个人被基于脸部图像从具有显示的脸部中排除,并且是不显示在跟踪再现画面上的人。
此时,除了包括作为跟踪目标的位于位置P11处的人的范围的运动图像之外,还从广角运动图像中裁剪包括由框F111至F116表示的6个人的脸部的范围的运动图像。将裁剪的运动图像排列以与作为跟踪目标的人的脸部图像一起显示为如图40所示的脸部图像。作为跟踪目标的人的面部图像例如通过限制由框F101表示的范围的运动图像的显示范围来显示。
例如,在跟踪再现画面上选择存在于位置P21处的人的脸部图像的情况下,作为新的跟踪目标的人是存在于位置P21处的人,并且运动图像的裁剪范围切换到包括存在于位置P21处的人的范围。
在整个跟踪画面上,显示出现存在于位置P21处的人的运动图像。另外,在跟踪再现画面上,将存在于位置P11处的人以及存在于位置P21至P26处的人的脸部图像排列以显示在下侧。
由此,用户可以容易地选择除被跟踪并且被显示的人之外的人作为新的跟踪目标。
图42是例示在剪辑的再现期间的脸部图像之间的切换的图。
作为再现目标剪辑的剪辑#61是再现时间为时间t21至时间t27的剪辑。在剪辑#61中,在整个再现时间期间出现四个人A至D(四个人露面)。
在时间轴的方向上表示的箭头表示每个人出现的时间。人A在时间t21至时间t25的时间框中出现,并且人B在时间t21至时间t24的时间框中出现。另外,人C在时间t23至时间t26的时间框中出现,并且人D在时间t21至时间t27的时间框中出现。基于包括在元数据中的人ID,指定每个人出现的时间框。
在用于选择作为跟踪目标的人的脸部图像选择画面中,如图43所示,显示人A至D的脸部图像。例如,假设选择人D的脸部图像,并且将人D选择为跟踪目标。
在选择人D作为跟踪目标的情况下,开始剪辑#61的再现。因为人D从时间t21开始出现,所以剪辑#61的再现从领导时间t21开始。在选择人C作为跟踪目标的情况下,剪辑#61的再现从人C出现的时间t23开始。
当开始剪辑#61的再现时,包括被选择为跟踪目标的人D的范围的运动图像被显示在跟踪再现画面上。因此,用户可只观看包括人D的范围。
另外,在时间t21至时间t23的时间框中,不仅包括人D的范围的运动图像,而且包括在时间框处出现的人A和B的脸部的范围的运动图像也被裁剪。在跟踪再现画面的下侧,如图44所示的最上侧所示的那样,人A和B的脸部图像与作为跟踪目标的人D的脸部图像一起显示。用户可以将跟踪目标从人D切换到人A或B。
当跟踪人D的剪辑#61的再现前进并且为时间为t23时,跟踪再现画面的显示处于显示除人A、B和D的脸部图像之外还显示人C的脸部图像的状态(如图44所示的白色箭头A101的尖端所指示的)。人C从时间t23开始出现在剪辑#61的广角运动图像中。在白色箭头A101的尖端所表示的显示继续直至时间t24为止。用户可以将跟踪目标从人D切换到人A、B或C。
当跟踪人D的剪辑#61的再现前进并且时间为t24时,跟踪再现画面的显示处于人B的脸部图像消失并且人A、C和D的脸部图像被显示的状态(如图44所示的白色箭头A102的尖端所指示的)。人B从时间t24开始在剪辑#61的广角运动图像中消失。白色箭头A102的尖端所指示的显示继续直至时间t25为止。用户可以将跟踪目标从人D切换到人A或C。
当跟踪人D的剪辑#61的再现前进并且时间为t25时,跟踪再现画面的显示处于人A的脸部图像消失并且人C和D的脸部图像被显示的状态(如图44所示的白色箭头A103的尖端所指示的)。人A从时间t25开始在剪辑#61的广角运动图像中消失。白色箭头A103的尖端所指示的显示继续直至时间t26为止。用户可以将跟踪目标从人D切换到人C。
当跟踪人D的剪辑#61的再现前进并且时间为t26时,跟踪再现画面的显示处于人C的脸部图像消失并且仅人D的脸部图像被显示的状态(如图44所示的白色箭头A104的尖端所指示的)。人C从时间t26开始在剪辑#61的广角运动图像中消失。白色箭头A104的尖端所指示的显示继续直至时间t27为止。
当在跟踪人D的剪辑#61的再现期间执行预定操作时,剪辑#61的再现临时停止,并且在显示器11上显示在图43中所示的脸部图像选择画面而不是跟踪再现画面。用户还可以从脸部图像选择画面中选择作为新的跟踪目标的人。
由此,用户可以从人的脸部图像中选择作为跟踪的人。另外,持续地显示出现特定的人的运动图像,并且因此,用户可以高效地观看具有广视角的运动图像。
<人跟踪再现处理>
这里将参照图45中所示的流程图来描述信处理装置1的脸部图像生成处理。例如,在开始人跟踪再现之前执行在图45中所示的处理。
例如,通过在图45中所示的处理生成的脸部图像被用于脸部图像选择画面的显示。通过在图45中所示的处理生成的脸部图像可以用于在人跟踪再现期间的画面的显示。
在步骤S81中,数据分析单元132从剪辑数据存储单元113中读取进行人跟踪再现的剪辑的元数据。数据分析单元132基于包括在所读取的元数据中的人ID和人位置信息来指定每个人出现的时间以及广角运动图像中的位置。数据分析单元132向裁剪单元133输出已经被指定的时间和位置的信息。
在步S82中,再现单元114再现剪辑,并且将广角运动图像的数据输出给信息处理单元115。
在步骤S83中,当从再现单元114提供出现人的在由数据分析单元132指定的时间时的广角运动图像时,裁剪单元133从广角运动图像中裁剪在由数据分析单元132指定的位置处出现的人的脸部图像作为脸部图像。脸部图像可以是静态图像或运动图像。
在步骤S84中,再现单元114确定再现是否完成。在确定再现未完成的情况下,重复步骤S82和随后的步骤的处理。通过被重复执行的处理,在剪辑中出现的所有人的脸部图像被顺序地从广角运动图像中裁剪。
另一方面,在步骤S84中确定再现已经完成的情况下,数据分析单元132将从广角运动图像中裁剪的所有人的脸部图像存储在剪辑数据存储单元113中,作为元数据。之后,处理结束。
接下来,将参照在图46中所示的流程图来描述信息处理装置1的人跟踪再现处理。在例如从在图5中所示的剪辑选择画面中选择作为人跟踪再现的目标的剪辑时开始在图46中所示的处理。
在步骤S101中,显示控制单元116从剪辑数据存储单元113读取作为人跟踪再现的目标的剪辑的元数据,并且使用包括在元数据中的脸部图像来显示脸部选择画面。在显示器11上,显示参照图39所述的脸部图像选择画面。
当选择作为跟踪目标的人时,在步骤S102中,再现单元114从剪辑数据存储单元113读取包括在元数据中的每个人出现的再现时间的信息,并且开始再现作为跟踪目标的人出现的场景。将作为跟踪目标的人出现的场景的广角运动图像的数据提供给裁剪单元133。
在步骤S103中,裁剪单元133从广角运动图像中裁剪包括在与作为跟踪目标的人出现的范围的运动图像的场景相同的场景上出现的人的脸部的范围的运动图像。在再现处理期间的场景上出现的每个人的位置由数据分析单元132基于包括在元数据中的人位置信息来指定。
在步骤S104中,显示控制单元116在整个再现画面上显示出现作为跟踪目标的人的范围的运动图像,并且将再现处理期间的场景上出现的人的脸部的运动图像排列以显示为脸部图像。
在步骤S105中,显示控制单元116通过使用在要显示的跟踪再现画面下排列的脸部图像来确定是否有另一人被选择为跟踪目标。
在步骤S105中确定没有另一人被选择为跟踪目标的情况下,在步骤S106中,显示控制单元116确定是否作出了显示脸部图像选择画面的指令。
在步骤S106中确定作出了显示脸部图像选择画面的指令的情况下,显示控制单元116将处理返回到步骤S101,并且再次显示脸部图像选择画面,并且重复上述处理。
另一方面,在步骤S106中确定未作出显示脸部图像选择画面的指令的情况下,显示控制单元116在步骤S107中确定再现是否完成。在步骤S107中确定再现未完成的情况下,重复步骤S103和随后的步骤的处理。
另外,在步骤S105中确定另一人被选择作为跟踪目标的情况下,类似地,改变作为跟踪目标的人,并且重复步骤S103和随后的步骤的处理。另一方面,在步骤S107中确定再现完成的情况下,处理结束。
<人跟踪再现的第二示例>
图47是例示跟踪再现画面的另一示例的图。
在图47所示的跟踪再现画面中,整个显示器11被垂直地划分成两个部分,并且形成区域451和452。区域451形成在显示器11的上侧,以占据整个显示器11的大约3/4的范围。区域452形成在区域451的下侧。
在区域451中,显示从再现处理期间的剪辑裁剪的运动图像的宽范围,并且特定的人位于中央。通过在区域451上进行拖得操作,用户可以改变显示范围。
在区域452中,从左侧开始顺序地显示包括5个人的脸部的脸部图像461至465。在图41所示的示例中,作为脸部图像显示区域的区域452被形成为邻近作为再现目标的剪辑的运动图像显示区域的区域451。脸部图像被显示的5个人是在再现处理期间的场景中出现的人。
这里,脸部在脸部图像461至465中出现的5个人被适当地表示为人A1至E1。表示为光标C被施加于脸部图像465,并且人E1被设置为跟踪目标。在区域451的中央显示的人是人E1。
通过在被排列以显示在区域451中的脸部图像上轻击,用户可以改变作为跟踪目标的人。
图48是例示脸部图像的裁剪的图。
在位置P31处出现的人是当前作为跟踪目标的人E1。在区域451中,显示由框F121表示的包括人E1的范围的运动图像。
在图48所示的示例中,在当前再现的场景上,从被设置为基准的人E1的位置开始以顺时针的方向出现人A1、B1、C1和D1。人A1至D1的位置分别为位置P32至P35。
此时,还从广角运动图像中裁剪由框F131至F134表示的包括人A1至D1的范围的运动图像。将裁剪的运动图像排列在区域452中并且显示为脸部图像461至464。例如通过将由框F121表示的范围的运动图像的显示范围限制到由框F135表示的范围来显示被布置为与脸部图像464的右边相邻的人E1的脸部图像465。
由此,在区域452中,在再现处理期间的场景上出现的人的脸部图像以人的实际排列次序来显示。用户可以基于在区域452中显示的脸部图像的排列次序来检查在再现处理期间的剪辑的广角运动图像之中的每个人的位置关系。
图49是例示跟踪再现画面的显示的切换的示例的图。
当选择作为再现目标的剪辑时,如图49的最上侧所示,在水平方向上摇摄(pan)广角运动图像的整个拍摄范围,并且显示从广角运动图像中裁剪的运动图像。作为图像,图48所示的框F121在水平方向上在球上移动,并且布置在框F121内部的运动图像被裁剪以便显示。在跟踪再现画面的上侧和下侧,形成黑色带形状区域。
当用户轻击例如在跟踪再现画面上显示的运动图像中出现的人C1时,如白色箭头A111的尖端所指示的那样,表示已经选择了作为跟踪目标的人的图标481被显示为与人C1重叠。在由白色箭头A111的尖端所指示的跟踪再现画面上,在其上显示有圆形图标481的人是人C1。基于人位置信息来指定在人C1上的轻击。
在选择人C1作为跟踪目标的情况下,如白色箭头A112的尖端所指示的那样,显示参照图47描述的跟踪再现画面。在区域451中,显示包括人C1的范围的运动图像。另外,为了表示人C1被选择为跟踪目标,对作为人C1的脸部图像的脸部图像463施加光标C。
用户可以从区域451的显示来观看在聚焦于人C1的情况下的剪辑,并且可以根据区域452的显示来检查在每个定时的其他人的脸部。
在选择作为显示在区域452的右端的人E1的脸部图像的脸部图像465的情况下,如白色箭头A113的尖端所指示的那样,图标482被显示为与脸部图像465(人E1)重叠。
此时,通过从出现人C1的范围摇摄至出现人E1的范围,改变区域451的显示。当运动图像的裁剪范围被向上移动至包括人E1的范围时,如白色箭头A114的尖端所指示的那样,在区域451中显示包括人E1的范围的运动图像。另外。为了表示将人E1选择为跟踪目标,将光标C施加于作为人E1的脸部图像的脸部图像465。
由此,用于切换跟踪目标的脸部图像可以通过以实际的人的排列次序排列来显示。
如参照图44所描述的那样,区域452中的脸部图像的显示还根据其在广角运动图像中的出现或未出现来切换。
<变型例>
虽然上述的画面显示被描述为由信息处理装置1基于由数字相机2拍摄的广角运动图像来执行,但是其可以被配置为使得广角运动图像的拍摄功能内置于信息处理装置1中,并且基于由信息处理装置1拍摄的广角运动图像来进行各种画面显示。
<应用于网络系统的示例>
上述画面显示可以被配置为基于通过因特网从服务器发送的数据而在内置在信息处理装置1中的浏览器上执行。
图50是例示网络系统的配置的示例的图。
图50所示的网络系统通过将信息处理装置1和服务器501通过由因特网等形成的网络502进行互连来配置。
服务器501管理从信息处理装置1上传的剪辑的数据等。服务器501根据由从信息处理装置1发送的信息表示的用户的操作来执行上述的时移再现处理、多画面显示处理、人跟踪再现处理等,并且将显示画面的数据发送给信息处理装置1。
服务器501具有与图9所示的信息处理装置1的配置相同的配置。通过在服务器501中执行预定程序,实现如图10所示的各功能单元。
在该情况下,在服务器501中实现的图像数据获取单元111获取从信息处理装置1发送的广角运动图像的数据。另外,显示控制单元116通过将每个画面的数据发送给信息处理装置1来将每个画面显示在信息处理装置1的显示器11上。如图10所示的其他功能单元基本执行与上述相同的处理。
信息处理装置1基于从服务器501发送的数据在显示器11上显示图19所示的时移再现画面、图27所示的多画面显示画面、图38所示的人跟踪再现画面等。
因此,用户可以在信息处理装置1的浏览器上高效地观看具有广视角的运动图像。
<程序等>
上述处理序列可以通过硬件或软件来执行。在通过软件来执行处理序列的情况下,从程序记录介质将配置软件的程序安装到内置在专用硬件中的计算机、通用个人计算机等中。
要被安装的程序通过记录在诸如图9所示的存储卡101这样的可移除介质中来提供。另外,可以通过诸如局域网、因特网或数字广播这样的有线或无线传输介质来提供程序。
由计算机执行的程序可以是用于根据在本说明书中描述的序列以时间次序来执行操作的程序,或者可以是用于并行地执行操作或者在需要时(诸如在有调用时)执行操作的程序。
另外,在这里所呈现的描述中,系统表示多个构成元件的(装置、模块(部件)等)的集合,并且不必在同一外壳中包括所有的构成元件。因此,安置在分离的外壳中并且通过网络连接的多个装置或者多个模块被安置在一个外壳中的一个装置是系统。
应当注意到,本技术的实施例不限于上述实施例,并且可以在不脱离本技术的范围的情况下对它们进行各种修改。
例如,在上述流程图中描述的每个步骤可以通过一个装置来执行,或者可以以分割的方式由多个装置来执行。
另外,在一个步骤中包括多个处理的情况下,包括在所述一个步骤中的所述多个处理可以由一个装置来执行,或者可以以分割的方式由多个装置来执行。
<配置的组合的示例>
本技术可以采用下面的配置。
(1)一种显示控制单元,同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
(2)根据(1)所述的显示控制单元,其中,基于在捕获广角运动图像时检测到的传感器数据来确定所述范围。
(3)根据(1)或(2)所述的显示控制单元,其中,所述范围包括与捕获广角运动图像的图像捕获装置的行进方向对应的多个范围。
(4)根据(1)至(3)中的任一项所述的显示控制单元,其中,所述范围还包括与和行进方向相反的方向对应的至少一个范围。
(5)根据(1)至(4)中的任一项所述的显示控制单元,其中,所述范围包括与声源的方向对应的至少一个范围。
(6)根据(1)至(5)中的任一项所述的显控制单元,其中,所述范围还包括与和声源的方向相反的方向对应的至少一个范围。
(7)根据(1)至(6)中的任一项所述的显示控制单元,其中,所述范围中的至少两个范围重叠。
(8)根据(1)至(7)中的任一项所述的显示控制单元,其中,所述范围中的至少一个范围与广角运动图像中包括在捕获所述广角运动图像时的人的图像的部分对应。
(9)根据(1)至(8)中的任一项所述的显示控制单元,其中,所述范围中的至少一个范围与广角运动图像中包括在捕获所述广角运动图像时具有大运动的被摄体的图像的部分。
(10)一种图像处理装置,包括用于控制同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像的处理器。
(11)根据(10)所述的图像处理装置,其中,基于在捕获广角运动图像时检测到的传感器数据来确定所述范围。
(12)根据(10)或(11)所述的图像处理装置,所述范围包括与捕获广角运动图像的图像捕获装置的行进方向对应的多个范围。
(13)根据(10)至(12)中的任一项所述的图像处理装置,还包括用于同时显示多个裁剪图像的显示器。
(14)根据(10)至(13)中的任一项所述的图像处理装置,还包括用于与成像装置通信的通信单元。
(15)一种成像装置,包括用于控制同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像的处理器。
(16)根据(15)所述的成像装置,其中,基于在捕获广角运动图像时检测到的传感器数据来确定所述范围。
(17)根据(15)或(16)所述的成像装置,还包括捕获广角运动图像的拍摄单元,并且其中,所述范围包括与在拍摄单元捕获广角运动图像时成像装置的行进方向对应的多个范围。
(18)根据(15)至(17)中的任一项所述的成像装置,还包括用于同时显示所述多个裁剪图像的显示器。
(19)一种图像处理方法,包括同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
(20)一种非暂态计算机可读介质,在其上存储用于实现图像处理方法的计算机可读程序,所述方法包括同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
(21)一种显示控制装置,包括显示控制单元,所述显示控制单元基于在拍摄运动图像时检测到的传感器数据将作为在运动图像的拍摄范围内相互不同的范围的多个部分范围的图像分配到配置显示画面的显示区域并且在显示区域中显示所述多个部分范围的图像。
(22)根据上述(21)的显示控制装置,其中,显示控制单元将所述多个部分范围的图像分配给至少具有彼此不同的形状或大小的显示区域,并且在显示区域中显示所述多个部分范围的图像。
(23)根据上述(21)或(22)的显示控制装置,还包括分析传感器数据的分析单元。
(24)根据上述(23)的显示控制装置,其中,分析单元通过分析传感器数据来指定拍摄运动图像时的行进方向,并且显示控制单元将行进方向上的部分范围的图像显示在比与行进方向不同的方向上的部分范围的图像的显示区域更大的显示区域中。
(25)根据上述(23)或(24)的显示控制装置,其中,分析单元通过分析传感器数据来指定拍摄运动图像时的移动速度,并且显示控制单元根据移动速度来改变显示区域的配置。
(26)根据上述(23)至(25)中的任一项的显示控制装置,其中,分析单元通过分析运动图像来指定在运动图像中出现的被摄体的运动,并且显示控制单元基于对传感器数据和被摄体的运动的幅度的分析的结果将拍摄到被摄体的部分范围的图像分配给显示区域,并且在显示区域中显示所述部分范围的图像。
(27)根据上述(26)的显示控制装置,其中,显示控制单元将拍摄到具有大运动的被摄体的部分范围的图像显示在比拍摄到具有小运动的被摄体的部分范围的图像的显示区域更大的显示区域中。
(28)根据上述(23)至(27)中的任一项的显示控制装置,其中,分析单元通过分析运动图像来指定从运动图像的拍摄位置到在运动图像中出现的被摄体的距离,并且显示控制单元基于对传感器数据的分析的结果以及到被摄体的距离将拍摄到被摄体的部分范围的图像分配给显示区域,并且在显示区域中显示所述部分范围的图像。
(29)根据上述(28)的显示控制装置,其中,显示控制单元将拍摄到距离远的被摄体的部分范围的图像显示在比拍摄到距离近的被摄体的部分范围的图像的显示区域大的显示区域中。
(30)根据上述(21)至(29)中的任一项的显示控制装置,其中,显示控制单元将与运动图像有关的信息与所述部分范围的图像一起显示在显示区域中。
(31)根据上述(21)至(30)中的任一项的显示控制装置,其中,所述部分范围的图像是运动图像。
(32)根据上述的(21)至(31)中的任一项的显示控制装置,其中,在水平方向和垂直方向中的至少一个方向上的运动图像的视角是360度。
(33)一种显示控制方法,包括:基于在拍摄运动图像时检测到的传感器数据,将作为在运动图像的拍摄范围内相互不同的范围的多个部分范围的图像分配给配置显示画面的显示区域;以及在显示区域中显示所述多个部分范围的图像。
(34)一种使计算机执行如下处理的程序,该处理包括:基于在拍摄运动图像时检测到的传感器数据,将作为在运动图像的拍摄范围内相互不同的范围的多个部分范围的图像分配给配置显示画面的显示区域;以及在显示区域中显示所述多个部分范围的图像。
附图标记列表
1信息处理装置
2数字相机
111图像数据获取单元
112剪辑生成单元
113剪辑数据存储单元
114再现单元
115信息处理单元
116显示控制单元
131图像分析单元
131A人检测单元
132数据分析单元
133裁剪单元

Claims (20)

1.一种显示控制单元,同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
2.根据权利要求1所述的显示控制单元,其中,基于在捕获所述广角运动图像时检测到的传感器数据来确定所述范围。
3.根据权利要求2所述的显示控制单元,其中,所述范围包括与捕获所述广角运动图像的图像捕获装置的行进方向对应的多个范围。
4.根据权利要求3所述的显示控制单元,其中,所述范围还包括与和行进方向相反的方向对应的至少一个范围。
5.根据权利要求2所述的显示控制单元,其中,所述范围包括与声源的方向对应的至少一个范围。
6.根据权利要求5所述的显控制单元,其中,所述范围还包括与和声源的方向相反的方向对应的至少一个范围。
7.根据权利要求2所述的显示控制单元,其中,所述范围中的至少两个范围重叠。
8.根据权利要求7所述的显示控制单元,其中,所述范围中的至少一个范围与广角运动图像中包括所述广角运动图像被捕获时的人的图像的部分对应。
9.根据权利要求2所述的显示控制单元,其中,所述范围中的至少一个范围与广角运动图像中包括在所述广角运动图像被捕获时具有大运动的被摄体的图像的部分对应。
10.一种图像处理装置,包括处理器,所述处理器用于控制同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
11.根据权利要求10所述的图像处理装置,其中,基于在捕获所述广角运动图像时检测到的传感器数据来确定所述范围。
12.根据权利要求11所述的图像处理装置,其中,所述范围包括与捕获所述广角运动图像的图像捕获装置的行进方向对应的多个范围。
13.根据权利要求10所述的图像处理装置,还包括用于同时显示所述多个裁剪图像的显示器。
14.根据权利要求10所述的图像处理装置,还包括用于与成像装置通信的通信单元。
15.一种成像装置,包括处理器,所述处理器用于控制同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
16.根据权利要求15所述的成像装置,其中,基于在捕获所述广角运动图像时检测到的传感器数据来确定所述范围。
17.根据权利要求16所述的成像装置,还包括捕获广角运动图像的拍摄单元,并且其中,所述范围包括与在所述拍摄单元捕获所述广角运动图像时所述成像装置的行进方向对应的多个范围。
18.根据权利要求15所述的成像装置,还包括用于同时显示所述多个裁剪图像的显示器。
19.一种图像处理方法,包括同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
20.一种非暂态计算机可读介质,存储有用于实现图像处理方法的计算机可读程序,所述方法包括同时显示根据广角运动图像的相应范围裁剪的多个裁剪图像。
CN201480024999.1A 2013-05-10 2014-05-01 显示控制装置、显示控制方法 Active CN105210379B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013099791A JP6249202B2 (ja) 2013-05-10 2013-05-10 画像表示装置、画像表示方法、およびプログラム
JP2013-099791 2013-05-10
PCT/JP2014/002395 WO2014181531A1 (en) 2013-05-10 2014-05-01 Display control apparatus, display control method, and program

Publications (2)

Publication Number Publication Date
CN105210379A true CN105210379A (zh) 2015-12-30
CN105210379B CN105210379B (zh) 2018-08-24

Family

ID=50792489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480024999.1A Active CN105210379B (zh) 2013-05-10 2014-05-01 显示控制装置、显示控制方法

Country Status (5)

Country Link
US (3) US10469743B2 (zh)
EP (1) EP2995092B1 (zh)
JP (1) JP6249202B2 (zh)
CN (1) CN105210379B (zh)
WO (1) WO2014181531A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604438A (zh) * 2016-04-08 2018-09-28 Colopl株式会社 显示控制方法以及用于使计算机实施该显示控制方法的程序
CN109756727A (zh) * 2017-08-25 2019-05-14 华为技术有限公司 信息显示方法及相关设备
CN110248081A (zh) * 2018-10-12 2019-09-17 华为技术有限公司 图像捕捉方法及电子设备
CN111064886A (zh) * 2019-12-19 2020-04-24 惠州Tcl移动通信有限公司 终端设备的拍摄方法、终端设备及存储介质
WO2021077279A1 (zh) * 2019-10-22 2021-04-29 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013085546A1 (en) * 2011-12-09 2013-06-13 Hewlett-Packard Development Company, Lp Modification of images based on orientation
JP6520036B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
US9672626B2 (en) * 2014-12-08 2017-06-06 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for generating adaptive fast forward of egocentric videos
US10154194B2 (en) * 2014-12-31 2018-12-11 Logan Gilpin Video capturing and formatting system
JP6589294B2 (ja) * 2015-02-27 2019-10-16 株式会社ニコン 画像表示装置
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
US9824723B1 (en) * 2015-08-27 2017-11-21 Amazon Technologies, Inc. Direction indicators for panoramic images
JP6579925B2 (ja) * 2015-11-17 2019-09-25 キヤノン株式会社 画像再生装置およびその制御方法ならびにプログラムならびに記録媒体
US10839601B2 (en) 2016-03-31 2020-11-17 Sony Corporation Information processing device, information processing method, and program
JP6393854B2 (ja) * 2016-04-12 2018-09-19 株式会社オプティム 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム
JP2017211535A (ja) * 2016-05-26 2017-11-30 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび表示システム
KR20180018017A (ko) * 2016-08-12 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102567002B1 (ko) * 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR101919132B1 (ko) * 2017-05-15 2019-02-08 주식회사 뷰오 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램
CN107890673A (zh) * 2017-09-30 2018-04-10 网易(杭州)网络有限公司 补偿声音信息的视觉显示方法及装置、存储介质、设备
CN111133743A (zh) 2018-01-22 2020-05-08 麦克赛尔株式会社 便携设备
JP6997449B2 (ja) * 2018-05-17 2022-01-17 株式会社アクセル 画像処理装置、画像処理方法、プログラム
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技(深圳)有限公司 音源确定方法和装置、存储介质及电子装置
JP7183033B2 (ja) 2018-12-26 2022-12-05 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP6999052B2 (ja) 2021-01-14 2022-01-18 マクセル株式会社 携帯機器および映像表示方法
JP7169422B2 (ja) * 2021-01-14 2022-11-10 マクセル株式会社 携帯機器および表示制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559846B1 (en) * 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
CN1786961A (zh) * 2004-12-09 2006-06-14 索尼英国有限公司 视频显示器
CN101375590A (zh) * 2006-02-15 2009-02-25 松下电器产业株式会社 摄影装置以及摄影方法
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
CN101843096A (zh) * 2007-08-29 2010-09-22 Lg电子株式会社 显示记录材料的方法以及使用该方法的显示装置
US20100262911A1 (en) * 2009-04-13 2010-10-14 Pure Digital Technologies Graphical user interface for still image capture from video footage

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331827A (ja) 1998-05-12 1999-11-30 Fujitsu Ltd テレビカメラ装置
JP4467313B2 (ja) * 2004-01-09 2010-05-26 株式会社オートネットワーク技術研究所 車両周辺撮像装置
US8228364B2 (en) * 2008-01-29 2012-07-24 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
JP4953137B2 (ja) * 2008-07-29 2012-06-13 独立行政法人産業技術総合研究所 全周映像のための表示技術
JP2010279022A (ja) * 2009-04-30 2010-12-09 Sanyo Electric Co Ltd 撮像装置
JP5378135B2 (ja) * 2009-09-29 2013-12-25 富士フイルム株式会社 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置
JP4547040B1 (ja) * 2009-10-27 2010-09-22 パナソニック株式会社 表示画像切替装置及び表示画像切替方法
JP5538865B2 (ja) * 2009-12-21 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法
JP5649429B2 (ja) * 2010-12-14 2015-01-07 パナソニックIpマネジメント株式会社 映像処理装置、カメラ装置および映像処理方法
US8514101B2 (en) * 2011-12-02 2013-08-20 GM Global Technology Operations LLC Driving maneuver assist on full windshield head-up display
KR20130069041A (ko) * 2011-12-16 2013-06-26 삼성전자주식회사 디스플레이 장치 및 방법
US9473702B2 (en) * 2011-12-23 2016-10-18 Nokia Technologies Oy Controlling image capture and/or controlling image processing
KR101964861B1 (ko) * 2012-06-29 2019-04-02 삼성전자주식회사 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559846B1 (en) * 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
CN1786961A (zh) * 2004-12-09 2006-06-14 索尼英国有限公司 视频显示器
CN101375590A (zh) * 2006-02-15 2009-02-25 松下电器产业株式会社 摄影装置以及摄影方法
CN101843096A (zh) * 2007-08-29 2010-09-22 Lg电子株式会社 显示记录材料的方法以及使用该方法的显示装置
US20100262911A1 (en) * 2009-04-13 2010-10-14 Pure Digital Technologies Graphical user interface for still image capture from video footage

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604438A (zh) * 2016-04-08 2018-09-28 Colopl株式会社 显示控制方法以及用于使计算机实施该显示控制方法的程序
CN108604438B (zh) * 2016-04-08 2019-08-20 Colopl株式会社 显示控制方法以及用于使计算机实施该显示控制方法的程序
US10477198B2 (en) 2016-04-08 2019-11-12 Colopl, Inc. Display control method and system for executing the display control method
CN109756727A (zh) * 2017-08-25 2019-05-14 华为技术有限公司 信息显示方法及相关设备
CN110248081A (zh) * 2018-10-12 2019-09-17 华为技术有限公司 图像捕捉方法及电子设备
CN111183632A (zh) * 2018-10-12 2020-05-19 华为技术有限公司 图像捕捉方法及电子设备
WO2021077279A1 (zh) * 2019-10-22 2021-04-29 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN111064886A (zh) * 2019-12-19 2020-04-24 惠州Tcl移动通信有限公司 终端设备的拍摄方法、终端设备及存储介质
CN111064886B (zh) * 2019-12-19 2022-03-01 惠州Tcl移动通信有限公司 终端设备的拍摄方法、终端设备及存储介质

Also Published As

Publication number Publication date
US20160080650A1 (en) 2016-03-17
JP2014220723A (ja) 2014-11-20
US20190379828A1 (en) 2019-12-12
EP2995092B1 (en) 2018-07-04
EP2995092A1 (en) 2016-03-16
US10469743B2 (en) 2019-11-05
US11258946B2 (en) 2022-02-22
JP6249202B2 (ja) 2017-12-20
WO2014181531A1 (en) 2014-11-13
US20220132036A1 (en) 2022-04-28
CN105210379B (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN105210379A (zh) 显示控制装置、显示控制方法和程序
WO2014181529A1 (en) Display control apparatus, display control method, and program
JP5588542B2 (ja) 情報表示装置
CN101606384B (zh) 图像处理装置、运动图像再现装置及其处理方法
JP7017175B2 (ja) 情報処理装置、情報処理方法、プログラム
JP5980222B2 (ja) コンテンツ処理装置、コンテンツ処理方法およびプログラム
US20180367777A1 (en) Tracking a point of interest in a panoramic video
US11265525B2 (en) Image information processing method, apparatus, and program utilizing a position sequence
JP6628343B2 (ja) 装置および関連する方法
JP6143678B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN101627623A (zh) 图像处理设备、运动图像播放设备及其处理方法和程序
EP3151243B1 (en) Accessing a video segment
CN114598819A (zh) 视频录制方法、装置和电子设备
WO2014181532A1 (en) Display control apparatus, display control method, and program
CN113873319A (zh) 视频处理方法、装置、电子设备及存储介质
TWI558193B (zh) Film production method
JP2017059893A (ja) 画像処理装置、撮影ガイド装置、撮像装置、画像処理方法および画像処理プログラム
Mitarai et al. Interactive video cam system for emotive video production
CN116389665A (zh) 视频录制方法及其装置、电子设备、可读存储介质
CN114500852A (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质
JP2016021675A (ja) 表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant