CN105306859A - 信息处理装置和信息处理方法 - Google Patents

Abstract

一种信息处理装置和信息处理方法。具有通过至少2种以上展开方式之一展开的展开图像显示全方位图像数据(14A)的控制部(13)(显示控制装置)，控制部(13)将通过视角改变处理部(16)改变后的视角改变数据(14B)(视角位置信息)、通过展开方法改变处理部(17)改变后的展开方法改变数据(14C)(展开方式信息)、改变这些时的录制时间数据(14D)(录制时间信息)或录制时间关联数据(14E)(与录制时间关联的信息)存储在存储部(14)，基于这些信息将全方位图像数据(14A)生成再录制数据(14F)(图像数据)。可以依据全方位图像数据简单地生成或容易地播放反映用户的各种制作意图的图像数据。

Description

信息处理装置和信息处理方法

技术领域

本发明涉及信息处理装置和信息处理方法。

背景技术

已知利用具有可以全方位摄影的广角镜头(所谓鱼眼镜头)的相机或多个相机，拍摄出高精度、高质量的影像(全景影像)，作为视听者的用户通过在常用的视听终端上选择全景影像的期望的视听位置、视角、帧位置等，收看期望的影像的技术。通过该技术，对1个内容源，每个用户可以采用不同的收看方法。另外，将该用户收看的2维位置、视角、此时的回放(playback)时刻或影像帧信息存储为文档，能够容易地再现该用户的视听体验。例如因特网上的动画共享服务中，上传该视听体验，可以与其它人共享该用户的视听体验。

这种技术中，已知一种影像视听历史分析装置，其通过分析多人的视听历史信息，自动地制作出反映多人的影像制作意图的整理影像(例如专利文献1)。

【现有技术文献】【专利文献1】日本专利申请公开2014-050068号

发明内容

本发明要解决的技术问题

根据专利文献1公开的技术，依据由画面的空间位置信息和视角信息构成的多个视听历史信息，求出共同的画面区域和共同的画面区域的重心坐标、视角信息的平均值，基于这些生成视听记录信息，实现自动地制作出反映多人的影像制作意图的整理影像。

然而，专利文献1公开的技术中，为了收看整理影像，需要视听记录信息和可利用该视听记录信息的特定的动画播放软件，不能简单地利用常见的动画播放软件播放。

另外，专利文献1中的整理影像，以长方形的全景影像流为前提，不能适用于采用通过不同于长方形的全景影像的多个展开方法显示的影像流的影像制作，不能反映出采用各种展开方法的影像制作的用户的意图。

本发明鉴于上述问题构思而成，其目的在于，提供一种信息处理装置、信息处理方法和程序，其可以根据全方位图像数据轻易生成或容易地播放反映用户的各种制作意图的图像数据。

解决技术问题所采用的技术手段

本发明的一方面涉及信息处理装置，即，本发明的信息处理装置具有：显示控制装置，其通过至少2种以上的展开方式中的一种展开方式展开的展开图像显示全方位图像数据；视角位置改变装置，其改变所述展开图像的视角位置；展开方式改变装置，其改变所述展开图像的展开方式；存储处理装置，其将通过所述视角位置改变装置改变后的视角位置信息、通过所述展开方式改变装置改变后的展开方式信息、改变这些时的录制时间信息或与录制时间关联的信息存储在存储部；和图像数据生成装置，其基于存储在所述存储部的展开方式信息、视角位置信息以及录制时间信息或与录制时间关联的信息，将所述全方位图像数据生成图像数据。

另外，在上述构成中，所述信息处理装置具有：播放指示接收部，其接收用户的播放指示；和播放装置，其在所述播放指示接收部接收到所述用户的播放指示时，播放所述图像数据。

另外，在上述的构成中，所述信息处理装置具有：录制指示接收部，其接收用户的录制指示，在所述录制指示接收部接收到所述用户的录制指示时，所述存储处理装置将通过所述图像数据生成装置生成的图像数据存储在所述存储部。

另外，本发明的另一方面涉及信息处理方法。即，本发明的信息处理方法是具有显示控制装置、视角位置改变装置、展开方式改变装置、存储处理装置以及图像数据生成装置的信息处理装置实行的信息处理方法，所述信息处理方法具有以下步骤：显示控制步骤，所述显示控制装置通过至少2种以上的展开方式中的一种展开方式展开的展开图像显示全方位图像数据；视角位置改变步骤，所述视角位置改变装置改变所述展开图像的视角位置；展开方式改变步骤，所述展开方式改变装置改变所述展开图像的展开方式；存储处理步骤，所述存储处理装置将通过所述视角位置改变步骤改变后的视角位置信息、通过所述展开方式改变步骤改变后的展开方式信息、改变这些时的录制时间信息或与录制时间关联的信息存储在存储部；图像数据生成步骤，所述图像数据生成装置基于存储在所述存储部的展开方式信息、视角位置信息以及录制时间信息或与录制时间关联的信息，将所述全方位图像数据生成图像数据。

另外，本发明的信息处理装置具有：显示控制装置，其通过规定的展开方式展开的展开图像显示第一图像数据；输入指示接收装置，其接收用户的操作指示；存储处理装置，其将通过所述输入指示接收装置接收的涉及所述展开图像的视角位置信息、所述规定的展开方式信息、录制时间信息或与录制时间关联的信息的输入指示信息存储在存储部；和图像数据生成装置；其基于存储在所述存储部的所述输入指示信息，生成基于所述第一图像数据的视角位置、展开方式以及执行这些的控制处理的录制时间的第二图像数据。

另外，本发明的信息处理装置具有：显示控制装置，其通过至少2种以上的展开方式中的一种展开方式展开的展开图像显示第一图像数据；视角位置改变装置，其改变所述展开图像的视角位置；展开方式改变装置，其改变所述展开图像的展开方式；和存储处理装置，其将通过所述视角位置改变装置改变后的视角位置信息、通过所述展开方式改变装置改变后的展开方式信息、改变这些时的录制时间信息或与录制时间关联的信息存储在存储部；基于通过所述存储处理装置存储在所述存储部的信息，进行第二图像数据的播放。

另外，上述的信息处理装置中，第一图像数据为全方位图像数据。

发明的效果

根据本发明，提供一种信息处理装置、信息处理方法和程序，其可以根据全方位图像数据轻易生成或容易地播放反映用户的各种制作意图的图像数据。

附图说明

图1是本发明的实施的形态涉及的信息处理装置1的构成框图；

图2是显示通过图1所示信息处理装置1进行再录制数据的生成处理的流程图；

图3显示了图2的再录制处理时显示部15上显示的画面的一个举例；

图4显示了图2的再录制处理时显示部15上显示的画面的一个举例；

图5显示了图2的再录制处理时显示部15上显示的画面的一个举例；

图6显示了图2的再录制处理时显示部15上显示的画面的一个举例；

符号说明

1…信息处理装置，2…摄像装置，3…外部存储装置，11…通信部，12…输入指示接收部，13…控制部，14…存储部，14A…全方位图像数据，14B…视角改变数据，14C…展开方法改变数据，14D…录制时间数据，14E…录制时间关联数据，14F…再录制数据，15…显示部，16…视角改变处理部，17…展开方法改变处理部，18…存储处理部，19…再录制数据生成处理部。

具体实施方式

图1是本发明的实施的形态涉及的信息处理装置1的构成框图。该信息处理装置1例如由智能手机、平板电脑终端、笔记本型计算机、桌面型计算机或PDA(PersonalDataAssistance)等计算机构成。信息处理装置1不但可以从具有可以对全方位图像进行摄影的广角镜头(所谓的鱼眼镜头)的摄像装置2、存储全方位图像数据14A的外部存储装置3等获取全方位图像数据14A，而且可以依据该获取的全方位图像数据14A重新生成用户期望的图像数据。此外，以下将依据全方位图像数据14A重新生成图像数据的过程称为「再录制」，将生成的图像数据称为「再录制数据」。

如图1所示，信息处理装置1具有通信部11、输入指示接收部12、控制部13、存储部14和显示部15。此外，图1显示了信息处理装置1为计算机的情况的构成。另外，如图1所示，控制部13具有视角改变处理部16、展开方法改变处理部17、存储处理部18、再录制数据生成处理部19。而且，如图1所示，存储部14存储全方位图像数据14A、视角改变数据14B、展开方法改变数据14C、录制时间数据14D、录制时间关联数据14E、再录制数据14F。

通信部11与对全方位图像进行摄影的摄像装置2、存储全方位图像数据14A的外部存储装置3等之间进行通信。通信部11例如通过USB兼容的通信连接器或与WiFi(wirelessFidelity，无线保真)、NFC等对应的无线通信模组构成，从摄像装置2、外部存储装置3等获取全方位图像数据14A。

输入指示接收部12接收来自用户的各种指示，例如显示在显示部15上的选择项目或图标等，用户可以操作键盘、鼠标等选择这些输入接收指示。此外，输入指示接收部12可以作为触摸面板与后述显示部15构成为一体。输入指示接收部12例如可以接收全方位图像数据14A的再录制处理的开始、停止、再录制的设定条件的改变(后面详细描述)等。表示通过输入指示接收部12接收的各种指示的信号被发送给控制部13。

控制部13具备控制信息处理装置1整体的动作CPU、存储基本输入输出程序的ROM、作为CPU的工作区域使用的RAM。控制部13在RAM展开用于生成存储在ROM或后述存储部14的再录制数据14F的专用程序(未图示)，实现后述的视角改变处理部16、展开方法改变处理部17、存储处理部18、再录制数据生成处理部19的各功能。

存储部14由根据CPU的控制进行数据的读写的HDD(Harddiskdrive，硬盘驱动器)或SSD(solidstatedrive，固态硬盘)等构成。除上述全方位图像数据14A、视角改变数据14B、展开方法改变数据14C、录制时间数据14D、录制时间关联数据14E、再录制数据14F之外，存储部14还可以存储CPU实行的OS(OperatingSystem，操作系统)、其它的程序各种的数据。

显示部15是显示基于全方位图像数据14A的静止图像、动画、进行各种操作的图标的液晶、有机EL(Electroluminescent，电致发光)等显示器。此外，显示部15可以搭载触摸面板，也可以构成为输入指示接收部12的一部分。

输入指示接收部12接收到视角改变指示时，视角改变处理部16改变在显示部15上显示全方位图像数据14A时的视角区域。

输入指示接收部12接收到展开方法改变指示时，展开方法改变处理部17改变在显示部15上显示全方位图像数据14A时的展开方法。

存储处理部18将输入指示接收部12接收的各种指示存储在存储部14。例如输入指示接收部12接收到视角改变指示、展开方法改变指示时，存储处理部18将表示该视角改变指示的内容的视角改变数据14B、表示该展开方法改变指示的内容的展开方法改变数据14C存储在存储部14。另外，存储处理部18将在接收到各种指示的时刻将全方位图像数据14A的播放时间的录制时间数据14D存储在存储部14。此外，存储处理部18可以将录制时间数据14D和/或代替录制时间数据14D的与录制时间关联的图像的画面数等的录制时间关联数据14E存储在存储部14。

输入指示接收部12接收到再录制数据14F的生成指示时，再录制数据生成处理部19基于表示通过存储处理部18存储在存储部14的各种改变指示的数据和全方位图像数据14A，生成再录制数据14F。再录制数据生成处理部19将生成的再录制数据14F存储在存储部14。

(再录制数据的生成处理)

图2是显示通过图1所示信息处理装置1的控制部13进行的再录制数据的生成处理的流程图。图3是图2的再录制处理时显示部15上显示的画面的一个举例。

开始：控制部13的CPU从ROM读取用于生成再录制数据的未图示的程序，在RAM展开，例如在信息处理装置1的显示部15上显示图3所示画面。由此，进入用户可以开始全方位图像数据14A的再录制处理的状态。然后，用户可以一边观察显示部15上显示的画面，一边设定全方位图像数据14A的再录制条件。此外，这里，再录制条件例如是全方位图像数据14A的显示模式(摄像装置的方向)、展开模式(球形、正面、二等分、四等分、全景、环形、圆顶)、视角、放大/缩小率等条件。

步骤S1：信息处理装置1的控制部13判定是否开始再录制处理。通过用户例如按下图3所示画面内的「录制」按键，依据用户设定的再录制条件，开始再录制处理。此外，在按下该「录制」按键时，已经处于全方位图像数据14A的播放处理的状态时，在该播放过程中开始再录制处理，在没有播放的状态按下「录制」按键时，从全方位图像数据14A的开头进行依据再录制条件的播放处理，且同时开始再录制处理。

步骤S2：在判定步骤S1的再录制处理开始(步骤1中为“是”)时，通过控制部13开始全方位图像数据14A的再录制处理。此外，同时基于再录制的设定条件，开始全方位图像数据14A的播放处理。此外，再录制处理开始时的再录制设定条件，通过存储处理部18存储在存储部14。

步骤S3：控制部13判定用户是否改变再录制的设定条件。具体而言，控制部13判定用户有无经由输入指示接收部12，输入全方位图像数据14A的观察模式的改变、展开方法的改变、视角的改变、放大/缩小率的改变等改变指示。

步骤S4：控制部13在步骤S3的判定中判定再录制的条件被改变的情况下(步骤S3中为“是”)，依据该改变条件，改变播放条件。由此，用户根据当前播放内容确认该改变。

步骤S5：在步骤S3和S4中，再录制条件、播放条件被改变时，控制部13(存储处理部18)将该改变内容存储在存储部14。

步骤S6：控制部13判定再录制处理是否结束。例如在用户发出画面内的播放处理的停止指示、再录制处理的停止指示时，控制部13判定再录制处理结束。此外，在没有上述指示的状态下，在再录制数据生成处理部19发出停止指示请求的情况下，判定再录制处理结束。

步骤S7：用户发出再录制数据14F的生成处理要求(例如按下图3的「另存为」的按键)时，控制部13(再录制数据生成处理部19)基于步骤S5中存储在存储部14的再录制条件、全方位图像数据14A生成再录制数据14F。

步骤S8：控制部13(再录制数据生成处理部19)将步骤S7中生成的再录制数据14F存储在存储部14，结束处理。

图3～图6是图2的再录制处理时显示部15上显示的画面的一个举例。在图3～图6所示显示画面的左侧，设置有选择观察模式(ViewMode)的观察模式选择区域31、选择展开方法的展开方法选择区域32、操作显示区域(视角区域)的显示区域调整区域33、选择全方位图像数据14A的获取源的连接机器或通信机器的连接目的地选择区域34。另外，显示画面的右侧由数据选择区域35、播放画面显示区域37、静止图像摄影按键38、再录制开始指示/停止按键39、再录制数据保存按键40、播放、停止、快进、快退等各种播放条件改变按键41、全画面显示按键43构成。此外，图3～图6所示各图标、选择项目是输入指示接收部12的一个举例。

观察模式选择区域31包含可以选择摄像装置2的方向的图标。摄像装置2的方向例如是横向、向下、向上，通过用户选择表示分别对应的摄像装置2的镜头方向的图标，播放全方位图像数据14A或指定再录制时的视点。

展开方法选择区域32包含可以选择全方位图像数据14A的展开处理方法的图标。全方位图像数据14A为可以全方位(360度)摄像的摄像装置2获取的球状的图像数据，用户需要选择展开为何种形状。如图3所示，作为可以选择展开处理方法的图标，设置有原封不动地全方位球状显示图像的图标(Global)、以4：3的长宽比显示的展开处理方法的图标(Front，4：3)，以16：9的长宽比显示的展开处理方法的图标(Front，16：9)，上下各一半显示的展开处理方法的图标(Seg)、四等分显示的展开处理方法的图标(Quad)、360度显示一个长方形的图像的展开处理方法的图标(Panorama)、全景图像但显示放大显示中央部分或一部分的区域的展开处理方法的图标(Extraction(中央抽取)，Throw-out(部分抽取))、环形显示的展开处理方法的图标(Ring)、圆顶型显示的展开处理方法的图标(Dome)等。在图3所示的举例中选择原封不动地全方位球状显示图像的图标(Global)，图4中选择环形，图5中选择圆顶型，图6中选择上下各一半。此外，全方位图像数据14A的展开处理方法，可以不具备本实施形态所示的所有的展开处理方法，也可以追加其它的展开处理方法(未图示)。

显示区域调整区域33包含用户可以在播放画面显示区域37，在构成播放过程中或再录制中的影像的图像数据的视角区域的改变、显示的画面内的图像放大、缩小等各种操作范围内指定的图标。

连接目的地选择区域34是包含可以选择作为全方位图像数据14A的获取目的地的摄像装置2、外部存储装置3的界面。

数据选择区域35显示例如容纳在作为信息处理装置1的连接目的地或通信目的地的摄像装置2、外部存储装置3的全方位图像数据14A的缩略图像。虽然在图3所示的举例中仅显示1个图像数据，但在容纳有多个全方位图像数据14A的情况下显示各缩略图像。

播放画面显示区域37显示依据与再录制条件对应的视点、展开处理、放大/缩小等制作全方位图像数据14A的影像。此外，播放画面显示区域37上显示的初始的图像数据通过摄像时设定的展开处理方法显示。然而，也可以通过已经在展开方法选择区域32设定的展开处理方法进行初始显示。

静止图像摄影按键38是用于根据播放画面显示区域37上显示的影像生成特定的静止图像数据的按键。

再录制开始指示/停止按键39是用于指示再录制的开始或停止的按键。

再录制数据保存按键40是用于将依据存储在存储部14的再录制条件重新生成的再录制数据14F存储在存储部14的按键。

各种播放条件改变按键41是用于发出播放画面显示区域37上显示的动画的播放、快进、快退的指示的按键。此外，各种播放条件改变按键41不但可以用于正常的动画的播放条件的改变，也可以在生成再录制数据14F的过程中，在停止再录制的状态且按下再录制数据保存按键40之前，在播放画面显示区域37上播放存储的再录制数据14的内容。

播放地点指示箭头42是示意显示进行播放或再录制的录制时间的位置的箭头。用户通过移动该播放地点指示箭头42，在期望的录制时间开始播放或再录制。

全画面显示按键43是在显示部15的全画面上，展开显示播放画面显示区域37上显示的动画的按键。

通过这种如图3所示的显示画面，用户指定希望再录制的全方位图像数据14A，进行喜欢的视点、展开方法、视角区域的调整等，灵活地反映出用户的制作意图。

如以上进行说明的那样，信息处理装置1具有通过至少2种以上的展开方式中的一种展开方式展开的展开图像显示全方位图像数据14A的控制部13(显示控制装置)，具有改变展开图像的视角位置的视角改变处理部16(视角位置改变装置)、改变展开图像的展开方式的展开方法改变处理部17(展开方式改变装置)、通过视角改变处理部16改变时的视角改变数据14B(视角位置信息)、通过展开方法改变处理部17改变时的展开方法改变数据14C(展开方式信息)、将改变这些时的录制时间数据14D(录制时间信息)或录制时间关联数据14E(与录制时间关联的信息)存储在存储部14的存储处理部18(存储处理装置)、基于存储在存储部14的信息从全方位图像数据14A生成再录制数据14F(图像数据)的再录制数据生成处理部19(图像数据生成装置)。因此，由于该信息处理装置1将通过多个展开方法显示的影像流的改变信息存储在存储部14，在生成再录制数据14F时，可以反映出该改变，所以可以反映出利用各种展开方法表现的用户的意图，可以简单地生成图像数据。而且，通过该信息处理装置1反映出用户的制作意图的图像数据与全方位图像数据14A分别生成，无需采用利用视听历史等的专用的动作播放软件，谁都可以利用常见动画播放软件容易地播放。

另外，输入指示接收部12接收到用户的播放指示时，信息处理装置1播放依据全方位图像数据14A生成的再录制数据14F。由此，可以清楚地知道设定再录制条件，生成再录制数据14F的过程。

另外，输入指示接收部12接收到用户的录制指示时，信息处理装置1的存储处理部18可以将再录制数据14F存储在存储部14。由此，可以将设定再录制条件生成的再录制数据14F作为与全方位图像数据14A不同的图像数据进行保存，谁都可以利用常见动画播放软件播放容易地收看。

此外，关于上述的信息处理装置1实行的再录制数据的生成处理(信息处理方法)以及安装在信息处理装置1上的程序，与信息处理装置1同样，将通过多个展开方法显示的影像流的改变信息存储在存储部14，生成再录制数据时，反映出该改变，因此，可以反映出利用各种展开方法表现的用户的意图，可以简单地生成图像数据，由于反映出用户的制作意图的图像数据与全方位图像数据14A分别生成，无需采用利用视听历史等的专用的动作播放软件，谁都可以利用常见动画播放软件容易地播放。即，信息处理装置1实行的再录制数据的生成处理(信息处理方法)、安装在信息处理装置1上的程序，可以实现与信息处理装置1相同的效果。

以上进行说明实施的形态，可以具有各种变型。例如，虽然摄像装置2具有可以对全方位图像进行摄影的广角镜头(所谓鱼眼镜头)，但是也可以是不能对全方位(360度)的图像进行摄影的摄像装置。同样，虽然对全方位图像数据14A具有全方位(360度)的视角区域的情况进行了说明，但也可以是不具有全方位的视角区域的图像数据。

Claims (10)

1.一种信息处理装置，从摄像装置获取第一图像数据，其特征在于，

所述信息处理装置具有：

控制部；

存储部；

显示部，用于显示所述第一图像数据；

通信部，与所述摄像装置或所述存储部进行通信；

输入指示接收部，其接收用户通过所述控制部进行的输入指示，形成输入指示信息并将所述输入指示信息存储于所述存储部；和

图像数据生成部，基于存储在所述存储部的所述输入指示信息将所述第一图像数据生成第二图像数据并通过所述输入指示接收部存储在所述存储部或外部存储装置。

2.根据权利要求1所述的信息处理装置，其特征在于，所述通信部具有无线通信技术。

3.根据权利要求1所述的信息处理装置，其特征在于，所述显示部显示通过至少2种以上的展开方式中的一种展开方式展开的所述第一图像数据。

4.根据权利要求1所述的信息处理装置，其特征在于，所述控制部具有：展开方式改变处理部，其改变所述第一图像数据的展开方式；

视角位置改变部，其改变所述第一图像数据的视角位置。

5.根据权利要求1至4任一项所述的信息处理装置，其特征在于，所述控制部具有：

录制指示接收部，接收用户的录制指示；

播放指示接收部，其接收用户的播放指示；和

播放部，其在所述播放指示接收部接收到所述用户的播放指示时，播放所述第二图像数据。

6.一种信息处理方法，其特征在于，摄像装置获取第一图像数据，所述信息处理方法是具有通信部、输入指示接收部、控制部、存储部、图像数据生成部和显示部以及图像数据生成部的信息处理装置实施的方法，所述信息处理装置可对摄像装置获取的所述第一图像数据于所述显示部进行显示，所述信息处理方法具有以下步骤：

通信步骤，所述通信部对所述摄像装置或所述存储部进行通信；

输入指示接收步骤，所述输入指示接收部接收用户通过所述控制部进行的输入指示形成输入指示信息并将所述输入指示信息存储于所述存储部；

图像数据生成步骤，所述图像数据生成部基于存储在所述存储部的所述输入指示信息将所述第一图像数据生成第二图像数据并通过所述输入指示接收部存储在所述存储部或外部存储装置。

7.根据权利要求6所述的信息处理方法，其特征在于，所述信息处理方法具有：录制指示接收步骤，用户可通过录制指示接收部进行录制指示。

8.根据权利要求6所述的信息处理方法，其特征在于，所述信息处理方法具有：播放指示接收步骤，用户可通过播放指示接收部进行播放指示，并通过播放部在所述播放指示接收部接收到所述播放指示时，播放所述第二图像数据。

9.根据权利要求6所述的信息处理方法，其特征在于，所述信息处理方法具有：展开方式改变步骤，用户可通过展开方式改变处理部改变所述第一图像数据的展开方式。

10.根据权利要求6所述的信息处理方法，其特征在于，所述信息处理方法具有：视角位置改变步骤，用户可通过视角位置改变部改变所述第一图像数据的视角位置。