CN110830704A - 旋转图像生成方法及其装置 - Google Patents

旋转图像生成方法及其装置 Download PDF

Info

Publication number
CN110830704A
CN110830704A CN201810889661.2A CN201810889661A CN110830704A CN 110830704 A CN110830704 A CN 110830704A CN 201810889661 A CN201810889661 A CN 201810889661A CN 110830704 A CN110830704 A CN 110830704A
Authority
CN
China
Prior art keywords
image
subject
mobile terminal
photographing
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810889661.2A
Other languages
English (en)
Other versions
CN110830704B (zh
Inventor
徐玄亮
郑载勋
高丞用
周颖果
张洪恩
齐峰
李婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Priority to CN201810889661.2A priority Critical patent/CN110830704B/zh
Priority to KR1020180092800A priority patent/KR102128955B1/ko
Publication of CN110830704A publication Critical patent/CN110830704A/zh
Application granted granted Critical
Publication of CN110830704B publication Critical patent/CN110830704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种旋转图像生成方法，所述旋转图像生成方法包括以下步骤：显示预览画面，所述预览画面事先显示通过摄像机输入的影像；当选择拍摄按钮时，从所述摄像机接收关于特定被摄物体的影像帧；利用预设定的跟踪算法跟踪存在于每个影像帧内的被摄物体；根据所述被摄物体的位置裁剪(crop)每个影像帧的至少一部分；及对被裁剪的所述影像帧进行稳定化(Stabilization)。

Description

旋转图像生成方法及其装置
技术领域
本发明涉及一种生成视频文件的方法及其装置，更具体地，涉及一种能够基于从360度的方向拍摄特定被摄物体的影像帧生成关于该被摄物体的视频文件的旋转图像生成方法及其装置。
背景技术
根据是否可以移动来将终端可分为移动终端(mobile/portable terminal)和固定终端(stationary terminal)。并且，根据用户是否可以直接携带来将移动终端可分为便携(式)终端(handheld terminal)和固定式终端(mounted terminal)。
移动终端的功能逐渐多样化。例如，具有以下功能：数据、语音通信功能、通过摄像机拍摄照片和视频的功能、录音功能、通过扬声器系统播放音乐文件的功能以及在显示部输出图像或者视频的功能。部分终端额外增加有电子游戏播放功能或者执行多媒体播放功能。
例如，这种终端(terminal)根据其功能的多样化，可以以多媒体设备(Multimediaplayer)形式实现，所述多媒体设备具有拍摄照片或者视频、播放音乐或者视频文件、游戏、接收广播等复合功能。
这种以多媒体设备的形式实现的移动终端为了实现复杂的功能而在硬件或者软件方面进行各种新的尝试。例如，随着图像传感技术和影像处理技术等的发展，最近的移动终端提供接近于数码单反(DSLR)摄像机性能的拍摄功能的同时提供各种附加功能。
并且，由于携带和操作的方便性，通过移动终端拍摄照片或者视频的用户正在逐渐增加。因此，移动终端提供用于方便拍摄照片或者视频的各种应用。
另外，近年来，随着在线(on-line)商品交易市场的增加，想要从360度的方向拍摄特定商品外观的用户的需求(needs)逐渐增加。为了拍摄将在在线销售网站上展示的商品，现有的商家主要使用以下方法：将商品放置在360度旋转的桌子上，并在三脚架上设置DSLR摄像机之后，旋转桌子的同时通过DSLR摄像机从360度的方向拍摄相应商品。但是，这种方法由于每次拍摄商品时都需要安装额外的装置，普通卖家难以利用该方法拍摄商品。因此，需要一种任何人都能够利用经常持有的移动终端方便地从360度的方向进行拍摄的方案。
发明内容
(一)要解决的技术问题
本发明的目的在于解决上述的问题和其他问题。本发明的另一目的在于提供一种基于在特定被摄物体的周边以360度方向移动的同时拍摄的影像帧，能够自动生成关于该被摄物体的视频文件的旋转图像生成方法及其装置。
本发明的另一目的在于提供一种拍摄特定被摄物体时，能够实时提供用于引导终端用户的拍摄操作的拍摄引导信息的旋转图像生成方法及其装置。
本发明的另一目的在于提供一种拍摄特定被摄物体时，能够跟踪存在于每个影像帧中的被摄物体的位置并根据所述被摄物体的位置裁剪(crop)每个影像帧以进行抖动校正的旋转图像生成方法及其装置。
(二)技术方案
为了实现上述目的或者另一目的，本发明的一方面提供一种旋转图像生成方法，其包括以下步骤：显示预览画面，所述预览画面事先显示通过摄像机输入的影像；当选择拍摄按钮时，从所述摄像机接收关于特定被摄物体的影像帧；利用预设定的跟踪算法跟踪存在于每个影像帧内的被摄物体；根据所述被摄物体的位置裁剪(crop)每个影像帧的至少一部分；及对被裁剪的所述影像帧进行稳定化(Stabilization)。
根据本发明的另一方面，提供一种旋转图像生成装置，其包括：影像帧接收部，其从一个以上的摄像机接收关于特定被摄物体的影像帧；被摄物体跟踪部，其利用预设定的跟踪算法跟踪存在于每个影像帧内的被摄物体；图像裁剪部，其根据所述被摄物体的位置裁剪每个影像帧的至少一部分；及抖动校正部，其对被裁剪的所述影像帧进行稳定化。
根据本发明的另一方面，提供一种存储于计算机可读的记录介质中的计算机程序，从而使得在计算机上运行以下步骤：显示预览画面，所述预览画面事先显示通过摄像机输入的影像；当选择拍摄按钮时，从所述摄像机接收关于特定被摄物体的影像帧；利用预设定的跟踪算法跟踪存在于每个影像帧内的被摄物体；根据所述被摄物体的位置裁剪(crop)每个影像帧的至少一部分；及对被裁剪的所述影像帧进行稳定化(Stabilization)。
(三)有益效果
下面对本发明的实施例的旋转图像生成方法及其装置的效果进行说明。
根据本发明的实施例中的至少一个实施例，基于在特定被摄物体的周边以360度方向移动的同时拍摄的影像帧，能够自动生成关于该被摄物体的视频文件，从而能够提供区别于现有技术的用户的方便性。
根据本发明的实施例中的至少一个实施例，在拍摄特定被摄物体时，通过实时提供用于引导终端用户的拍摄操作的拍摄引导信息，使终端用户容易地在360度方向上拍摄被摄物体，并且使由终端用户的动作引起的摄像机影像的抖动程度最小化。
根据本发明的实施例中的至少一个实施例，在拍摄特定被摄物体时，跟踪存在于每个影像帧中的被摄物体的位置，并根据所述被摄物体的位置裁剪每个影像帧以进行抖动校正，从而能够使被摄物体位于视频画面的中央，并且增加用于图像稳定化的影像处理速度。
但是，根据本发明的实施例的旋转图像生成方法及其装置可以实现的效果并不限定于以上提及的效果，本发明所属技术领域的技术人员可以通过以下记载清楚地理解未提及的其他效果。
附图说明
图1是示出本发明的一个实施例的服务提供系统的结构的图。
图2是示出本发明的一个实施例的移动终端的结构的图。
图3是示出本发明的一个实施例的旋转图像生成部的结构的图。
图4是表示光流法(optical flow method)的种类的图。
图5是说明本发明的一个实施例的移动终端的操作的流程图。
图6是说明本发明的另一实施例的移动终端的操作的流程图。
图7是用于说明显示智能视频应用主页的移动终端的操作的参照图。
图8是用于说明删除旋转图像的移动终端的操作的参照图。
图9是用于说明将标签信息插入旋转图像的移动终端的操作的参照图。
图10和图11是用于说明播放旋转图像的移动终端的操作的参照图。
图12是用于说明根据本发明的一个实施例进入摄像机模式的移动终端的操作的参照图。
图13是用于说明根据本发明的另一实施例进入摄像机模式的移动终端的操作的参照图。
图14是用于说明显示用于指定被摄物体的指示符(Indicater)的移动终端的操作的参照图。
图15是用于说明提供拍摄引导信息的移动终端的操作的参照图。
图16和图17是用于说明播放最近生成的旋转图像的移动终端的操作的参照图。
图18和图19是用于说明显示旋转图像列表的移动终端的操作的参照图。
图20是用于说明共享旋转图像的移动终端的操作的参照图。
图21是用于说明编辑旋转图像的移动终端的操作的参照图。
图22是用于说明提供用于增强现实(Augmented Reality)的对象信息的移动终端的操作的参照图。
图23是用于说明能够替换旋转图像的背景的移动终端的操作的参照图。
图24是用于说明能够生成全景图像的移动终端的操作的参照图。
附图说明标记
10：服务提供系统 100：通信网络
150：服务器 200：移动终端
210：通信部 220：传感部
230：输入部 240：输出部
250：存储器 260：控制部
265/300：旋转图像生成部 310：影像帧接收部
320：数据分析部 330：引导信息提供部
340：被摄物体跟踪部 350：帧裁剪部
360：抖动校正部 370：文件生成部
380：文件播放部
具体实施方式
下面，参照附图对本发明的实施例进行详细说明，且与附图标记无关地，相同或者类似的组件使用相同的参照标记，并且省略对此的重复说明。在以下说明中使用的组件的后缀“模块”和“部”只是考虑说明书撰写的简便性而使用或者混用，而不是其自身具有相互区别的含义或者作用。即，在本发明中所使用的术语“部”是指软件、如现场可编程门阵列(FPGA)或者专用集成电路(ASIC)的硬件组件，“部”执行某种作用。但是，“部”并不是限定于软件或者硬件的含义。“部”可以构成为存储在可寻址的存储介质，也可以构成为播放一个或者多个处理器。因此，例如，“部”可以包括如软件组件、面向对象软件组件、类组件及标签组件的组件和处理器、函数、属性、程序、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、陈列及变量。组件和“部”提供的功能可以由更少数的组件和“部”结合，或者进一步分离为额外的组件和“部”。
并且，在说明本说明书中公开的实施例时，若认为相关的公知技术的具体说明会混淆本说明书中公开的实施例的要旨时，则省略其详细说明。并且，应该理解为附图只是用来能够容易理解本说明书中公开的实施例，本说明书中公开的技术思想并不受附图的限制，并且包括本发明的思想和技术范围所包括的所有变更、等同物乃至替代物。
本发明提供一种基于在特定被摄物体的周边以360度方向移动的同时拍摄的影像帧，能够自动生成关于该被摄物体的视频文件的旋转图像生成方法。并且，本发明提供一种在拍摄特定被摄物体时，能够实时提供用于引导终端用户的拍摄操作的拍摄引导信息的旋转图像生成方法。并且，本发明提供一种在拍摄特定被摄物体时，跟踪存在于每个影像帧中的被摄物体的位置，根据所述被摄物体的位置裁剪(crop)每个影像帧以能够进行抖动校正的旋转图像生成方法。在本说明书中说明的‘旋转图像(spin image)’是指终端用户在特定被摄物体的周边以360度方向移动的同时拍摄该被摄物体的视频(moving image)或者静止图像(still image)或者图像流(image stream)。
下面，参照附图对本发明的多种实施例进行详细说明。
图1是示出本发明的一个实施例的服务提供系统的结构的图。
参照图1，根据本发明的一个实施例的服务提供系统10可以包括通信网络100、移动终端200及服务器150等。
移动终端200和服务器150可以通过通信网络100相互连接。通信网络100可以包括有线网络和无线网络，具体地，可以包括局域网(local area network，LAN)、城域网(metropolitan area network，MAN)、广域网(wide area network，WAN)等多种网络。并且，通信网络100还可以包括公知的万维网(World Wide Web，WWW)。但是，本发明的通信网络100并不限定于上面列举的网络，可以包括公知的无线数据网络、公知的电话网络、公知的有线/无线电视网络中的至少一种。
移动终端200可以基于从服务器150接收的信息提供多种服务。例如，若所述服务器150为网络服务器，移动终端200可以基于从服务器150接收的内容提供网络服务。
在本实施例中，移动终端200可以设置能够生成关于特定被摄物体的旋转图像或者在显示部输出(播放)旋转图像的应用(以下，为了方便说明称为‘智能视频应用’)或者程序(以下，为了方便说明称为‘智能视频程序’)。此时，移动终端200可以通过访问应用商店(app store)或者在线商店(play store)等下载智能视频应用，或者通过额外的存储介质下载该应用。并且，移动终端200可以下载由服务器150提供的智能视频程序，或者通过额外的存储介质下载该程序。
移动终端200可以应对预设定的用户输入，运行已设置的智能视频应用或者程序。在运行所述应用或者程序时，移动终端200可以将预设定义的用户界面(User Interface，UI)显示在显示部。当通过这种用户界面接收用户输入时，移动终端200可以执行根据用户输入生成关于特定被摄物体的旋转图像或者在显示部输出旋转图像的功能。
在本说明书中说明的移动终端200可以包括手机(portable phone)、智能手机(smart phone)、笔记本电脑(laptop computer)、触屏平板电脑(slate PC)、平板电脑(tablet PC)、超级本(ultrabook)、数字广播用终端、个人数字助理(Personal DigitalAssistants，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、可穿戴设备(wearable device，例如，手表型终端(smart watch)、眼镜型终端(smart glass)、头戴式显示器(head mounted display，HMD))等。
服务器150作为提供服务的服务器(或者作为服务提供者(service provider))，可以提供由移动终端200请求的服务。例如，当所述服务器150为网络服务器时，服务器150可以将终端用户请求的内容(content)构成为网页形式并提供给移动终端200。
在本实施例中，服务器150能够通过生成可生成和输出关于特定被摄物体的旋转图像的智能视频应用或者程序并提供给移动终端200。移动终端200可以通过设置从服务器150接收的应用或者程序，从而提供生成和输出关于特定被摄物体的旋转图像的功能。
另外，作为另一实施例，服务器150可以从移动终端200实时接收关于特定被摄物体的影像帧并生成旋转图像，并将生成的所述旋转图像提供给移动终端200。移动终端200可以存储从服务器150接收的旋转图像，并在显示部输出所述旋转图像。
图2是用于说明本发明的一个实施例的移动终端200的结构的框图。
参照图2，根据本发明的一个实施例的移动终端200可以包括通信部210、传感部220、输入部230、输出部240、存储器250及控制部260等。在图2中示出的组件并不是构成移动终端的必要组件，因此，在本说明书中说明的移动终端可以具有比上面列举的组件更多或更少的组件。
通信部210可以包括用于支持有线网络的有线通信模块和用于支持无线网络的无线通信模块。有线通信模块在根据用于有线通信的技术标准或者通信方式(例如，以太网(Ethernet)、电力线通信(Power Line Communication，PLC)、家庭电话线网络联盟(HomePNA)、火线接口(IEEE 1394)等)构建的有线通信网上，与外部服务器和另一终端中的至少一个收发有线信号。无线通信模块在根据用于无线通信的技术标准或者通信方式(例如，无线局域网(Wireless LAN，WLAN)、无线保真(Wireless-Fidelity，Wi-Fi)、数字生活网络联盟(Digital Living Network Alliance，DLNA)、全球移动通信系统(Global System forMobile communication，GSM)、码分多址(Code Division Multi Access，CDMA)、宽带码分多址(Wideband CDMA，WCDMA)、长期演进(Long Term Evolution，LTE)、先进的长期演进(Long Term Evolution-Advanced，LTE-A)等)构建的无线通信网上，与基站、接入点(Access Point)及直放站中的至少一个收发无线信号。
在本实施例中，通信部210可以与服务器150交换与生成和播放关于特定被摄物体的旋转图像相关的数据。例如，通信部210可以从服务器150接收智能视频应用或者程序。并且，通信部210可以将通过移动终端200拍摄到的影像数据传输给服务器150。
传感部220可以包括一个以上的用于感测移动终端内信息、围绕移动终端的周边环境信息及用户信息中的至少一个的传感器。例如，传感部220可以包括近距离传感器(proximity sensor)、照度传感器(illumination sensor)、触摸传感器(touch sensor)、加速度传感器(acceleration sensor)、磁传感器(magnetic sensor)、重力传感器(G-sensor)、陀螺仪传感器(gyroscope sensor)、运动传感器(motion sensor)、RGB传感器、红外线传感器(infrared sensor，IR传感器)指纹识别传感器(finger scan sensor)、超声波传感器(ultrasonic sensor)、光学传感器(optical sensor)、电池电流计(batterygauge)、环境传感器(例如，气压计、湿度计、温度计、辐射能传感器、热传感器、气体传感器等)中的至少一个。另外，本说明书中公开的移动终端可以将所述传感器中的至少两种以上的传感器感测到的信息进行组合并使用。
传感部220感测移动终端内信息、围绕移动终端的周边环境信息及用户信息中的至少一种，并产生对应于所述信息的传感信号。控制部260可以基于这种传感信号控制移动终端200的驱动或者操作，或者执行与设置在移动终端200的应用程序相关的数据处理、功能或者操作。在本实施例中，控制部260可以基于由加速度传感器、陀螺仪传感器、运动传感器等测量的传感数据检测移动终端200的移动速度、移动方向、姿势、抖动程度等。
输入部230可以包括用于输入影像信号的摄像机、用于输入音频信号的麦克风(microphone)、用于从用户接收输入信息的用户输入部(例如，键盘、鼠标、触摸键(touchkey)、推送键(mechanical key)等)。由输入部230收集的语音数据或者图像数据被分析并处理为用户的控制指令。
摄像机处理在视频通话模式或者拍摄模式中由图像传感器获得的静止影像或者视频等的影像帧。被处理的影像帧可以显示在显示部或者存储在存储器250。在本实施例中，被处理的影像帧可以输入到旋转图像生成部265。另外，设置在移动终端200的多个摄像机可以配置为形成矩阵结构，通过所述形成矩阵结构的摄像机，具有各种角度或者焦点的多个影像信息可被输入到移动终端200中。
麦克风将外部的音响信号处理为电语音数据。可以根据移动终端200中正在执行的功能(或者正在运行的应用程序)以多种方式使用被处理的语音数据。
用户输入部用于从用户接收输入信息，当通过用户输入部输入信息时，控制部260可以与输入信息对应地控制移动终端200的操作。这种用户输入部可以包括机械式(mechanical)输入装置(例如，位于移动终端200的前后表面或者侧面的按钮、圆顶开关(dome switch)、旋钮(Jog Whee)、滚轮(Jog)开关等)和触摸式输入装置。
输出部240用于产生与视觉、听觉或者触觉相关的输出，可以包括显示部、音响输出部、触觉模块及光输出部中的至少一个。
显示部显示(输出)在移动终端200中处理的信息。例如，显示部可以显示在移动终端200中驱动的应用程序的运行画面信息或者根据所述运行画面信息的用户界面(UserInterface，UI)、图形用户界面(Graphic User Interface，GUI)信息。在本实施例中，显示部可以显示根据智能视频应用或者程序的运行的UI信息。并且，显示部可以显示用于引导终端用户的拍摄操作的拍摄引导信息。
显示部可以与触摸传感器呈相互形成层的结构或者一体形成，从而实现触摸屏。这种触摸屏起到提供相应终端200与用户之间的输入界面的用户输入部功能的同时，还可以提供相应终端200与用户之间的输出界面。
音响输出部可以输出在呼叫信号接收、通话模式或者录音模式、语音识别模式、广播接收模式等中从通信部210接收或者存储在存储器250中的音频数据。音响输出部还可以输出与移动终端200中执行的功能(例如，呼叫信号接收音、消息接收音等)相关的音响信号。在本实施例中，音响输出部可以将用于引导终端用户的正确拍摄操作的拍摄引导信息以音响信号输出。
触觉模块(haptic module)产生用户可以感受的多种触觉效果。触觉模块所产生的触觉效果的代表性例子可以是震动。光输出部利用移动终端200的光源的光输出用于提醒事件发生的信号。移动终端200中发生的事件例如可以是消息接收、呼叫信号接收、未接来电、闹钟、日程通知、邮件接收、通过应用的信息接收等。
存储器250存储支持移动终端200的多种功能的数据。存储器250可以存储在移动终端200中驱动的多数应用程序(application program或者应用(application))、用于移动终端200的操作的数据、指令。在本实施例中，存储器250可以存储用于生成关于特定被摄物体的旋转图像的智能视频应用或者程序。并且，存储器250可以存储由移动终端200拍摄的照片或者视频文件、通过智能视频应用或者程序生成的视频文件。
存储器250可以包括闪存类型(flash memory type)、硬盘类型(hard disktype)、固态硬盘类型(Solid State Disk type，SSD)、硅磁盘驱动器类型(Silicon DiskDrive type，SDD)、微型多媒体卡类型(multimedia card micro type)、卡片类型的存储器(例如，SD或者XD存储器等)、随机存取存储器(random access memory，RAM)、静态随机存取存储器(static random access memory，SRAM)、只读存储器(read-only memory，ROM)、带电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、可编程程序只读存储器(programmable read-only memory，PROM)、磁存储器、磁盘及光盘中的至少一种类型的存储介质。
控制部260控制与存储在存储器250中的应用程序相关的操作，通常控制移动终端200的整体操作。进一步地，为了在本发明的移动终端200上实现以下说明的多种实施例，控制部260可以组合上述的组件中的至少一个来进行控制。
在本实施例中，控制部260可以包括用于生成并输出关于特定被摄物体的旋转图像的旋转图像生成部265。所述旋转图像生成部265可以驱动存储在存储器250中的智能视频应用或者程序，从而提供生成关于特定被摄物体的旋转图像或者输出(播放)旋转图像的功能。
例如，旋转图像生成部265可以基于在特定被摄物体的周边以360度方向移动的同时拍摄的影像帧，自动生成关于相应被摄物体的视频文件。并且，旋转图像生成部265在拍摄特定被摄物体时，可以实时提供用于引导终端用户的拍摄操作的拍摄引导信息。并且，旋转图像生成部265在拍摄特定被摄物体时，可以跟踪每个影像帧中存在的被摄物体的位置，根据所述被摄物体的位置裁剪(crop)每个影像帧，并对被裁剪的所述影像帧分别进行抖动校正。
图3是示出本发明的一个实施例的旋转图像生成部的结构的图。
参照图3，本发明的一个实施例的旋转图像生成部300可以包括影像帧接收部310、数据分析部320、引导信息提供部330、被摄物体跟踪部340、帧裁剪部350、抖动校正部360、文件生成部370及文件播放部380。图3中示出的组件并不是实现旋转图像生成部的必要组件，因此，在本说明书中说明的旋转图像生成部可以具有比上面列举的组件更多或更少的组件。
影像帧接收部310可以执行从摄像机接收终端用户在特定被摄物体的周边以360度方向移动的同时拍摄的影像帧的功能。另外，作为另一实施例，影像帧接收部310还可以从存储关于特定被摄物体的影像帧的存储器250进行接收。
数据分析部320分析存在于每个影像帧内的被摄物体的大小，从而能够检测移动终端200与被摄物体之间的距离信息。另外，作为另一实施例，数据分析部320还可以利用超声波传感器、红外线传感器等距离传感器检测移动终端200与被摄物体之间的距离信息。
数据分析部320通过分析存在于每个影像帧内的被摄物体的位置信息，从而能够检测拍摄相应被摄物体的摄像机的方向信息。并且，数据分析部320通过分析由陀螺仪传感器、加速度传感器、运动传感器等测量的传感数据，从而能够检测到移动终端200的移动速度、移动方向、姿势、抖动程度等相关信息。通过所述数据分析部320检测到的信息可以用于生成用于引导终端用户的拍摄操作的拍摄引导信息。
引导信息提供部330可以生成用于引导终端用户的拍摄操作的拍摄引导信息，并以视觉/听觉/触觉信号输出所述拍摄引导信息。
当终端用户使用安装在移动终端200的摄像机在特定被摄物体的周边以360度方向移动的同时进行拍摄时，移动终端与被摄物体之间的拍摄距离、拍摄被摄物体的摄像机的方向、移动终端的移动速度、移动终端的姿势等会持续改变。因此，需要提供拍摄引导信息，所述拍摄引导信息用于保持终端用户与被摄物体之间的拍摄距离和拍摄被摄物体的摄像机的方向等恒定，并防止由于手或手臂的运动引起的摄像机的抖动。
引导信息提供部330可以基于从数据分析部320接收的信息，实时分析终端用户的拍摄状态或者拍摄操作，并提供相应的拍摄引导信息。此时，所述拍摄引导信息可以包括用于引导终端用户的拍摄操作的提示(notification)信息和用于改正终端用户的错误拍摄操作的警报(alarm)信息等。
被摄物体跟踪部340可以执行利用预设定的对象跟踪算法跟踪存在于每个影像帧内的被摄物体的功能。跟踪被摄物体的方法可以根据要跟踪的被摄物体的特征值的选择分为基于颜色的方式(color based method)、基于区域的方式(area based method)、基于活动轮廓的方式(active contour based method)、基于特征的方式(feature basedmethod)等。
被摄物体跟踪部340可以利用均值漂移((Mean-Shift)算法、连续自适应均值漂移(Continuously Adaptive Mean-Shift，CAMshift)算法、差值图像(Difference Image)算法、卡尔曼滤波器(Kalman filter)算法、粒子滤波(Particle filter)算法、高斯混合模型(Gaussian Mixture Model，GMM)算法、核相关滤波(Kernelized Correlation Filter，KCF)算法、方向梯度直方图(Histogram of Oriented Gradients，HOG)中的至少一种算法跟踪存在于每个影像帧内的被摄物体的位置。
被摄物体跟踪部340可以根据被摄物体的种类采用不同的跟踪算法。另外，在本实施例中，例示利用KCF算法和构成融合的方向梯度直方图(Felzenszwalb-Histogram ofGradient，FHOG)算法实时跟踪存在于每个影像帧内的被摄物体的位置，但是并不限定于此。
由终端用户指定被摄物体的初始位置时，被摄物体跟踪部340可以基于指定的所述初始位置跟踪存在于每个影像帧内的被摄物体的位置。
帧裁剪部350可以执行根据被摄物体的位置裁剪每个影像帧的部分区域的功能。即，帧裁剪部350可以裁剪每个影像帧的背景(background)以使被摄物体位于视频画面(view screen)的中心区域。
帧裁剪部350可以将裁剪的影像帧存储在图像数据队列(Image Data Queue)中。其中，图像数据队列与图像数据栈(Image Data Stack)不同，是先进的数据先出的数据结构(先进先出(First In First Out，FIFO))。
帧裁剪部350可以将裁剪的影像帧放大到预设定的大小。所述过程用于向终端用户提供强调被摄物体的效果。但是，该处理器可以构成为可根据实施例省略。
抖动校正部360可以利用预设定的图像稳定化方法(image stabilizationmethod)校正由终端用户的手抖动等引起的摄像机影像的抖动。所述图像稳定化方法可以采用基于运动的稳定化方法。
基于运动的稳定化方法是测量相邻帧之间的移动量(amount of movement)，并利用所述移动量的相关信息来补偿图像的方式。所述基于运动的稳定化方法还可以称为光流法(optical flow method)。
如图4所述，光流法可以区分为稠密光流法(dense optical flow approach)和稀疏光流法(sparse optical flow approach)。稠密光流法虽然对计算整体影像帧和测量准确的光流有用，但是计算量多而难以适用于移动环境。另外，稀疏光流法由于只计算影像帧内的特征点，无法测量准确的光流，但是计算量少而适合用于移动环境。因此，在本实施例中，作为图像稳定化方法可以使用稀疏光流法，但是并不限定于此。抖动校正部360可以根据被摄物体的种类采用不同的图像稳定化方法。
抖动校正部360可以从存储在图像数据队列中的影像帧中提取被摄物体的特征点(feature points)。抖动校正部360可以基于影像帧之间的特征点位置信息检测被摄物体的运动(motion)向量，并基于所述向量计算被摄物体的轨迹(trajectory)。
抖动校正部360可以利用轨迹平滑(trajectory smoothing)法来使被摄物体的轨迹平滑。例如，抖动校正部360可以利用平均窗口(average window)来使被摄物体的轨迹平滑。
抖动校正部360可以利用仿射变换(affine transform)校正影像帧的抖动。即，抖动校正部360对被裁剪的影像帧采用仿射变换来执行图像扭曲(Image Warping)。
通过所述过程，抖动校正部360能够生成稳定的影像帧。抖动校正部360只对被裁剪的影像帧进行抖动校正处理，而不是对整个影像帧，因此不仅能够减少影像处理所需的计算量，而且还能够缩短影像处理所需的计算时间。
文件生成部370可以执行将根据图像稳定化方法进行影像处理的帧生成为视频文件并存储在存储器250中的功能。此时，所述文件生成部370可以以YUV格式存储影像帧。并且，所述文件生成部370可以以AVI文件、MP4文件、MKV文件、SKM文件等视频文件形式存储影像帧。
文件播放部380可以执行将存储在存储器250中的视频文件输出(播放)到显示部的功能。文件播放部380可以以幻灯片(image slide)形式播放视频文件。
文件播放部380可以根据用户的手势输入播放规定时间点之后的视频，或者播放规定时间点之前的视频。因此，终端用户可以通过具有方向性的手势输入仔细确认被摄物体的外观。
以上，如上所述，本发明的旋转图像生成部可以基于在特定被摄物体的周边以365度方向移动的同时拍摄的影像帧，生成关于相应被摄物体的视频文件。所述旋转图像生成部300不仅可以设置在移动终端200，还可以设置在服务器150内部。
图5是说明本发明的一个实施例的移动终端的操作的流程图。
参照图5，移动终端200可以根据用户的指令等运行智能视频应用(S510)。
在运行所述应用时，移动终端200可以将预设定的用户界面(User Interface，UI)显示在显示部(S520)。此时，用户界面可以包括用于生成旋转图像的摄像机菜单、用于显示旋转图像列表的主菜单、用于设定所述应用的环境的设定菜单等。
当终端用户选择摄像机菜单时(S530)，移动终端200可以将事先显示通过摄像机输入的影像的预览画面显示在显示部(S540)。此时，所述预览画面可以由位于所述画面的中心区域的第一拍摄区域和位于画面的边缘区域的第二拍摄区域构成。对所述第二拍摄区域可以进行模糊(dim)处理以与第一拍摄区域区分。
第一拍摄区域是对应于为影像处理(即，图像稳定化)而被裁剪的影像帧的区域，相当于被录制为视频文件的区域。因此，终端用户可以调节摄像机的方向以使被摄物体位于第一拍摄区域。所述第一拍摄区域的大小可以由移动终端200自动设定，或者由终端用户手动设定。
移动终端200可以将用于指定被摄物体的指示符显示在显示部。终端用户可以通过调节指示符的位置和大小等准确指定被摄物体。另外，作为另一实施例，移动终端200可以通过对象识别来自动检测被摄物体，并在检测到的所述被摄物体上显示指示符。
当终端用户选择拍摄按钮时(S550)，移动终端200可以利用一个以上的摄像机开始对被摄物体进行视频拍摄(S560)。移动终端200可以从一个以上的摄像机接收关于被摄物体的影像帧。
移动终端200可以通过分析影像数据或传感数据，实时感测(监测)终端用户的拍摄状态或者拍摄操作等(S570)。
例如，移动终端200可以利用被摄物体的大小信息或者距离传感器检测移动终端200与被摄物体之间的距离信息。并且，移动终端200可以通过分析存在于每个影像帧内的被摄物体的位置信息，检测拍摄相应被摄物体的摄像机的方向信息。并且，移动终端200可以通过分析由陀螺仪传感器、加速度传感器、运动传感器等测量的传感数据，检测移动终端200的移动速度、移动方向、姿势、抖动程度等相关信息。移动终端200可以利用检测到的所述信息实时分析终端用户的拍摄状态或者拍摄操作等。
移动终端200可以生成根据终端用户的拍摄状态或者拍摄操作的拍摄引导信息(S580)。此时，所述拍摄引导信息可以包括用于引导终端用户的拍摄操作的通知(notification)信息和用于改正终端用户的错误的拍摄操作的警报(alarm)信息等。
移动终端200可以以视觉信号、听觉信号及触觉信号中的至少一种信号输出拍摄引导信息(S590)。终端用户可以根据由移动终端200输出的拍摄引导信息在被摄物体的周边以360度方向移动的同时方便地拍摄被摄物体。
由于终端用户的不注意而使得摄像机的方向旋转，导致被摄物体脱离第一拍摄区域时，移动终端200可以自动停止对相应被摄物体的视频拍摄。当被摄物体重新进入第一拍摄区域时，移动终端200可以自动恢复对所述被摄物体的视频拍摄。
移动终端200可以反复执行上述的步骤570至步骤590的操作，直到智能视频应用结束(S595)。上述的操作还可以通过设置在移动终端200内部的旋转图像生成装置实现。
以上，如上所述，在旋转图像拍摄模式下，移动终端200可以实时提供用于引导终端用户的拍摄操作的拍摄引导信息。
图6是说明本发明的另一实施例的移动终端的操作的流程图。
参照图6，移动终端200可以根据用户的指令等运行智能视频应用(S610)。
在运行相应应用时，移动终端200可以将预设定的用户界面(User Interface，UI)显示在显示部(S620)。当终端用户选择摄像机菜单时，移动终端200可以将事先显示通过摄像机输入的影像的预览图像显示在显示部。
移动终端200可以将用于指定被摄物体的指示符显示在显示部。终端用户可以通过调节指示符的位置和大小等来准确地指定被摄物体。
当终端用户选择拍摄按钮时(S630)，移动终端200可以利用一个以上的摄像机拍摄关于被摄物体的视频(S640)。移动终端200可以从一个以上的摄像机接收关于被摄物体的影像帧。
移动终端200可以利用预设定的对象跟踪算法跟踪存在于每个影像帧内的被摄物体的位置(S650)。在本实施例中，移动终端200可以利用KCF(Kernelized CorrelationFilter)算法和FHOG(Felzenszwalb-Histogram of Gradient)算法跟踪存在于每个影像帧内的被摄物体的位置。并且，移动终端200可以基于通过指示符指定的被摄物体的初始位置跟踪被摄物体。
移动终端200可以根据被摄物体的位置裁剪每个影像帧的部分区域(S660)。即，移动终端200可以裁剪每个影像帧的背景以使被摄物体位于视频播放画面的中心。
移动终端200可以利用预设定的图像稳定化方法校正由终端用户的手抖动等引起的摄像机影像的抖动(S670)。在本实施例中，移动终端200可以利用稀疏光流法对每个影像帧进行抖动校正。
移动终端200可以从被裁剪的影像帧提取被摄物体的特征点(feature points)。移动终端200可以基于当前影像帧的特征点位置信息和下一个影像帧的特征点位置信息，检测被摄物体的运动向量，并基于所述向量计算被摄物体的轨迹(trajectory)。
移动终端200可以利用轨迹平滑法来使被摄物体的轨迹平滑。并且，移动终端200可以对被裁剪的影像帧采用放射变换(affine transform)来执行图像扭曲。即，移动终端200可以对每个被裁剪的影像帧的像素位置进行修正，从而校正影像帧的抖动。
移动终端200可以将根据图像稳定化方法进行影像处理的帧生成为视频文件并存储在存储器250(S680)。此时，移动终端200可以以YUV格式存储视频文件。
移动终端200可以反复执行上述的步骤620至步骤680的操作，直到智能视频应用结束(S690)。上述的操作还可以通过设置在移动终端200内部的旋转图像生成装置实现。
如上所述，在旋转图像拍摄模式下，移动终端200可以跟踪存在于每个影像帧内的被摄物体的位置，根据所述被摄物体的位置只对被裁剪的影像帧进行抖动校正。
图7是用于说明显示智能视频应用的主页的移动终端的操作的参照图。
参照图7，移动终端200可以根据用户指令等将主页710显示在显示部。此时，假设所述主页710包括对应于智能视频应用的应用图标715。
当终端用户选择相应应用图标715时，移动终端200可以运行对应于被选择的所述应用图标715的智能视频应用。
在运行相应应用时，移动终端200可以将预设定的用户界面720显示在显示部。所述用户界面720可以由包括对应于多个旋转图像的缩略图的主区域721和配置在所述主区域721的下端的菜单区域723构成。
显示在主区域721的多个缩略图可以按照相应旋转图像的生成顺序依次排列。并且，所述多个缩略图可以根据用户的手势输入滚动。
菜单区域723可以包括用于提供旋转图像列表的旋转图像菜单、用于生成旋转图像的摄像机菜单及用于设定相应应用环境的设定菜单。
图8是用于说明删除旋转图像的移动终端的操作的参照图。
参照图8，在运行智能视频应用时，移动终端200可以将包括对应于多个旋转图像的缩略图的用户界面810显示在显示部。
当接收到触摸显示在用户界面810的缩略图中的任意一个820后向第一方向拖拽的用户的输入时，移动终端200可以将被触摸的所述缩略图820的至少一部分显示在对应于终端用户的拖拽方向的第一显示区域，并将用于删除对应于被触摸的所述缩略图的旋转图像820的删除菜单830显示在对应于所述拖拽方向的相反方向的第二显示区域。
另外，作为另一实施例，当接收到将显示在用户界面810的缩略图中的任意一个820长按(long touch)规定时间的用户的输入时，移动终端200还可以将被触摸的所述缩略图820的至少一部分显示在第一显示区域，并将删除菜单830显示在对应于所述拖拽方向的相反方向的第二显示区域。
当终端用户选择删除菜单830时，移动终端200可以从存储器250中删除对应于被触摸的所述缩略图的旋转图像820。并且，移动终端200可以删除显示在用户界面810的缩略图820。
图9是用于说明将标签信息插入旋转图像中的移动终端的操作的参照图。
参照图9，在运行智能视频应用时，移动终端200可以将包括对应于多个旋转图像的缩略图的用户界面910显示在显示部。
当接收到触摸显示在用户界面910的缩略图中的任意一个920后向第一方向拖拽的用户的输入时，移动终端200可以将被触摸的所述缩略图920的至少一部分显示在对应于终端用户的拖拽方向的第一显示区域，并将标签菜单930显示在对应于所述拖拽方向的相反方向的第二显示区域，所述标签菜单930用于将标签信息输入至对应于被触摸的所述缩略图的旋转图像920中。
当终端用户选择标签菜单930时，移动终端200可以将用于输入标签信息的键盘窗口940和用于显示所输入的标签信息的显示窗口950显示在显示部。所述标签信息可以是被摄物体(即，商品)的名称、颜色信息、大小信息、价格信息等，但并不限定于此。
当通过键盘窗口940输入规定的标签信息(假设，商品价格：＄100)时，移动终端200可以将输入的所述标签信息插入旋转图像中。移动终端200可以生成插入有标签信息的缩略图960并显示在显示部。
图10和图11是用于说明播放旋转图像的移动终端的操作的参照图。
参照图10和图11，在运行智能视频应用时，移动终端200可以将包括对应于多个旋转图像的缩略图的第一用户界面1010显示在显示部。
当接收到触摸显示在第一用户界面1010的缩略图中的任意一个1020的用户的输入时，移动终端200可以将第二用户界面1030显示在显示部，所述第二用户界面1030用于播放对应于被触摸的所述缩略图1020的旋转图像。
第二用户界面1030可以包括：菜单区域1040，所述菜单区域包括用于移动到主页的主菜单及用于播放旋转图像的播放菜单等；图像显示区域1050，所述图像显示区域提供与旋转图像相关的视频或者静止图像；及进度条1060，所述进度条指示视频的进行状态。
当选择显示在菜单区域1040的播放菜单1041时，移动终端200可以播放对应于被触摸的所述缩略图1020的旋转图像并将其显示在显示部。因此，终端用户可以观看在360度方向上拍摄的特定被摄物体1040的视频。
当选择播放菜单1041时，移动终端200可以将显示在第二用户界面1030的播放菜单1041变更为停止菜单1043。在视频播放状态下选择停止菜单1043时，移动终端200可以停止当前播放中的视频并将相应时间点的静止影像显示在显示部。
另外，在播放视频的状态下接收第一方向的手势输入1080时，移动终端200可以播放从当前时间点开始到规定时间点之后的视频。相反，在播放视频的状态下接收与第一方向相反的第二方向的手势输入(未示出)时，移动终端200可以播放从当前时间点开始到规定时间点之前的影像。
并且，在显示静止影像的状态下接收第一方向的手势输入1080时，移动终端200可以显示从当前时间点开始到规定时间点之后的静止影像。相反，在显示静止影像的状态下接收与第一方向相反的第二方向的手势输入(未示出)时，移动终端200可以显示从当前时间点开始到规定时间点之前的静止影像。
移动终端200可以通过感测终端用户的手势输入速度来调节关于被摄物体的视频或者静止影像的画面转换速度。因此，终端用户可以通过具有方向性的手势输入，更加仔细地确认被摄物体1070的外观。
图12是用于说明根据本发明的一个实施例进入摄像机模式的移动终端的操作的参照的。
参照图12，在运行智能视频应用时，移动终端200可以将包括对应于多个旋转图像的缩略图的用户界面1210显示在显示部。
当选择显示在用户界面1210的下端的摄像机菜单1215时，移动终端200可以将弹出窗口1220显示在显示部，所述弹出窗口用于询问是否允许相应应用访问摄像机。当选择所述弹出窗1220的OK菜单1225时，移动终端200可以进入用于生成旋转图像的摄像机模式。
另外，作为另一实施例，当选择摄像机菜单1215时，移动终端200无需显示额外的弹出窗口，可以直接进入用于生成旋转图像的摄像机模式。
当进入摄像机模式时，移动终端200可以将预设定的用户界面1230显示在显示部。其中，用户界面1230可以包括事先显示通过摄像机输入的影像的预览(preview)区域1240和显示与摄像机模式相关的菜单的菜单区域1250。
预览区域1240可以由位于画面中央区域的第一拍摄区域1241和位于画面的边缘区域的第二拍摄区域1243构成。对所述第二拍摄区域1243可以进行模糊(dim)处理，以与第一拍摄区域1241区分。
第一拍摄区域1241是对应于为进行影像处理(即，图像稳定化)而被裁剪的影像帧的区域，相当于被录制为视频文件的区域。因此，终端用户可以调节摄像机的方向，以使被摄物体1260位于第一拍摄区域1241。
菜单区域1250可以包括用于调出最近生成的旋转图像的缩略图菜单1251和用于对被摄物体1260开始进行视频拍摄的拍摄按钮菜单1253。
另外，作为另一实施例，如图13所示，当选择对应于显示在主页1310的智能视频应用的应用图标1315时，移动终端200可以运行对应于被选择的所述应用图标1315的智能视频应用。
当运行相应应用时，移动终端200可以直接进入用于生成旋转图像的摄像机模式。当进入摄像机模式时，所述移动终端200可以将预设定的用户界面1320显示在显示部。所述用户界面1320的结构与图12中所示的用户界面1230的结构相同，因此省略对此的详细说明。
图14是用于说明显示用于指定被摄物体的指示符的移动终端的操作的参照图。
参照图14，当进入摄像机模式时，移动终端200可以将用户界面1410显示在显示部，所述用户界面包括用于指定被摄物体1420的指示符1430及引导将指示符1430调节为其与被摄物体的大小吻合的通知信息1440。此时，所述指示符1430可以形成为四边形，但并不限定于此。
终端用户可以根据通知信息1440触摸并拖拽指示符1430的边缘(edges)，从而将指示符1430的大小调节为其与被摄物体1420的大小吻合。并且，终端用户可以触摸并拖拽指示符1430的内部，从而对指示符1430的位置进行移动。
另外，作为另一实施例，当终端用户触摸被摄物体时，移动终端还可以通过对象识别检测被摄物体的整体轮廓，并根据检测到的所述被摄物体的形状和大小自动调节指示符。
图15是用于说明提供拍摄引导信息的移动终端的操作的参照图。
参照图15，当进入摄像机模式时，移动终端200可以将事先显示将要通过摄像机拍摄的被摄物体1520的用户界面1510。
当终端用户选择拍摄按钮1530时，移动终端200可以利用一个以上的摄像机对被摄物体1520开始进行视频拍摄。
在旋转图像拍摄模式下，移动终端200可以将用于开始视频拍摄的拍摄按钮1530变更为用于停止视频拍摄的停止按钮1540。当选择所述停止按钮1540时，移动终端200可以对被摄物体停止进行视频拍摄。
在旋转图像拍摄模式下，移动终端200可以将指示被摄物体的拍摄角度的第一指示符1550显示在停止按钮1540的相邻区域。当终端用户在被摄物体的周边以360度方向移动的同时拍摄被摄物体时，移动终端200可以基于影像数据和传感数据，周期性地检测被摄物体的拍摄角度，并将指示检测出的所述拍摄角度的第一指示符1550显示在显示部。
在旋转图像拍摄模式下，移动终端200可以将用于引导终端用户的拍摄操作的第二指示符1560和通知信息1570显示在被摄物体1520的相邻区域。所述第二指示符1560可以由指示终端用户的拍摄方向和拍摄程度的一个以上的图标1561、1563构成。例如，第一图标1561可以形成为圆形，第二图标1563可以形成为箭头形状。
当终端用户在被摄物体的周边以360度方向移动的同时拍摄被摄物体时，移动终端200可以基于影像数据和传感数据，周期性地检测终端用户的拍摄方向和拍摄程度，并将指示检测出的所述拍摄方向和拍摄程度的第二指示符1560显示在显示部。
并且，移动终端200可以基于影像数据和传感数据的分析信息来周期性地分析终端用户的拍摄状态或者拍摄操作等，并提供根据所述分析结果的通知信息1570。例如，所述通知信息可以是‘请缓慢(快速)移动’、‘请以靠近(远离)的方式移动’、‘请降低(抬高)摄像机’、‘请不要抖动手(胳膊)’、‘请将被摄物体移动到画面中心’、‘是错误的移动方向(Wrongdirection)’、‘被摄物体脱离画面(Out of Screen)等。’
图16和图17是用于说明播放最近生成的旋转图像的移动终端的操作的参照图。
参照图16和图17，当进入摄像机模式时，移动终端200可以将预设定的用户界面1610显示在显示部。此时，用户界面1610可以包括：预览区域1611，其事先显示将要通过摄像机拍摄的被摄物体；缩略图菜单1613，其用于调出最近生成的旋转图像；及拍摄按钮菜单1615，其用于开始拍摄视频。
当终端用户选择缩略图菜单1613时，移动终端200可以将用于播放最近生成的旋转图像的用户界面1620显示在显示部。
例如，如图16的(b)所示，用户界面1620可以包括：第一菜单区域1630，其包括用于返回摄像机模式的上一个菜单1631、显示日期和时间信息的信息菜单1633、用于调用旋转图像列表的列表菜单1635等；图像显示区域1640，其用于提供与旋转图像相关的视频或者静止影像；进度条区域1650，其指示视频的进行状态；及第二菜单区域1660，其包括用于播放视频的播放菜单1661、用于编辑旋转图像的编辑菜单1663、用于共享旋转图像的共享菜单1665、用于删除旋转图像的删除菜单1667等。
如图17的(a)所示，当终端用户选择播放菜单1661时，移动终端200可以播放对应于旋转图像的视频文件并显示于显示部。因此，终端用户可以观看将特定被摄物体1040在360度方向上拍摄的视频。
当终端用户选择停止菜单1661时，移动终端200停止当前播放中的视频并将所述时间点的静止影像显示在显示部。在所述状态下，当通过显示部接收具有方向性的手势输入时，移动终端200可以将在不同方向上拍摄被摄物体的静止影像显示在显示部。
假设，如图17的(b)所示，在显示静止影像的状态下接收具有方向性的手势输入时(未示出)，移动终端200可以将从当前时间点开始到规定时间点之前或者从当前时间点开始到规定时间点之后的静止影像(即，在与当前的方向不同的方向上拍摄被摄物体的静止影像)显示在显示部。其中，移动终端200可以将指示通过手势输入旋转被摄物体的程度的指示符1670显示在显示部。
另外，如图17的(c)所示，当接收到对显示视频或者静止影像的显示部进行点击(tab)的用户的输入时(未示出)，移动终端200可以全屏(full screen)1680显示所述视频或者静止影像。
图18和图19是用于说明显示旋转图像列表的移动终端的操作的参照图。
参照图18和图19，移动终端200可以将用于播放对应于旋转图像的视频文件的用户界面1810显示在显示部。
当选择显示在用户界面1810的一个区域的列表菜单1815时，移动终端200可以将图像列表画面1820显示在显示部，所述图像列表画面包括对应于存储在存储器250的旋转图像的缩略图。
当接收到触摸(或者点击)显示在图像列表画面1820的缩略图中的任意一个1821的用户输入时，移动终端200可以选择被触摸的所述缩略图1821。其中，移动终端200可以以与其他缩略图区分的方式显示被选择的所述缩略图1821。
另外，如图19所示，接收到触摸两次(或者双击)显示在图像列表画面1820的缩略图中的任意一个1823的用户输入时，移动终端200可以将用户界面1830显示在显示部，所述用户界面用于播放对应于触摸两次的所述缩略图1823的旋转图像。所述用户界面1830的结构与图16的(b)所示的用户界面1620的结构相同，因此省略对此的详细说明。
图20是用于说明共享旋转图像的移动终端的操作的参照图。
参照图20，移动终端200可以将用于播放对应于旋转图像的视频文件的用户界面2010显示在显示部。
当选择显示在用户界面2010的一个区域的共享菜单2015时，移动终端200可以将弹出窗口2020显示在显示部，所述弹出窗口包括：应用图标，与要共享旋转图像的一个以上的SNS应用对应；及菜单图标，用于将旋转图像转换为其他文件形式。终端用户可以选择显示在弹出窗口2020的SNS应用中的至少一个来共享旋转图像。并且，终端用户可以利用显示在弹出窗口2020的菜单图标，将旋转图像转换为MP4、GIF(Graphics interchangeFormat)、Live Photo等各种文件形式。
图21是用于说明编辑旋转图像的移动终端的操作的参照图。
参照图21，移动终端200可以将用于播放对应于旋转图像的视频文件的第一用户界面2110显示在显示部。
当选择显示在第一用户界面2110的一个区域的编辑菜单2115时，移动终端200可以将用于编辑旋转图像的第二用户界面2120显示在显示部。例如，所述第二用户界面2120可以包括：第一菜单区域2130，所述第一菜单区域包括用于取消图像编辑模式的取消菜单及用于存储编辑图像的存储菜单等；图像编辑区域2140，所述图像编辑区域用于显示正在编辑的旋转图像；及第二菜单区域2150，第二菜单区域包括多个图像编辑菜单。
多个图像编辑菜单可以是自动菜单、亮度菜单(brightness)、对比菜单(contrast)、饱和度菜单(saturation)、清晰度菜单(sharpness)、色温菜单(temperature)等。终端用户可以选择多个图像编辑菜单来简便地编辑旋转图像。
图22是用于说明提供用于增强现实(Augmented Reality)的对象信息的移动终端的操作参照图。
参照图22，移动终端200可以将用于根据用户指令等播放关于特定被摄物体的旋转图像的用户界面2210显示在显示部。
移动终端200可以利用预设定的对象识别算法识别特定被摄物体。移动终端200可以访问网络等获取关于被识别的所述被摄物体的对象信息。移动终端200可以执行将关于被摄物体的对象信息2220插入旋转图像的操作。所述对象信息2220可以是被摄物体的名称、颜色信息、大小信息、价格信息、电源信息等。
图23是用于说明能够替换旋转图像的背景的移动终端的操作的参照图。
参照图23，移动终端200可以将用于根据用户指令等播放关于特定被摄物体的旋转图像的用户界面2310显示在显示部。
当通过用户界面2310的操作选择特定背景画面时，移动终端200可以将被摄物体的背景画面2320改变为所选择的所述背景画面2330。因此，终端用户可以直接确认特定被摄物体适合哪种背景。
另外，移动终端200还可以提供与旋转图像的生成和播放相关的多种功能。例如，移动终端200可以提供改善旋转图像的影像品质的功能。并且，移动终端200不仅可以提供在360度方向上拍摄的特定被摄物体的旋转图像，而且还可以提供生成如图24所示的全景图像的功能。
在旋转图像拍摄模式下，移动终端200可以基于利用深度学习(Deep learning)的对象识别算法来自动检测特定被摄物体。并且，在旋转图像拍摄模式下，移动终端200可以提取特定被摄物体的特征点，并视觉化所提取的所述特征点。
前述的本发明可以在记录有程序的介质中以计算机可读代码实现。计算机可读介质可以是持续存储计算机可运行的程序或者临时存储以用于运行或者下载。并且，介质可以是由单个或者多个硬件结合的形式的多种记录装置或者存储装置，并不限定于直接接入某些计算机系统的介质，还可以是分散存在于网络上的介质。例如，介质可以包括:如硬盘、软盘及磁带的磁介质；如CD-ROM及DVD的光记录介质；如光盘(floptical disk)的磁光介质(magneto-optical medium)；以及包括ROM、RAM、闪存存储器等而存储程序指令的结构。并且，作为其他介质的示例，可以举出流通应用的应用商店或者提供和流通其他多种软件的网站、服务器等中进行管理的记录介质以及存储介质。因此，上述的详细说明在所有方面不能限定性地进行解释，应考虑为是例示性的。本发明的范围应通过权利要求项的合理解释来确定，在本发明的等同范围内的所有变更包括在本发明的范围内。

Claims (20)

1.一种旋转图像生成方法，其包括以下步骤：
显示预览画面，所述预览画面事先显示通过摄像机输入的影像；
当选择拍摄按钮时，从所述摄像机接收关于特定被摄物体的影像帧；
利用预设定的跟踪算法跟踪存在于每个影像帧内的被摄物体；
根据所述被摄物体的位置裁剪每个影像帧的至少一部分；及
对被裁剪的所述影像帧进行稳定化。
2.根据权利要求1所述的旋转图像生成方法，其特征在于，
所述旋转图像是在特定被摄物体的周边移动的同时以360度方向拍摄相应被摄物体的视频或者静止影像。
3.根据权利要求1所述的旋转图像生成方法，其特征在于，
所述预览画面包括：第一拍摄区域，被录制成对应于旋转图像的视频文件；及第二拍摄区域，其为除所述第一拍摄区域以外的区域。
4.根据权利要求1所述的旋转图像生成方法，其进一步包括以下步骤：
将用于指定所述被摄物体的指示符显示在所述预览画面。
5.根据权利要求1所述的旋转图像生成方法，其进一步包括以下步骤：
当选择所述拍摄按钮时，分析影像数据和传感数据中的至少一种，以感测终端用户的拍摄状态；及
提供用于引导所述终端用户的拍摄操作的拍摄引导信息。
6.根据权利要求5所述的旋转图像生成方法，其特征在于，
所述拍摄引导信息包括指示终端用户的拍摄方向和拍摄程度的指示符。
7.根据权利要求1所述的旋转图像生成方法，其特征在于，
在所述跟踪步骤中，利用KCF算法和FHOG算法跟踪所述被摄物体的位置。
8.根据权利要求1所述的旋转图像生成方法，其特征在于，
在所述裁剪步骤中，裁剪每个影像帧的背景，以使被摄物体位于关于所述旋转图像的播放画面的中心区域。
9.根据权利要求1所述的旋转图像生成方法，其特征在于，
在所述稳定化步骤中，利用光流法对被裁剪的所述影像帧进行抖动校正。
10.根据权利要求9所述的旋转图像生成方法，其特征在于，
所述稳定化步骤包括以下步骤：
从被裁剪的所述影像帧提取被摄物体的特征点；及
基于相邻的影像帧之间的特征点位置信息，检测所述被摄物体的轨迹。
11.根据权利要求10所述的旋转图像生成方法，其特征在于，
所述稳定化步骤包括以下步骤：
利用轨迹平滑法来使所述被摄物体的轨迹平滑；及
对被裁剪的所述影像帧采用仿射变换来进行图像扭曲。
12.根据权利要求1所述的旋转图像生成方法，其进一步包括以下步骤：
基于稳定化的所述影像帧生成关于所述被摄物体的视频文件。
13.根据权利要求12所述的旋转图像生成方法，其进一步包括以下步骤：
以YUV格式或者MP4格式存储所述视频文件。
14.根据权利要求1所述的旋转图像生成方法，其进一步包括以下步骤：
显示对应于所述旋转图像的视频或者静止影像。
15.根据权利要求1所述的旋转图像生成方法，其进一步包括以下步骤：
利用预设定的对象识别算法识别所述被摄物体，获取关于识别到的所述被摄物体的对象信息并插入到所述旋转图像中。
16.根据权利要求1所述的旋转图像生成方法，其进一步包括以下步骤：
将所述被摄物体的背景画面替换为其他背景画面。
17.一种计算机程序，所述计算机程序存储于计算机可读记录介质中，使得利用所述计算机运行权利要求1至16中任一项所述的方法。
18.一种旋转图像生成装置，其包括：
影像帧接收部，其从一个以上的摄像机接收关于特定被摄物体的影像帧；
被摄物体跟踪部，其利用预设定的跟踪算法跟踪存在于每个影像帧内的被摄物体；
图像裁剪部，其根据所述被摄物体的位置裁剪每个影像帧的至少一部分；及
抖动校正部，其对被裁剪的所述影像帧进行稳定化。
19.根据权利要求18所述的旋转图像生成装置，其进一步包括：
数据分析部，在拍摄模式下分析影像数据和传感数据来感测终端用户的拍摄状态；及
引导信息提供部，其提供基于所述终端用户的拍摄状态的拍摄引导信息。
20.根据权利要求18所述的旋转图像生成装置，其进一步包括：
文件生成部，其基于稳定化的所述影像帧生成关于所述被摄物体的视频文件；及
文件播放部，其提供对应于所述旋转图像的视频或者静止影像。
CN201810889661.2A 2018-08-07 2018-08-07 旋转图像生成方法及其装置 Active CN110830704B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810889661.2A CN110830704B (zh) 2018-08-07 2018-08-07 旋转图像生成方法及其装置
KR1020180092800A KR102128955B1 (ko) 2018-08-07 2018-08-09 스핀 이미지 생성 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810889661.2A CN110830704B (zh) 2018-08-07 2018-08-07 旋转图像生成方法及其装置

Publications (2)

Publication Number Publication Date
CN110830704A true CN110830704A (zh) 2020-02-21
CN110830704B CN110830704B (zh) 2021-10-22

Family

ID=69534091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810889661.2A Active CN110830704B (zh) 2018-08-07 2018-08-07 旋转图像生成方法及其装置

Country Status (2)

Country Link
KR (1) KR102128955B1 (zh)
CN (1) CN110830704B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205515A (zh) * 2020-09-18 2022-03-18 荣耀终端有限公司 一种视频的防抖处理方法及电子设备
WO2022206589A1 (zh) * 2021-03-29 2022-10-06 华为技术有限公司 一种图像处理方法以及相关设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102498383B1 (ko) * 2021-09-24 2023-02-10 숭실대학교산학협력단 전방위 3d 영상의 필터링을 위한 대표 프레임 추출 방법
CN116614706A (zh) * 2023-05-19 2023-08-18 北京源音文创科技股份有限公司 一种旋转拍摄中画面实时自适应保持水平的方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234128A (zh) * 1996-08-29 1999-11-03 三洋电机株式会社 特征信息附予方法、物体抽取方法、立体模型生成方法及其装置
CN1654922A (zh) * 2003-09-25 2005-08-17 西门子测听技术有限责任公司 环视扫描仪
US20100053322A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd Detecting ego-motion on a mobile device displaying three-dimensional content
CN102027504A (zh) * 2008-03-21 2011-04-20 谷歌公司 轻量级三维显示
US20120242780A1 (en) * 2009-10-09 2012-09-27 Noriyuki Yamashita Image processing apparatus and method, and program
CN103379267A (zh) * 2012-04-16 2013-10-30 鸿富锦精密工业（深圳）有限公司 三维空间图像的获取系统及方法
CN104335243A (zh) * 2012-05-18 2015-02-04 汤姆逊许可公司 处理全景画面
CN106371782A (zh) * 2015-07-21 2017-02-01 Lg电子株式会社 移动终端及其控制方法
CN107580693A (zh) * 2015-05-08 2018-01-12 Lg电子株式会社 移动终端及其控制方法
CN107707817A (zh) * 2017-09-27 2018-02-16 维沃移动通信有限公司 一种视频拍摄方法及移动终端
CN108012559A (zh) * 2015-03-27 2018-05-08 奥伯维尔斯工程有限公司 自动三维模型生成

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893870B1 (ko) * 2007-06-26 2009-04-20 학교법인 한국산업기술대학 3차원의 카탈로그 제작 시스템
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234128A (zh) * 1996-08-29 1999-11-03 三洋电机株式会社 特征信息附予方法、物体抽取方法、立体模型生成方法及其装置
CN1654922A (zh) * 2003-09-25 2005-08-17 西门子测听技术有限责任公司 环视扫描仪
CN102027504A (zh) * 2008-03-21 2011-04-20 谷歌公司 轻量级三维显示
US20100053322A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd Detecting ego-motion on a mobile device displaying three-dimensional content
US20120242780A1 (en) * 2009-10-09 2012-09-27 Noriyuki Yamashita Image processing apparatus and method, and program
CN103379267A (zh) * 2012-04-16 2013-10-30 鸿富锦精密工业（深圳）有限公司 三维空间图像的获取系统及方法
CN104335243A (zh) * 2012-05-18 2015-02-04 汤姆逊许可公司 处理全景画面
CN108012559A (zh) * 2015-03-27 2018-05-08 奥伯维尔斯工程有限公司 自动三维模型生成
CN107580693A (zh) * 2015-05-08 2018-01-12 Lg电子株式会社 移动终端及其控制方法
CN106371782A (zh) * 2015-07-21 2017-02-01 Lg电子株式会社 移动终端及其控制方法
CN107707817A (zh) * 2017-09-27 2018-02-16 维沃移动通信有限公司 一种视频拍摄方法及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方沁: "《 基于Unity和3dmax的虚拟实验室三维建模设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205515A (zh) * 2020-09-18 2022-03-18 荣耀终端有限公司 一种视频的防抖处理方法及电子设备
CN114205515B (zh) * 2020-09-18 2023-04-07 荣耀终端有限公司 一种视频的防抖处理方法及电子设备
US11750926B2 (en) 2020-09-18 2023-09-05 Honor Device Co., Ltd. Video image stabilization processing method and electronic device
WO2022206589A1 (zh) * 2021-03-29 2022-10-06 华为技术有限公司 一种图像处理方法以及相关设备

Also Published As

Publication number Publication date
KR20200016702A (ko) 2020-02-17
KR102128955B1 (ko) 2020-07-03
CN110830704B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US20210256773A1 (en) Video clip object tracking
AU2021254567B2 (en) User interfaces for capturing and managing visual media
CN110830704B (zh) 旋转图像生成方法及其装置
CN106575361B (zh) 提供视觉声像的方法和实现该方法的电子设备
US8379098B2 (en) Real time video process control using gestures
AU2022221466B2 (en) User interfaces for capturing and managing visual media
KR102490438B1 (ko) 디스플레이 장치 및 그 제어 방법
US20160253298A1 (en) Photo and Document Integration
JP6555026B2 (ja) 情報提供システム
CN112492215B (zh) 拍摄控制方法、装置和电子设备
CN111901658A (zh) 评论信息显示方法、装置、终端及存储介质
CN112383808A (zh) 视频播放方法、装置、终端及存储介质
US8244005B2 (en) Electronic apparatus and image display method
US8711247B2 (en) Automatically capturing images that include lightning
US20140111678A1 (en) Method and system for capturing, storing and displaying animated photographs
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
CN114125531B (zh) 视频预览方法、装置、终端及存储介质
CN113613053B (zh) 视频推荐方法、装置、电子设备及存储介质
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
TWI762830B (zh) 透過擴增實境給予提示以播放接續影片之系統及方法
CN114268801A (zh) 媒体信息处理方法、媒体信息呈现方法和装置
KR101611308B1 (ko) 이미지 촬영방법
CN117395462A (zh) 媒体内容的生成方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant