CN103686270A - 基于用户交互输入的影像显示方法及相关的影像显示系统 - Google Patents

基于用户交互输入的影像显示方法及相关的影像显示系统 Download PDF

Info

Publication number
CN103686270A
CN103686270A CN201310285619.7A CN201310285619A CN103686270A CN 103686270 A CN103686270 A CN 103686270A CN 201310285619 A CN201310285619 A CN 201310285619A CN 103686270 A CN103686270 A CN 103686270A
Authority
CN
China
Prior art keywords
image
candidate
unit
deformation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310285619.7A
Other languages
English (en)
Other versions
CN103686270B (zh
Inventor
郑嘉珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co ltd
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103686270A publication Critical patent/CN103686270A/zh
Application granted granted Critical
Publication of CN103686270B publication Critical patent/CN103686270B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

本发明提供一种影像显示方法及相关的影像显示系统。该影像显示方法包含：决定至少第一部分影像，并依据该第一部分影像驱动显示装置，其中该至少第一部分影像对应于从多个影像中直接选定的第一影像的一部分；依据用户交互输入，决定第二部分影像，该第二部分影像对应于从该多个影像中直接选定的第二影像的一部分；以及依据至少该第二部分影像，驱动该显示装置；其中，该第一影像及该第二影像在空间上相关联，且该第一影像及该第二影像的每一个的视野大于该显示装置画面的视野。本发明可在显示屏幕上呈现无缝合瑕疵的影像，并根据人机互动的输入，浏览于多张影像之间。

Description

基于用户交互输入的影像显示方法及相关的影像显示系统
【技术领域】
本发明关于显示影像的内容，尤其关于一种基于用户交互输入的影像显示（image viewing）方法及相关的影像显示系统。
【背景技术】
用户可使用影像采集（capture）装置（例如，移动设备的数字摄像模块）来采集一连串的输入影像。一种传统方法可将多个输入影像结合成一个单一影像，接着将该单一影像的所有影像内容显示给用户。然而，该影像结合过程会丢失输入影像的许多原始信息。举例来说，某些输入影像的光度测定信息（photometry information）（例如曝光、亮度及颜色）、几何信息（例如闭塞区域（occlusion region）、以及由于不同视角（viewpoint）的几何变形）、以及运动对象（例如前景行人（foreground pedestrian）及/或车辆）可能丢失。而且，影像结合过程会引入不想要的几何及光度失真（photometric artifact）。此外，由于结合多个输入影像至单一影像需要复杂的计算，因此影像结合过程耗时且不适用于运算能力不足的移动设备。
因此，有需要发展一种新的快速影像检视器（image viewer），能够保留输入影像的所有信息且不会引入缝合失真（stitching artifact）。
【发明内容】
有鉴于此，本发明提供一种影像显示方法及相关的影像显示系统。
依据本发明第一实施例提供一种示范性影像显示方法，包含：至少决定第一部分影像，并依据该第一部分影像驱动显示装置，其中该至少第一部分影像对应于从多个影像中直接选定的第一影像的一部分；依据用户交互输入，决定第二部分影像，该第二部分影像对应于从该多个影像中直接选定的第二影像的一部分；以及至少依据该第二部分影像，驱动该显示装置；其中，该第一影像及该第二影像在空间上相关联，且该第一影像及该第二影像的每一个的视野大于该显示装置画面的视野。
依据本发明第二实施例提供一种示范性影像显示系统，包含：输出单元、用户输入接收单元、影像选择单元、影像裁剪单元。输出单元，被设置为依据该第一部分影像驱动显示装置，其中该第一部分影像对应于从多个影像中直接选定的第一影像的一部分。用户输入接收单元被设置为接收用户交互输入。影像选择单元，被设置为依据该用户交互输入，从该多个影像中直接选定第二影像。影像裁剪单元，被设置为依据该用户交互输入决定第二部分影像，该第二部分影像对应于该第二影像的一部分。该输出单元还被设置为至少依据该第二部分影像驱动该显示装置。该第一影像及该第二影像在空间上相关联，且该第一影像及该第二影像的每一个的视野大于该显示装置画面的视野。
上述影像显示方法及相关的影像显示系统可在显示屏幕上呈现无人为/缝合失真的影像。
【附图说明】
图1为依据本发明第一实施例的影像显示系统的方块图。
图2为依据本发明的影像选择单元执行的影像选择/交换操作的范例。
图3为依据本发明实施例的立体快速检视器的概念的示意图。
图4为依据本发明第二实施例的影像显示系统的方块图。
图5为依据本发明第三实施例的影像显示系统的方块图。
图6为依据本发明第四实施例的影像显示系统的方块图。
【具体实施方式】
在说明书及权利要求当中使用了某些词汇来指称特定的元件。本领域中技术人员应可理解，电子装置制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”为开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接到第二装置，则代表该第一装置可直接电气连接于该第二装置，或通过其他装置或连接手段间接地电气连接至该第二装置。
本发明的主要概念是探测多影像数据集（multi-image dataset）而不合并/结合输入影像。举例来说，保留输入影像的所有信息，以及依据用户交互从多个输入影像的一个选定影像中裁剪（crop）出一个局部区域。这样，由于省略了传统的影像结合过程，可实现快速的影像检视器。简单地说，本发明提出的影像显示技术可用于各种应用中，包括移动设备（例如移动电话）上的快速2D/3D检视器，在全景（panorama）、用户交互2D/3D全景、用户交互高动态范围（highdynamic range，HDR）全景以及立体视觉效果中的2D/3D多角度视角（multi-angleview，MAV）。本发明的影像显示技术更多细节描述如下。
图1为依据本发明第一实施例的影像显示系统的方块图。影像显示系统100可在移动设备例如移动电话中实现。然而，这并非本发明的限制。就是说，任何使用本发明提出的能保留输入影像所有信息且不会引入缝合失真的影像显示技术的设备，都落入本发明的范围。如图1所示，影像显示系统100包含，但不限于，影像采集装置102、运动分析装置104、存储装置105、用户交互处理装置106、以及显示装置108。影像采集装置102用于产生多个输入影像IMG_IN，并包含影像采集单元122及可选的运动传感器124。在一实施例中，影像采集单元122为单一传感器（single-sensor）摄像机，被用户用来依据随机采集方式或指导采集方式（例如手持扫描（hand-held sweep）运动模式或具有预览指导的绘制模式）来采集多个影像，例如输入影像IMG_IN。举例来说，用户移动影像采集单元122位于其中的移动设备（例如移动电话），并使用影像采集单元122分别在不同的时间点来采集输入影像IMG_IN。在另一实施例中，影像采集单元122为多传感器（multi-sensor）摄像机（例如立体摄像机系统或摄像机阵列系统），被用户用来采集多个影像当作输入影像IMG_IN。举例来说，用户移动影像采集单元122位于其中的移动设备（例如移动电话），并使用影像采集单元122来同时采集多个影像多次，从而得到输入影像IMG_IN。
请注意，运动传感器124可以是可选组件。在实施运动传感器124的例子中，运动传感器124的输出提供输入影像IMG_IN的运动信息INFm。换句话说，每一采集影像相关的运动状态由运动传感器124的输出指示。因此，运动传感器124的输出提供的运动信息INFm可被后续的影像处理阶段直接使用，从而节省了额外的运动估计。
运动分析装置104包含运动信息获取（acquisition）单元222及影像对准（alignment）分析单元224。在实施运动传感器124的例子中，运动信息获取单元222接收运动传感器124的输出，该运动传感器124位于产生输入影像IMG_IN的影像采集装置102中，从而获得影像对准分析单元224需要的运动信息INFm。在影像采集装置102省略运动传感器124的另一例子中，运动信息获取单元222用于对输入影像IMG_IN执行三维（3D）运动分析，从而获得影像对准分析单元224需要的运动信息INFm。
由于影像采集装置102上的单一影像传感器的运动及/或相同影像采集装置102上的多个影像传感器的运动，输入影像在不同的视角被采集，因此该实施例中的影像对准分析单元224被实施来对输入影像IMG_IN执行影像对准分析，以获得影像对准信息INFa。运动信息INFm指示输入影像IMG_IN之间的差异。举例来说，影像对准分析单元224被设置为通过使用基于对象（object-based）的对准算法或参考运动信息INFm的特征提取及匹配算法来执行局部影像对准分析。由于一个输入影像内的每一局部影像区域相关的对准信息通过局部影像对准分析获得，因此允许后续影像处理阶段采用局部影像处理机制来实现较好的视觉品质。举例来说，依据携带局部影像对准分析结果的影像对准信息INFa，可执行局部影像形变（warping）操作。
在此实施例中，存储装置105用于储存影像信息（即输入影像IMG_IN）及辅助信息（即影像对准信息INFa）。举例来说，多影片对象（multi-picture，MPO）容器可用于储存多个影像及各自的辅助信息。然而，这仅用于说明目的，并非本发明的限制。
在本发明实施例中，用户交互处理装置106为本发明提出的用户交互多影像快速检视器的核心部分，该用户交互多影像快速检视器不将多个输入影像IMG_IN合并/组合至单一影像。如图1所示，用户交互处理装置106包含用户输入接收单元231、影像选择单元232、影像形变单元234、影像裁剪（cropping）单元236以及输出单元238。用户输入接收单元231被设置为接收用户交互输入USER_IN。假设在智能手机中实施影像显示系统100，因应用户的手指或触针与触控面板的交互可产生用户交互输入USER_IN，或因应用户移动/旋转智能手机导致的运动传感器124的运动/旋转可产生用户交互输入USER_IN。
由于本发明没有将多个输入影像IMG_IN合并/组合成一个单一影像，且每一输入影像的视野（field of view，FOV）大于显示装置108画面的视野（例如，每一输入影像（例如2M，3M，5M，8M，12M或以上）的影像分辨率高于显示装置108的显示分辨率（例如VGA，480P，540P，720P甚至1080P）），因此需要影像选择/交换（swapping）操作来决定应该使用输入影像IMG_IN中的哪一个，以及需要影像裁剪操作来提取对应于选定输入影像中的选定局部区域的部分影像（partial image）。此外，也可执行影像形变操作来优化视觉品质。在此实施例中，影像选择单元232负责执行影像选择/交换操作，影像裁剪单元236负责执行影像裁剪操作，以及影像形变单元234负责执行影像形变操作。
请参考图2，其为影像选择单元232执行的影像选择/交换操作的范例。开始时，影像选择单元232无须用户介入自动选择多个输入影像IMG_IN其中之一作为默认影像。在一实施例中，可选择输入影像IMG_IN的第一个作为最初显示的默认影像；在另一实施例中，可选择输入影像IMG_IN的中间一个作为最初显示的默认影像。就是说，可选择任意输入影像作为默认影像，取决于实际设计需求/考量。假设最初选择图2所示的输入影像IMGN作为默认影像。从图2可以看到，下面连续的输入影像IMGN+1,IMGN+2,IMGN+3与输入影像IMGN空间上相关联。换句话说，从空间上互相重叠的场景中采集输入影像IMGN,IMGN+1,IMGN+2,IMGN+3。此外，无须用户介入也可最初从默认影像（即输入影像IMGN）中选择/裁剪局部区域。在此实施例中，选择输入影像IMGN的部分A1，这样对应于输入影像IMGN的部分A1的部分影像F1就显示在显示装置108的显示屏幕上。
当用户想要在低分辨率显示屏幕上查看所采集的高分辨率输入影像IMG_IN的不同局部区域时，用户会移动手指/触针来控制影像选择。应注意的是，每一个所采集的输入影像IMG_IN具有一个原始视野，对应于选定局部区域的部分影像的视野小于原始视野，以及每一输入影像的原始视野大于显示屏幕的视野。如图2所示，用户向右移动手指/触针，且对应的用户交互输入USER_IN被用户输入接收单元231接收。为了实现视觉优化，影像选择单元232可采用选择策略来决定选定输入影像以因应用户交互。在一示范性设计中，采用的选择策略专注于依据影像几何来最小化影像交换的频率。因此，影像选择单元232依据用户交互输入USER_IN及影像对准信息INFa来从输入影像IMG_IN中寻找多个候选影像，其中如影像对准信息INFa所指示，当前影像及候选影像在空间上相关联，且每一候选影像具有对应于用户交互输入USER_IN的候选部分。接下来，影像选择单元232参考候选影像的候选部分的位置来选择候选影像的其中之一作为选定影像。关于图2所示的范例，决定输入影像IMGN+1-IMGN+3作为候选影像，因为这些输入影像IMGN+1-IMGN+3具有用户交互输入USER_IN指向的候选部分A2,A3,A4。检查候选部分A2,A3,A4的位置以决定输入影像IMGN+1-IMGN+3的哪一个能够最小化影像交换的频率。具体地说，影像选择单元232选定具有最接近影像中心的候选部分的候选影像，是由于这一选定的候选影像会有局部区域的均衡分布，该局部区域位于选定候选部分的两边。因此，从图2可以看到，影像选择单元232依据该选择策略将选择输入影像IMGN+2，且对应于输入影像IMGN+2的选定部分A3的部分影像F2显示在显示装置108的显示屏幕上。
在另一示范性设计中，所采用的选择策略专注于依据影像相似性来最小化影像交换之间的视觉转换（visual transition）。因此，影像选择单元232依据用户交互输入USER_IN及影像对准信息INFa来从输入影像IMG_IN中寻找多个候选影像，其中如影像对准信息INFa所指示，当前影像及候选影像在空间上相关联，且每一候选影像具有对应于用户交互输入USER_IN的候选部分。接下来，影像选择单元232参考当前影像的当前部分与候选影像的候选部分之间的差异来选择候选影像的其中之一作为选定影像。关于图2所示的范例，决定输入影像IMGN+1-IMGN+3作为候选影像，因为这些输入影像IMGN+1-IMGN+3具有用户交互输入USER_IN指向的候选部分A2,A3,A4。检查输入影像IMGN的部分A1与输入影像IMGN+1-IMGN+3的部分A2,A3,A4之间的差异，以决定输入影像IMGN+1-IMGN+3的哪一个能够最小化影像交换之间的视觉转换。具体地说，影像选择单元232选定在候选部分与当前影像的当前部分之间具有最小差异的候选影像，是由于这一选定影像具有的选定部分最相似于当前影像的当前部分。假设输入影像IMGN+1的部分A2最相似于输入影像IMGN的部分A1，影像选择单元232依据该选择策略将选择输入影像IMGN+1，且对应于输入影像IMGN+1的选定部分A2的部分影像F2显示在显示装置108的显示屏幕上。
应注意的是，当影像对准信息INFa指示用户交互输入USER_IN要求的不同的局部区域仍然在当前影像（即输入影像IMGN）之内时，不需要影像交换/切换。因此，影像选择单元232会选择当前影像（即输入影像IMGN）以因应用户交互输入USER_IN。
在此实施例中，影像形变单元234耦接于影像裁剪单元236与影像选择单元232之间，并设置为依据局部影像对准分析获得的影像对准信息INFa，对选定候选影像的选定候选部分执行局部影像形变操作（即在线影像形变操作），并相应地产生选定候选影像的形变部分。然后，影像裁剪单元236依据选定候选影像的形变部分来决定部分影像。应注意的是，影像形变单元234执行的局部影像形变操作能够提高视觉品质。
关于输出单元238，其被设置为驱动显示装置108显示最初决定的默认部分影像（例如F1），或者显示因应用户交互动态决定的每一部分影像（例如F2）。在一实施例中，输出单元238通过使用直接绘制方式可提供（render）裁剪区域。在另一实施例中，显示装置108通过使用双缓冲（dual buffering）技术可提供裁剪区域，从而依据用户交互走向来预测并预加载（pre-loading）被交换的影像候选。这样一来，提高了提供裁剪区域的效率。
除了二维（2D）播放应用，影像显示系统100可支持三维（3D）播放应用。换句话说，显示装置108可配备3D显示面板来呈现从多个输入影像IMG_IN中直接选定的一个输入影像的左视角（left-view）部分影像以及从该多个输入影像IMG_IN中直接选定的另一输入影像的右视角（right-view）部分影像。请参考图3，其为依据本发明实施例的立体快速检视器的概念的示意图。假设通过移动影像采集装置102连续产生五个索引值为1-5的输入影像IMG1-IMG5。在第一时间期间T1，影像对，包含输入影像IMG1作为左视角影像以及输入影像IMG2作为右视角影像，被显示用于3D播放；在第二时间期间T2，影像对，包含输入影像IMG2作为左视角影像以及输入影像IMG3作为右视角影像，被显示用于3D播放；在第三时间期间T3，影像对，包含输入影像IMG3作为左视角影像以及输入影像IMG4作为右视角影像，被显示用于3D播放；以及在第四时间期间T4，影像对，包含输入影像IMG4作为左视角影像以及输入影像IMG5作为右视角影像，被显示用于3D播放。当被显示时，输入影像IMG1&IMG2中相同对象的差异（水平像素差异）会造成该对象的深度感觉（depth perception）。类似地，当被显示时，输入影像IMG2&IMG3中相同对象的差异（水平像素差异）会造成该对象的深度感觉；当被显示时，输入影像IMG3&IMG4中相同对象的差异（水平像素差异）会造成该对象的深度感觉；以及当被显示时，输入影像IMG4&IMG5中相同对象的差异（水平像素差异）会造成该对象的深度感觉。因此，关于3D播放应用，影像选择单元232会选择两个输入影像（其可在不同时间点由单一影像传感器采集或在同一时间由两个影像传感器采集），以允许影像裁剪单元236从一个选定输入影像中获得一个部分影像作为左视角影像以及从另一选定输入影像中获得另一部分影像作为右视角影像。由于与左视角影像或右视角影像有关的该影像选择操作的原理类似于图2所示的范例，因此进一步的描述在此省略以求简洁。
举例来说，用户交互控制可包含影像平移（image translation）、3D前推入屏幕（push forward into screen）/拉出屏幕（pull in out of screen），以及放大/缩小差异控制（disparity control）。在一示范性实施例中，平移由用户在触控面板上的触摸及拖动动作来控制，3D前推入屏幕/拉出屏幕由用户的两根手指在触控面板上的触摸及上拖/下拖动作来控制，以及放大/缩小差异控制由用户的两根手指在触控面板上的触摸及上移/下移动作来控制。在另一示范性实施例中，平移通过旋转移动设备（运动传感器124位于其中）来控制，3D前推入屏幕/拉出屏幕通过前移/后移移动设备（运动传感器124位于其中）来控制，以及放大/缩小差异控制由用户的一根手指在触控面板上的触摸及上移/下移动作来控制。
上述平移及3D前推入屏幕/拉出屏幕不包含任何影像缩放（image scaling），而放大/缩小差异控制会执行影像缩放。当用户交互输入USER_IN是为3D播放控制影像平移时，用户交互处理装置106仅仅将两个输入影像的一个选定影像改变为两个输入影像的另一个选定影像。举例来说，请参考图3，当输入影像IMG1及IMG2当前被用于为3D播放设定左视角影像及右视角影像时，由于用户交互输入USER_IN，可选择输入影像IMG3及IMG4，并用于为3D播放设定左视角影像及右视角影像。当用户交互输入USER_IN是控制3D前推入屏幕/拉出屏幕时，用户交互处理装置106将两个输入影像的当前选择中包含的一个输入影像替换为另一个输入影像，从而改变基线/差异。举例来说，参考图3，当输入影像IMG3及IMG4当前被用于为3D播放设定左视角影像及右视角影像时，由于用户交互输入USER_IN，输入影像IMG2、IMG3或IMG5可代替输入影像IMG4，如此一来，右视角影像被更新以改变基线/差异。或者，当输入影像IMG3及IMG4当前被用于为3D播放设定左视角影像及右视角影像时，由于用户交互输入USER_IN，输入影像IMG1、IMG2或IMG4可代替输入影像IMG3，如此一来，左视角影像被更新以改变基线/差异。
当用户交互输入USER_IN是控制放大/缩小差异控制时，用户交互处理装置106不得不调整输入影像的尺寸。因此，输入影像有关的差异会相应地被调整。为了避免差异被显著地改变，影像选择单元232可改变两个输入影像之一的选择，及/或影像裁剪单元236可依据两个输入影像之一中的不同的局部区域来获得部分影像。
除了上述影像处理操作外，用户交互处理装置106还可应用其他在线影像处理操作用于影像增强（image enhancement）。举例来说，输出单元238可执行增强的影像处理操作用于前景锐化（foreground sharpen）及背景模糊（backgroundblur）；执行增强的影像处理操作用于3D MAV/全景的边缘增强；执行增强的影像处理操作用于高动态范围MAV/全景的细节增强；及/或执行增强的影像处理操作用于3D视觉效果增强的深度边界锐化。此外，影像选择单元232可执行增强的影像处理操作用于控制差异在视觉舒适区内以实现真实的自动会聚（autoconvergence）。
关于图1所示的影像显示系统100，影像对准分析单元224被设置为执行局部影像对准分析，且影像形变单元236被设置为执行局部影像形变操作。在一设计变化中，影像显示系统100可被修改为执行总体（global）影像对准分析及总体影像形变操作。请参考图4，其为依据本发明第二实施例的影像显示系统的方块图。影像显示系统400可在移动设备例如移动电话中实施。在此实施例中，运动分析装置404包含影像对准分析单元424、影像形变单元434以及上述运动信息获取单元222。用户交互处理装置406包含影像选择单元432、上述用户输入接收单元231、影像裁剪单元236以及输出单元238。影像对准分析单元424被实施为对多个输入影像IMG_IN执行总体影像对准分析，以获得影像对准信息INFa。在此实施例中，影像对准分析单元424通过使用运动估计或单应性变换（homography transformation），可执行总体影像对准分析。由于每一输入影像的整体影像区域相关的对准信息由总体影像对准分析得到，从而允许后续的影像处理阶段采用总体影像处理机制。举例来说，依据通过影像对准信息INFa携带的总体影像对准分析结果，可执行总体影像形变操作。因此，此实施例中的影像形变单元434被设置为在分析阶段对每一输入影像IMG_IN执行总体影像形变操作（即离线影像形变操作），并相应地产生多个形变的输入影像IMG_IN’用于进一步的处理。
在此实施例中，存储装置105用于储存影像信息（即形变的输入影像IMG_IN’）及辅助信息（例如影像对准信息INFa）。举例来说，可采用多影片对象容器储存多个影像及各自的辅助信息。因此，后面的用户交互处理装置406可从该存储装置105获得想要的数据。
影像选择单元232及432之间的差异在于，影像选择单元432依据用户交互输入USER_IN及影像对准信息INFa（携带总体影像对准分析结果），从形变的输入影像IMG_IN’中决定一个选定影像用于2D播放，并依据用户交互输入USER_IN及影像对准信息INFa（携带总体影像对准分析结果），从形变的输入影像IMG_IN’中决定两个选定影像用于3D播放。
本领域的技术人员在阅读了上述段落后可轻易理解图4所示每一组件的功能及操作，为求简洁，进一步的描述在此省略。
在本发明另一实施例中，总体影像对准分析及局部影像对准分析都可被执行，从而允许后续影像处理阶段既可采用总体影像处理机制，也可采用局部影像处理机制。请参考图5，其为依据本发明第三实施例的影像显示系统的方块图。影像显示系统500可在移动设备例如移动电话中实现。在此实施例中，运动分析装置504包含影像对准分析单元524、上述影像形变单元434及运动信息获取单元222。用户交互处理装置506包含影像选择单元532、上述用户输入接收单元231、影像形变单元234、影像裁剪单元236及输出单元238。此实施例中的影像对准分析单元524被实施用于对输入影像IMG_IN执行影像对准分析，以获得影像对准信息INFa。更具体地，影像对准分析单元524被设计为执行局部影像对准分析（例如基于对象的对准或变形转换（deformable transformation））及/或总体影像对准分析（例如相似性或单应性变换）。因此，影像对准信息INFa会包含从局部影像对准分析得到的信息及从总体影像对准分析得到的信息。影像形变单元434可使用从总体影像对准分析得到的信息，且影像选择单元532及影像形变单元234可使用从局部影像对准分析得到的信息。由于在此实施例中总体影像形变及局部影像形变都被执行，因此视觉品质可被大大增强。
影像选择单元532及432之间的差异在于，影像选择单元532依据用户交互输入USER_IN及通过影像对准信息INFa携带的局部影像对准分析结果，从形变的输入影像IMG_IN’中决定一个选定影像用于2D播放，并依据用户交互输入USER_IN及通过影像对准信息INFa携带的局部影像对准分析结果，从形变的输入影像IMG_IN’中决定两个选定影像用于3D播放。
本领域的技术人员在阅读了上述段落后可轻易理解图5所示每一组件的功能及操作，为求简洁，进一步的描述在此省略。
上述影像显示系统100/400/500可使用纯硬件来实现。或者，上述影像显示系统100/400/500的至少一部分（即，一部分或全部）可使用基于软件的手段来实现。请参考图6，其为依据本发明第四实施例的影像显示系统的方块图。影像显示系统600可在移动设备例如移动电话中实现。如图6所示，影像显示系统600包含处理器602、机器可读媒体604、上述影像采集装置102及显示装置108。机器可读媒体604可以是存储器设备，例如非易失性存储器。机器可读媒体604充当存储装置105，还储存程式码PROG（例如移动设备的固件）。当被处理器602载入并执行时，程式码PROG指示处理器602执行上述运动分析装置104/404/504及用户交互处理装置106/406/506的操作。因此，实现了提供用户交互多影像快速检视器的相同目的。本领域的技术人员在阅读了上述段落后可轻易理解影像显示系统600的细节，为求简洁，进一步的描述在此省略。
关于图6所示的影像显示系统600，处理器602执行程式码PROG来实现运动分析装置104/404/504及用户交互处理装置106/406/506。然而，这仅用于说明目的，并非本发明的限制。在另一设计变化中，运动分析装置104/404/504及用户交互处理装置106/406/506内的组件的至少其一可使用纯硬件来实现，运动分析装置104/404/504及用户交互处理装置106/406/506内剩余组件可使用处理器602执行程式码PROG来实现。举例来说，影像显示系统600可被修改为具有使用纯硬件实现的影像对准分析单元224/424/524。这也属于本发明的范围。
影像显示系统100/400/500/600采用的影像显示方法的核心特征可简要总结为具有至少以下步骤：决定对应于第一影像的一部分的至少第一部分影像，该第一影像从多个影像中直接选定，并依据该第一部分影像驱动显示装置；依据用户交互输入，决定对应于第二影像的一部分的第二部分影像，该第二影像从多个影像中直接选定；并依据至少第二部分影像驱动显示装置。第一影像及第二影像在空间上相关联，且每一第一影像及第二影像的视野大于显示装置画面的视野。
总之，所提出的影像显示系统及方法允许用户在整个高分辨率/高视野影像中手动选择任意想要的局部区域并在低分辨率/低视野显示屏幕上看到想要的局部区域，其中，影像没有被合并/组合成一个单一影像，从而保留了所有的影像几何信息及光度测定信息。这样一来，用户能够感觉像是在用户介面上操作单一影像，在不同影像之间自动切换以因应用户交互。此外，通过所提出的影像显示系统100/400/500/600实现的简单有效的用户交互多影像快速检视器，无失真、无缝合瑕疵（artifact-free）的影像在显示屏幕上呈现出来，并可根据人机互动的输入，浏览于多张影像之间。
虽然本发明已以具体实施例揭露如上，然其仅为了易于说明本发明的技术内容，而并非将本发明狭义地限定于该实施例，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视本发明的权利要求所界定者为准。

Claims (26)

1.一种影像显示方法，包含：
决定至少第一部分影像，并依据该第一部分影像驱动显示装置，其中该第一部分影像对应于从多个影像中直接选定的第一影像的一部分；
依据用户交互输入，决定第二部分影像，该第二部分影像对应于从该多个影像中直接选定的第二影像的一部分；以及
至少依据该第二部分影像，驱动该显示装置；
其中，该第一影像及该第二影像在空间上相关联，且该第一影像及该第二影像的每一个的视野大于该显示装置画面的视野。
2.如权利要求1所述的影像显示方法，其特征在于，当该第一影像是从该多个影像中最初选定的影像时，无须用户介入，自动决定该第一影像。
3.如权利要求1所述的影像显示方法，其特征在于，决定该第二部分影像的步骤包含：
从该多个影像中寻找多个候选影像，其中该第一影像及该候选影像在空间上相关联，且每一候选影像具有对应于该用户交互输入的候选部分；以及
参考该候选影像的候选部分的位置，选定该候选影像的其中之一作为该第二影像。
4.如权利要求3所述的影像显示方法，其特征在于，选定具有最接近影像中心的候选部分的候选影像作为该第二影像。
5.如权利要求1所述的影像显示方法，其特征在于，决定该第二部分影像的步骤包含：
从该多个影像中寻找多个候选影像，其中该第一影像及该候选影像在空间上相关联，且每一候选影像具有对应于该用户交互输入的候选部分；以及
参考该第一影像的该部分与该候选影像的候选部分之间的差异，选定该候选影像的其中之一作为该第二影像。
6.如权利要求5所述的影像显示方法，其特征在于，选定在候选部分与该第一影像的该部分之间具有最小差异的候选影像作为该第二影像。
7.如权利要求1所述的影像显示方法，其特征在于，决定该第二部分影像的步骤包含：
对该第二影像的该部分执行局部影像形变操作，产生该第二影像的形变部分；以及
依据该第二影像的该形变部分，决定该第二部分影像。
8.如权利要求7所述的影像显示方法，其特征在于，决定该第二部分影像的步骤还包含：
对该多个影像执行局部影像对准分析，获得影像对准信息；
其中，通过参考该影像对准信息执行该局部影像形变操作。
9.如权利要求8所述的影像显示方法，其特征在于，决定该第二部分影像的步骤还包含：
通过以下步骤获得该多个影像的运动信息：
对该多个影像执行三维运动分析；或
接收运动传感器的输出，该运动传感器位于产生该多个影像的影像采集装置中；
其中，通过参考该运动信息执行该局部影像对准分析。
10.如权利要求1所述的影像显示方法，其特征在于，该影像显示方法还包含：
通过对多个影像的每一个影像执行总体影像形变操作，产生多个形变的影像。
11.如权利要求10所述的影像显示方法，其特征在于，该影像显示方法还包含：
对该多个影像执行总体影像对准分析，获得影像对准信息；
其中，通过参考该影像对准信息执行该总体影像形变操作。
12.如权利要求11所述的影像显示方法，其特征在于，包含：
通过以下步骤获得该多个影像的运动信息：
对该多个影像执行三维运动分析；或
接收运动传感器的输出，该运动传感器位于产生该多个影像的影像采集装置中；
其中，通过参考该运动信息执行该总体影像对准分析。
13.如权利要求1所述的影像显示方法，其特征在于，该第一部分影像及第三部分影像显示在该显示装置上用于三维播放，该第三部分影像对应于从该多个影像中直接选定的第三影像的一部分；该影像显示方法还包含：
依据该用户交互输入，决定第四部分影像，该第四部分影像对应于从该多个影像中直接选定的第四影像的一部分；以及
至少依据该第二部分影像驱动该显示装置的步骤包含依据该第二部分影像及该第四部分影像驱动该显示装置用于三维播放，其中该第三影像及该第四影像为空间上相关联，且该第三影像及该第四影像的每一个的视野大于该显示装置画面的视野。
14.一种影像显示系统，包含：
输出单元，被设置为依据第一部分影像驱动显示装置，其中该第一部分影像对应于从多个影像中直接选定的第一影像的一部分；
用户输入接收单元，被设置为接收用户交互输入；
影像选择单元，被设置为依据该用户交互输入，从该多个影像中直接选定第二影像；
影像裁剪单元，被设置为依据该用户交互输入决定第二部分影像，该第二部分影像对应于该第二影像的一部分；
其中，该输出单元还被设置为至少依据该第二部分影像驱动该显示装置；该第一影像及该第二影像在空间上相关联，且该第一影像及该第二影像的每一个的视野大于该显示装置画面的视野。
15.如权利要求14所述的影像显示系统，其特征在于，当该第一影像是从该多个影像中最初选定的影像时，该影像选择单元自动决定该第一影像而无须用户介入。
16.如权利要求14所述的影像显示系统，其特征在于，该影像选择单元从该多个影像中寻找多个候选影像，其中该第一影像及该候选影像在空间上相关联，且每一候选影像具有对应于该用户交互输入的候选部分；以及参考该候选影像的候选部分的位置，选定该候选影像的其中之一作为该第二影像。
17.如权利要求16所述的影像显示系统，其特征在于，该影像选择单元选定具有最接近影像中心的候选部分的候选影像作为该第二影像。
18.如权利要求14所述的影像显示系统，其特征在于，该影像选择单元从该多个影像中寻找多个候选影像，其中该第一影像及该候选影像在空间上相关联，且每一候选影像具有对应于该用户交互输入的候选部分；以及参考该第一影像的该部分与该候选影像的候选部分之间的差异，选定该候选影像的其中之一作为该第二影像。
19.如权利要求16所述的影像显示系统，其特征在于，该影像选择单元选定在候选部分与该第一影像的该部分之间具有最小差异的候选影像作为该第二影像。
20.如权利要求14所述的影像显示系统，其特征在于，该影像显示系统还包含：
影像形变单元，被设置为对该第二影像的该部分执行局部影像形变操作，产生该第二影像的形变部分；
其中，该影像裁剪单元依据该第二影像的该形变部分，决定该第二部分影像。
21.如权利要求20所述的影像显示系统，其特征在于，该影像显示系统还包含：
影像对准分析单元，被设置为对该多个影像执行局部影像对准分析，获得影像对准信息；
其中，该影像形变单元通过参考该影像对准信息执行该局部影像形变操作。
22.如权利要求21所述的影像显示系统，其特征在于，该影像显示系统还包含：
运动信息获取单元，被设置为通过以下步骤获得该多个影像的运动信息：
对该多个影像执行三维运动分析；或
接收运动传感器的输出，该运动传感器位于产生该多个影像的影像采集装置中；
其中，该影像对准分析单元通过参考该运动信息执行该局部影像对准分析。
23.如权利要求14所述的影像显示系统，其特征在于，该影像显示系统还包含：
影像形变单元，被设置为通过对多个影像的每一个影像执行总体影像形变操作，产生多个形变的影像。
24.如权利要求23所述的影像显示系统，其特征在于，该影像显示系统还包含：
影像对准分析单元，被设置为对该多个影像执行总体影像对准分析，获得影像对准信息；
其中，该影像形变单元通过参考该影像对准信息执行该总体影像形变操作。
25.如权利要求24所述的影像显示系统，其特征在于，该影像显示系统还包含：
运动信息获取单元，被设置为通过以下步骤获得该多个影像的运动信息：
对该多个影像执行三维运动分析；或
接收运动传感器的输出，该运动传感器位于产生该多个影像的影像采集装置中；
其中，该影像对准分析单元通过参考该运动信息执行该总体影像对准分析。
26.如权利要求14所述的影像显示系统，其特征在于，该第一部分影像及该第三部分影像显示在该显示装置上用于三维播放，该第三部分影像对应于从该多个影像中直接选定的第三影像的一部分；该影像选择单元还依据该用户交互输入从该多个影像中直接选定第四影像；该影像裁剪单元还依据该用户交互输入决定对应于该第四影像的一部分的第四部分影像；该输出单元依据该第二部分影像及该第四部分影像驱动该显示装置用于三维播放；该第三影像及该第四影像为空间上相关联；且该第三影像及该第四影像的每一个的视野大于该显示装置画面的视野。
CN201310285619.7A 2012-09-10 2013-07-09 基于用户交互输入的影像显示方法及相关的影像显示系统 Expired - Fee Related CN103686270B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261699012P 2012-09-10 2012-09-10
US61/699,012 2012-09-10
US13/890,227 2013-05-08
US13/890,227 US9690458B2 (en) 2012-09-10 2013-05-08 Image viewing method for displaying portion of selected image based on user interaction input and related image viewing system and machine readable medium

Publications (2)

Publication Number Publication Date
CN103686270A true CN103686270A (zh) 2014-03-26
CN103686270B CN103686270B (zh) 2017-08-01

Family

ID=50234725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310285619.7A Expired - Fee Related CN103686270B (zh) 2012-09-10 2013-07-09 基于用户交互输入的影像显示方法及相关的影像显示系统

Country Status (2)

Country Link
US (1) US9690458B2 (zh)
CN (1) CN103686270B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360222A (zh) * 2018-10-25 2019-02-19 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6229055B2 (ja) * 2013-07-25 2017-11-08 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ オブジェクトを表示する方法と装置
US10140827B2 (en) * 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
JP2021192471A (ja) * 2018-09-14 2021-12-16 ソニーグループ株式会社 表示制御装置および表示制御方法、並びにプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US20040257384A1 (en) * 1999-05-12 2004-12-23 Park Michael C. Interactive image seamer for panoramic images
US20070038945A1 (en) * 2005-08-10 2007-02-15 Miller Jacob J System and method allowing one computer system user to guide another computer system user through a remote environment
US20100066860A1 (en) * 2007-08-24 2010-03-18 Sony Corporation Image processing device, dynamic image reproduction device, and processing method and program in them
US20100171810A1 (en) * 2009-01-07 2010-07-08 Mitsuharu Ohki Image Processing Apparatus, Image Processing Method and Program
CN101986242A (zh) * 2010-11-03 2011-03-16 中国科学院计算技术研究所 在视频压缩编码过程中实现目标轨迹跟踪的方法
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US20070081081A1 (en) 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
SE532236C2 (sv) 2006-07-19 2009-11-17 Scalado Ab Metod i samband med tagning av digitala bilder
US8009178B2 (en) 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US7805066B2 (en) 2007-12-24 2010-09-28 Microsoft Corporation System for guided photography based on image capturing device rendered user recommendations according to embodiments
US8515137B2 (en) 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
US8600172B2 (en) * 2011-03-16 2013-12-03 Sensormatic Electronics, LLC Video based matching and tracking by analyzing one or more image abstractions
US8854491B2 (en) * 2011-06-05 2014-10-07 Apple Inc. Metadata-assisted image filters
US9619138B2 (en) * 2012-06-19 2017-04-11 Nokia Corporation Method and apparatus for conveying location based images based on a field-of-view

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US20040257384A1 (en) * 1999-05-12 2004-12-23 Park Michael C. Interactive image seamer for panoramic images
US20070038945A1 (en) * 2005-08-10 2007-02-15 Miller Jacob J System and method allowing one computer system user to guide another computer system user through a remote environment
US20100066860A1 (en) * 2007-08-24 2010-03-18 Sony Corporation Image processing device, dynamic image reproduction device, and processing method and program in them
US20100171810A1 (en) * 2009-01-07 2010-07-08 Mitsuharu Ohki Image Processing Apparatus, Image Processing Method and Program
CN101986242A (zh) * 2010-11-03 2011-03-16 中国科学院计算技术研究所 在视频压缩编码过程中实现目标轨迹跟踪的方法
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360222A (zh) * 2018-10-25 2019-02-19 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质
CN109360222B (zh) * 2018-10-25 2021-07-16 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质

Also Published As

Publication number Publication date
US9690458B2 (en) 2017-06-27
CN103686270B (zh) 2017-08-01
US20140075382A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
CN103686270A (zh) 基于用户交互输入的影像显示方法及相关的影像显示系统
CN109889708B (zh) 具有自动可调节长焦视场的双孔径变焦数字摄影机
US10009603B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
US11758265B2 (en) Image processing method and mobile terminal
CN111557016B (zh) 用于生成包括模拟的运动模糊的图像的方法和设备
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
KR101343220B1 (ko) 파노라마 이미지에 대한 실시간 미리 보기
EP3195584B1 (en) Object visualization in bowl-shaped imaging systems
US9036072B2 (en) Image processing apparatus and image processing method
US20130089301A1 (en) Method and apparatus for processing video frames image with image registration information involved therein
US10585344B1 (en) Camera system with a plurality of image sensors
KR102424984B1 (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
CA2669016A1 (en) System and method for compositing 3d images
CN102131099A (zh) 图像处理装置、图像处理方法和程序
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN104823219A (zh) 全景图像的环形视图
EP3386204A1 (en) Device and method for managing remotely displayed contents by augmented reality
EP3352446A1 (en) Multi-camera dynamic imaging systems and methods of capturing dynamic images
US11119396B1 (en) Camera system with a plurality of image sensors
EP3352458A1 (en) Multi-camera stereoscopic dynamic imaging systems and methods of capturing stereoscopic dynamic images
EP3822686B1 (en) Method of providing an assembled image using a digital microscope, digital microscope system, and program for providing an assembled image using a digital microscope
JP5787930B2 (ja) ビデオ用の仮想ナビゲーションシステム
CN115134633B (zh) 一种远程视频方法及相关装置
US11818472B2 (en) Simultaneously capturing images in landscape and portrait modes
JP2023174066A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220210

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170801

Termination date: 20210709