CN109804620A - 用于生成捕获图像的显示设备和方法 - Google Patents

用于生成捕获图像的显示设备和方法 Download PDF

Info

Publication number
CN109804620A
CN109804620A CN201780062638.XA CN201780062638A CN109804620A CN 109804620 A CN109804620 A CN 109804620A CN 201780062638 A CN201780062638 A CN 201780062638A CN 109804620 A CN109804620 A CN 109804620A
Authority
CN
China
Prior art keywords
image
capture
viewpoint
panoramic picture
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780062638.XA
Other languages
English (en)
Inventor
金正根
高昌鉐
金锡炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109804620A publication Critical patent/CN109804620A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

公开了一种显示设备。所述显示设备包括:显示器,被配置为显示与全景图像中的多个视点的当前显示的视点对应的图像;处理器,被配置为响应于接收到捕获命令而生成具有与全景图像的当前显示帧相对应的多个捕获图像视点的捕获图像;以及存储器,被配置为存储捕获图像。

Description

用于生成捕获图像的显示设备和方法
技术领域
与示例性实施例一致的设备和方法涉及用于生成捕获图像的显示装置和方法,更具体地,涉及能够生成具有关于全景图像的多个视点的捕获图像的显示设备和用于生成捕获图像的方法。
背景技术
显示装置处理数字或模拟视频信号,并基于这些处理的信号产生图像。数字或模拟信号可以从外部源接收或作为压缩文件存储在内部存储设备中。从外部源接收的数字或模拟视频信号可以是广播信号、数字卫星广播信号、由各种外部设备(例如机顶盒、盘播放器、移动设备和PC)发送的信号或使利用互联网协议从服务器接收的信号。
近来,已经开发了除了具有单个视点的一般图像之外还能够再现能够在多个视点中显示的全景图像的显示设备。
发明内容
技术问题
用户可以在观看这样的全景图像的同时捕获期望的屏幕,但是现有的显示设备仅捕获显示在屏幕上的屏幕。
技术方案
因此,用户不方便获得具有各种视点的一个捕获图像或具有各种视点的多个捕获图像,这是因为用户必须在每个改变的视点处多次重复输入视点改变命令和捕获命令。
示例性实施例涉及能够生成相对于全景图像具有多个视点的捕获图像的显示装置和用于生成捕获图像的方法。
根据示例性实施例的一方面,提供了一种显示设备,包括:显示器,被配置为显示与全景图像中多个视点中的当前显示对应的视点的图像;处理器,被配置为响应于接收到捕获命令,生成具有与全景图像的当前显示帧相对应的多个捕获图像视点的捕获图像;以及存储器,被配置为存储捕获图像。
处理器还可以被配置为在单个捕获图像中包括全景图像的当前显示帧的多个视点中的每一个。
处理器还可以被配置为基于当前显示的视点生成单个捕获图像。
处理器还可以被配置为生成关于当前显示的视点的信息作为元数据,并将元数据与单个捕获图像相关联。
捕获图像可以是多个捕获图像中的一个,并且处理器还可以被配置为生成分别与全景图像的当前显示帧的多个视点对应的多个捕获图像。
多个捕获图像可以包括第一捕获图像、第二捕获图像、第三捕获图像和第四捕获图像,该第一捕获图像具有相对于当前显示的视点旋转0度的第一捕获图像视点,该第二捕获图像具有相对于当前显示的视点旋转90度的第二捕获图像视点,该第三捕获图像具有相对于当前显示的视点旋转180度的第三捕获图像视点,该第四捕获图像具有相对于当前显示的视点旋转270度的第四捕获图像视点。
显示设备还可包括操纵器,该操纵器被配置为接收捕获命令和对全景图像中的对象的选择。
处理器还可以被配置为检测当前是否在显示所选对象,并且在再现全景图像时响应于检测到所选对象而重复捕获图像。
处理器还可以被配置为基于所选对象来生成具有多个视点的捕获图像。
处理器还可以被配置为控制显示器以响应于接收到对先前显示的视点所对应的预存储的捕获图像的显示命令而显示与接收到捕获命令的时间相对应的全景图像的先前显示视点所对应的预先存储的捕获图像的区域。
全景图像可以包括360度的视点。
根据另一示例性实施例的一方面,提供了一种用于生成捕获图像的方法,该方法包括:显示全景图像中的多个视点中当前正显示的视点所对应的图像;接收捕获命令;生成具有与全景图像的当前显示帧相对应的多个捕获图像视点的捕获图像;并存储生成的捕获图像。
生成可以包括单个捕获图像中的全景图像的当前显示帧的多个视点中的每一个。
生成可以基于当前显示的视点。
生成可以包括:生成关于当前显示的视点的信息作为元数据;并将元数据与单个捕获图像相关联。
捕获图像可以是多个捕获图像中的一个,并且生成可以包括生成分别与全景图像的当前显示帧的多个视点对应的多个捕获图像。
多个捕获图像可以包括第一捕获图像、第二捕获图像、第三捕获图像和第四捕获图像,该第一捕获图像具有相对于当前显示的视点旋转0度的第一捕获图像视点,该第二捕获图像具有相对于当前显示的视点90度的第二捕获图像视点,该第三捕获图像具有相对于当前显示的视点180度的第三捕获图像视点,该第四捕获图像具有相对于当前显示的视点270度的第四捕获图像视点。
该方法还可以包括接收对全景图像中对象的选择,并且生成可以包括:检测当前是否显示所选对象;并且在再现全景图像的同时,响应于检测到所选对象,重复生成捕获图像。
该方法还可以包括接收对全景图像中的对象的选择,并且生成具有多个视点的捕获图像可以基于所选择的对象。
根据又一示例性实施例的一方面,提供了一种包括程序的非暂时性计算机可读记录介质,当由处理器或显示设备执行该程序时,使得显示设备执行生成捕获图像的方法,该方法包括:显示与全景图像的多个视点的当前显示的视点对应的图像;接收捕获命令;生成具有与全景图像的当前显示帧相对应的多个捕获图像视点的捕获图像;并存储生成的捕获图像。
根据又一示例性实施例的一方面,提供了一种被配置为生成捕获图像的设备,该设备包括:显示器,被配置为显示与全景图像的多个视点中的当前显示的视点对应的图像;处理器,被配置为响应于接收到捕获命令,确定捕获图像操作模式并基于全景图像的当前显示帧生成捕获图像。
可以从第一捕获图像操作模式、第二捕获图像操作模式和第三捕获图像操作模式中选择捕获图像操作模式,并且处理器还可以被配置为在第一捕获图像操作模式下操作时仅捕获当前显示的视点作为捕获图像、在第二捕获图像操作模式下操作时捕获多个视点中的每一个作为捕获图像及在第三捕获图像操作模式下操作时捕获多个视点中的第一视点和多个视点中的第二视点作为捕获图像。
处理器还可以被配置为控制显示器以指示第一捕获图像操作模式、第二捕获图像操作模式和第三捕获图像操作模式中的一个是当前操作模式。
全景图像可以是多个顺序显示的全景图像中的一个,并且处理器还可以被配置为接收指示所选对象的对象选择、确定所选对象是否显示在多个顺序地显示的全景图像的当前显示的全景图像中并且生成针对被确定包括所选对象的多个顺序显示的全景图像的每个全景图像的捕获图像。
附图说明
图1是示出根据示例性实施例的显示装置的配置的框图。
图2是示出根据示例性实施例的显示装置的更详细配置的框图;
图3是示出根据示例性实施例的全景图像中的各种视点的视图;
图4是示出根据示例性实施例的显示装置中的全景图像的显示的视图;
图5是示出根据示例性实施例的当输入捕获命令时显示器的视图;
图6是示出根据示例性实施例的在第二捕获方法中生成的捕获图像的视图;
图7是示出根据示例性实施例的在第三捕获方法中生成的捕获图像的视图;
图8是示出根据示例性实施例的基于对象生成的捕获图像的视图;
图9是示出根据示例性实施例的在第四捕获方法中生成的捕获图像的视图;
图10是示出根据示例性实施例的显示捕获图像的视图;和
图11是示出根据示例性实施例的用于生成捕获图像的方法的流程图。
具体实施方式
在下文中,将简要解释示例性实施例中使用的术语,并且将参考附图更详细地描述示例性实施例。
尽管示例性实施例中使用的术语可以是考虑到本公开中的功能而在当前广泛使用的一般术语,但是术语可以根据本领域技术人员的意图、先例和新技术的引进而改变。另外,在特殊情况下,可以使用申请人选择的术语。在这种情况下,将在相应的具体描述中详细解释术语的含义。因此,说明书中使用的术语不一定被解释为术语的简单名称,而是关于本公开的术语和总体内容的含义来定义。
将参考附图描述各种示例实施例。然而,示例性实施例可以以许多不同的形式实施,并且可以采用包括在本说明书的公开概念和技术范围内的各种修改、等同和替换。在描述示例性实施例时,没有详细描述公知的功能或结构,以避免用不必要的细节模糊说明书。
诸如“第一”、“第二”等术语可用于描述各种元素,但这些元素不应受这些术语的限制。这些术语仅用于区分一个元素与另一个元素。
除非另有说明,否则单数表达包括复数表达。说明书中的术语“包括”、“包括”、“被配置为”等用于指示存在特征、数字、步骤、操作、元素、部分或其组合,并且它们不应排除组合或添加一个或多个特征、数字、步骤、操作、元素、部分或其组合的可能性。
在示例实施例中,“模块”或“单元”执行至少一个功能或操作,并且可以实现为硬件(例如电路)、固件、软件或其组合。另外,多个“模块”或多个“单元”可以集成到至少一个模块中,并且可以实现为至少一个处理器。
在下文中,将参考附图详细描述示例性实施例。
图1是示出根据示例性实施例的显示装置的配置的框图。
图1示出了显示装置100包括显示器110、处理器120和存储器130。这里,显示装置100是显示图像的设备,并且可以是电视机(TV)、监视器、平板PC、笔记本电脑、台式电脑、投影仪、智能手机、可穿戴设备等。
显示器110显示图像。例如,显示器110可以被实现为液晶显示器(LCD)、阴极射线管(CRT)、等离子显示面板(PDP)、有机发光二极管(OLED)显示器或透明OLED(TOLED)显示器等。
而且,显示器110可以被实现为能够感测用户的触摸操纵的触摸屏类型。换句话说,显示器110可以体现为具有操纵器195的单个设备,将在下文中描述操纵器195。
除了显示具有单个视点的一般图像之外,显示器110还可以显示具有多个视点的全景图像。例如,全景图像可以是通过组合通过移动单个相机拍摄的多个图像而生成的图像、通过将在同一地点的不同视点由多个相机拍摄的多个图像组合而生成的图像或者用一台具有广角的相机拍摄的图像。
全景图像不限于由相机拍摄的图像。例如,全景图像可以是人工产生的内容,诸如游戏图像。另外,图像包括静止图像和视频。
全景图像可具有360度的视点。具有360度的视点的全景图像表示起始部分与结束部分相同的图像,并且可以称为诸如球形图像、全向图像等各种名称。根据本公开,可以以各种模式理解具有360度的视点的全景图像。例如,除了与默认视点或所选视点对应的图像之外,显示器110还可以显示具有不同视点的多个图像。例如,显示器110可以在第一区域上显示与第一视点对应的图像,并且在第一区域下方的第二区域上显示视点从第一视点旋转180度的图像。或者,除了两个视点的图像之外,显示器110还可以同时显示四个视点的图像。
显示器110可以显示用于接收用户控制命令的菜单用户界面(UI)。具体地,显示器110可以显示用于接收捕获命令的UI和用于从用户接收捕获方法的UI。这里,用于接收捕获方法的UI可以是用于在第一捕获方法、第二捕获方法和第三捕获方法中选择之一的UI,其中,通过第一捕获方法,仅仅捕获当前显示的屏幕,通过第二捕获方法,捕获当前显示帧的整个图像作为单个捕获图像,通过第三捕获方法,捕获具有当前显示帧的不同视点的多个捕获图像。此外,可以将捕获方法之一预先设置为默认方法。
显示器110可以显示用于显示与全景图像中当前显示的图像的视点有关的信息的UI。这样的用于显示与视点有关的信息的UI可以仅在存在有操作时临时显示,并且可以在操作之后经过预定时间后不再显示。
当执行捕获操作时,显示器110可以显示指示执行捕获的消息。除了消息之外,可以显示指示执行捕获的各种图像效果。例如,可以使屏幕变亮达预定时间段,或者在显示捕获图像之后捕获图像的透明度可以逐渐降低。
显示器110可以显示捕获的图像。这里,显示器110可以连同当前显示的屏幕在一个区域上显示捕获的图像达预定时间段。
显示器110可以显示存储在存储器130中的捕获的图像的列表。这里,显示器110可以显示与存储在存储器130中的捕获的图像对应的各个缩略图,并显示与所选缩略图对应的捕获的图像。
如果用户选择的捕获图像是具有多个视点的全景图像,则显示器110可以显示与在捕获全景图像中的捕获图像时的视点对应的区域。
如果用户选择的捕获图像是具有不同视点的多个捕获图像之一,则显示器110可以显示与用户选择的捕获图像一起生成的多个捕获图像。这里,显示器110可以在主区域上显示用户选择的捕获图像,或者在小于主区域的区域上显示不同角度的其它捕获图像以及由用户选择的捕获图像。
如果用户选择的捕获图像是由选择对象的用户生成的捕获图像,则显示器110可以与当前选择的捕获图像一起显示在不同时间捕获的不同捕获图像,或者可以显示指示有在不同时间捕获的捕获图像的信息。
处理器120控制显示装置100的整体操作。处理器120可以包括连接中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)等的总线。处理器120可以实现为一个CPU,但也可以实现为多个CPU。处理器120可以体现为微计算机(MICOM)、专用集成电路(ASIC)等。
处理器120可以控制显示器110显示图像。具体地,处理器120可以响应于从下文描述的广播接收器140或通信接口190接收的图像信号,控制显示器110显示与接收的图像信号对应的图像。
处理器120可以响应于再现存储在存储器130中的内容的命令的输入,控制显示器110显示与存储在存储器130中的内容相对应的图像。这里,内容可以是如上所述的一般图像内容或全景图像内容。
响应于再现全景图像的命令的输入,处理器120可以控制显示器110显示与全景图像中的用户操纵相对应的视点所对应的图像或者全景图像中预定的默认视点所对应的图像。
当在再现图像的同时输入捕获命令时,处理器120可以通过使用全景图像的当前显示帧来生成捕获图像。生成的捕获图像可以由处理器120存储在存储器130中。
这里,处理器120可以控制显示器110显示用于接收对与捕获命令对应的捕获方法的选择的UI。处理器120可以根据所选择的捕获方法执行捕获。其中,捕获方法可以是用于生成与当前显示的屏幕对应的单个捕获图像的第一捕获方法、用于生成具有多个视点的一个捕获图像的第二捕获方法或用于生成有不同的视点的多个捕获图像的第三捕获方法。同时,当通过第三捕获方法执行捕获时,处理器120可以接收由输入指定的捕获视点或通过输入改变的视点。
当使用第一捕获方法执行捕获时,处理器120可以生成当前显示的屏幕的单个捕获图像。
当使用第二捕获方法执行捕获时,处理器120可以对应于具有360度视点的全景图像而生成具有多个视点的捕获图像,如图6所示。这里,处理器120可以将关于当前显示的视点的信息添加到关于捕获图像的元数据。
当使用第三捕获方法执行捕获时,处理器130可以生成具有不同视点的多个捕获图像。这里,处理器130可以将具有不同视点的多个捕获图像中的每一个的视点信息添加到元数据中,并且将通知一起生成多个捕获图像的标识符添加到元数据或文件的名称中。
当在当前显示的图像中选择某个对象时,处理器120可以为显示所选对象的每个帧生成捕获图像。
处理器120还可以生成捕获图像,该捕获图像中所选择的对象以不同的角度布置。例如,如果所选对象以0度的视点布置在所显示的屏幕的中心,则处理器120可以生成其视点旋转0度并且当前对象位于中心的捕获图像;可以生成其视点旋转15度并且所选择的对象被布置在右侧的捕获图像;可以生成其视点旋转345度并且所选择的对象被布置在左侧的捕获图像。这里,0度、15度和345度仅是示例图。除了上述附图之外,可以生成其视点旋转了某一角度而不是所描述的角度的捕获图像,并且可以生成两个捕获图像或多于四个捕获图像。
这里,处理器120可以识别除了所选对象之外的多个对象,并且可以生成多个捕获图像,该多个捕获图像中所识别的对象和所选择的对象被不同地布置。这里,处理器120可以控制显示器110显示所生成的多个捕获图像,并且所选择的捕获图像可以存储在存储器130中。在没有选择的情况下生成的捕获图像也可以存储在存储器130中。
显示装置100可以操作游戏内容并显示与游戏内容相对应的图像。在显示与游戏内容对应的图像的同时,响应于选择了某个对象,处理器120可以基于所选择的对象而生成具有多个视点的捕获图像。具体地,处理器120可以渲染相对于所选对象具有多个视点的图像,并生成关于渲染图像的具有多个视点的捕获图像。下面将参考图9描述关于此的示例。
当生成捕获图像时,处理器120可以控制显示器110显示指示生成捕获图像的UI。这里,可以控制稍后将描述的音频输出接口170以输出指示该捕获的声音以及UI显示。
当生成捕获图像时,处理器120可以与当前显示的图像一起显示捕获图像或者显示与捕获图像对应的缩略图。
当接收到显示捕获图像的命令时,处理器120可以控制显示器110显示存储在存储器130中的捕获图像。这里,处理器可以控制显示器110显示与在捕获该捕获图像的时间的视点对应的区域。
存储器130可以存储图像内容。具体地,存储器130可以从A/V处理器160接收和存储视频内容(其中视频和音频被压缩),并且可以在处理器120的控制下将存储的视频内容输出到A/V处理器160。存储器130可以由硬盘、非易失性存储器和/或易失性存储器实现。
存储器130可以存储通过上述过程生成的捕获图像。
在上文中,描述了显示装置100的简要元件,但是显示装置100可以包括图2中所示的元件。下面参考图2描述显示装置100的指定配置。
图2是示出根据示例性实施例的显示装置的具体配置的框图。
图2示出了显示装置100包括显示器110、处理器120、存储器130、广播接收器140、信号分离器150、A/V处理器160、音频输出接口170、图形用户界面(GUI)发生器180、通信接口190和操纵器195。
因为图2中的显示器110、处理器120和存储器130的功能类似于参考图1所描述的功能,所以省略重复的说明。
广播接收器140可以经由广播信号以有线或无线方式从广播站或卫星接收全景图像,并解调接收的广播信号。
信号分离器150可将广播信号分离为视频信号、音频信号和附加信息信号。此外,信号分离器150可以将视频信号和音频信号发送到A/V处理器160。
A/V处理器160对从广播接收器140、通信接口190和/或存储器130发送的视频信号和音频信号执行信号处理,诸如视频解码、视频缩放和音频解码。A/V处理器160通过GUI生成器180输出图像信号,并通过音频输出接口170输出音频信号。
A/V处理器160可以压缩视频和音频信号并将压缩的视频和音频信号存储在存储器130中。
音频输出接口170可以将从A/V处理器160输出的音频信号转换为声音,并且可以通过扬声器输出声音或者通过外部输出端子将声音输出到连接到器的外部设备。
当响应于捕获命令生成捕获图像时,音频输出接口170可以输出对应于捕获事件的声音(例如“点击”声音)。
GUI生成器180可以生成要提供的GUI。此外,GUI生成器180可以将生成的GUI添加到从A/V处理器160输出的图像。此外,GUI生成器180可以将添加了GUI的图像提供给显示器110。
当基于要执行捕获的用户命令而生成捕获图像时,GUI生成器180可以在显示器110上提供包括指示正在生成捕获图像的消息的图像。
或者,当基于用户捕获命令而生成捕获图像时,GUI生成器180可以在显示器110上提供其上施加特定效果的图像。这里,特定效果可以是使屏幕变亮达一特定时间段(例如0.5秒)的效果、将捕获图像覆盖在当前屏幕上的效果或者在屏幕的特定区域上显示与捕获图像相对应的缩略图图像的效果。
通信接口190可以与诸如机顶盒、个人计算机(PC)、膝上型PC、移动设备等的外部装置连接并且从外部装置接收图像内容。具体地,通信接口190被形成为将显示装置100与外部装置连接并支持各种连接方法以连接到各种外部装置。
例如,通信接口190可以通过局域网(LAN)、互联网、高清多媒体接口(HDMI)端口、通用串行总线(USB)端口、移动高清链路(MHL)端口或无线通信(例如Wi-Fi 802.11a/b/g/n、近场通信(NFC)或蓝牙)端口连接到终端设备。
操纵器195用于接收用户操纵命令。具体地,操纵器195可以包括触摸屏、触摸板、键按钮、键盘等,并且接收显示设备100上的用户操纵。
操纵器195可以包括在显示装置100中,并且可以包括遥控器信号接收器,其接收与外部遥控器的用户操纵相对应的控制信号。例如,遥控器信号接收器可以包括用于接收从遥控设备产生的IR信号的光电二极管。
操纵器195可以接收对要显示的全景图像的选择。
操纵器195可以接收对关于全景图像的显示视点的选择。例如,当按钮接收到显示视点改变时,显示视点可以改变为对应于短按钮选择的默认改变角度(例如10度)。换句话说,视点改变按钮被选择到右侧三次,显示装置100可以顺序地显示视点旋转10度、20度和30度的图像。同时,按钮被选择预定时间或更长时间,则显示装置100可以顺序地显示视点被线性改变的图像直到释放按钮为止。
操纵器195可以接收针对显示的全景图像的捕获命令。这里,操纵器195可以接收用于选择捕获方法的用户命令。
操纵器195可以接收选择多个捕获图像中要存储的捕获图像的用户命令。
操纵器195可以接收对所显示的图像中的特定对象的选择。尽管描述了直接选择某个对象,但是示例性实施例不限于此。可以通过操纵器195接收选择当前显示的图像中的特定坐标的命令和通过处理器的图像分析来分析所选择的对象来选择特定对象。
操纵器195可以接收关于捕获图像的显示命令。当对应于该命令而显示存储在存储器130中的多个捕获图像的列表时,操纵器195可以接收命令以选择列表中的图像之一。
尽管描述了通过显示装置100或遥控器直接输入用户操纵,但是示例性实施例不限于此,并且可以通过外部电子装置输入用户操纵。在这种情况下,通信接口190可以从电子装置接收与操纵命令相对应的控制信号。
如上所述,因为根据示例性实施例的显示装置在捕获全景图像时生成具有多个视点的捕获图像,所以用户可以在不改变屏幕上的视点的情况下捕获多个图像,这提高了用户便利性。另外,显示设备可以在全景图像中显示与360度的所有视点对应的图像中的任何图像。
尽管解释了显示装置100通过接收广播信号来显示图像,但是示例性实施例不限于此,并且可以省略接收广播信号所需的配置,诸如广播接收器、信号分离器等。换句话说,除了显示广播信号的诸如电视的装置之外,根据示例性实施例的显示装置100可以是诸如其仅仅显示从外部装置发送的图像的监视器之类的装置,。
图3是示出具有360度视点的全景图像(球面图像)中的各种视点的图像的视图。
参照图3,显示装置100可以在整个全景图像200中显示与视点对应的图像。例如,如图3所示,显示装置100可以显示第一视点图像200A、第二视点图像200B、第三视点图像200C和/或第四视点图像200D。
对于实际场地的例子,当假设在球场中朝向本垒板的土墩上拍摄全景图像200时,第一视点图像200A是本垒板的图像,第二视点图像200B是第三垒的图像,第三视点图像200C是第二垒的图像,第四视点图像200D是第一垒的图像。
尽管示出了具有360度视点的全景图像是球形的,但是示例性实施例不限于此,并且360度的实际全景图像可以是球形的。
图4是示出在显示装置中显示全景图像的示例的视图。具体而言,图4示出了全景图像中当显示装置200接收到从第一视点图像200A改变到第二视点图像200B的命令时移动视点。
参照图3和图4,在显示装置100在全景图像200中显示第一视点图像200A的状态下,如果输入了将视点改变为旋转了90度的第二视点的命令,则处理器120可以控制显示器110显示与第二视点对应的第二视点图像200B。因此,显示装置100上显示的视点从第一视点图像200A的视点改变为第二视点图像200B的第二视点。
如果在显示装置100显示第一视点图像200A的同时输入捕获命令,则显示装置100可以显示如图5所示的屏幕。具体地,处理器120可以生成具有与用户的捕获命令相对应的多个视点的捕获图像,并且当完成捕获图像的生成时,可以显示如图5中所示的屏幕。
图5是示出根据示例性实施例的当输入捕获命令时的显示器的显示示例的视图。
参照图5,因为在显示第一视点图像200A的同时输入捕获命令,所以显示的屏幕200A'包括第一视点图像200A和指示执行捕获的消息510。可以看到类似于图6或图7中所示的据此生成的捕获图像。
在视点改变到与第一视点不同的另一视点的状态下,如果输入捕获命令,则可以显示通知在当前显示的屏幕上执行捕获的消息。另外,据此生成的捕获图像可以具有与图6和图7中所示的图像的视点不同的视点。
图6是示出在第二捕获方法中生成的捕获图像的示例的视图。具体地,通过第二捕获方法生成全景图像的当前显示帧的整个图像作为单个捕获图像。
参考图6,所生成的捕获图像由单个图像和具有360度视点的全景图像组成,如所显示的那样。
当这样的捕获图像作为全景图像形成时,处理器120可以基于显示视点形成全景图像。例如,可形成具有位于全景图像的中心轴的当前显示的视点的全景图像。如果在显示全景图像时使用不是中心轴的另一位置作为基本显示区域,则处理器120可以形成显示在捕获全景图像时的图像的全景图像。
可以生成与全景图像的当前显示帧的图像相同的捕获图像,并且可以将关于基本显示视点的信息添加到所生成的捕获图像的元数据。
这样,因为当前显示视点被反映在生成具有多个视点的捕获图像的过程中,所以用户可以首先检查在捕获图像中对他/她印象最深的显示。
图7是示出在第三捕获方法中生成的捕获图像的示例的视图。具体地,第三捕获方法是生成四个捕获图像的示例,其中,相对于当前对应于捕获命令显示的第一视点,视点被旋转0度、90度、180度和270度。
参考图7,生成的捕获图像相对于当前显示的视点分别将视点旋转0度600A、90度600B、180度600℃和270度600D的四个图像。
如果当前视点是30度视点,则捕获的四个图像可以是其视点旋转30度、120度、210度和300度的捕获图像。
尽管在上文中示出并描述了生成具有四个视点的四个捕获图像,但是示例性实施例不限于此,并且可以生成两个视点的两个捕获图像,或者可以生成五个或五个以上的捕获图像。具体地,当选择第三捕获方法时,处理器120可以控制显示器110显示用于接收对其图像要被捕获的多个视点的选择的UI。对应于选择,可选择待生成的捕获图像的数量和每个捕获图像的视点。对应于这样的用户选择,处理器120可以生成与所选择的视点相对应的多个捕获图像。
同时,当生成多个捕获图像时,处理器120可以控制显示器110显示捕获的图像并接收对捕获的图像中的要存储的图像的选择。处理器120可以仅将所选择的捕获图像存储在存储器130中。
在示例性实施例中,因为生成具有不同视点的多个捕获图像,所以当显示捕获图像时,处理器120可以通过合并多个捕获图像来生成全景图像,并且可以显示生成的全景图像的视点。
尽管描述了仅在输入捕获命令时生成捕获图像,但是示例性实施例不限于此,并且可以自动生成捕获图像。另外,尽管仅描述了生成具有相对于地面上的一拍摄点的多个视点的捕获图像以拍摄全景图像,但是示例性实施例不限于此,并且可以生成具有相对于地面上的另一拍摄点的多个视点的图像。
下面将参考图8和9描述如上所述的示例性实施例。
图8是示出基于对象来生成捕获图像的示例的视图。具体而言,图8示出了选择某个对象并且当检测到特定对象时自动执行捕获。
参考图8,用户选择显示装置100的屏幕810上的特定坐标。对应于该选择,处理器120可以分析当前在所选坐标上显示的对象。
在显示图像的过程中,当再次检测到相同的对象时,可以在没有单独的命令的情况下生成具有多个视点的多个捕获图像。例如,响应于用户在观看棒球比赛时选择某个击球手的用户输入,如图8中的屏幕810所示,可以在选择时生成捕获图像820,并且可以在随后检测到该击球手的随后时间生成另一捕获图像830。
同时,相同的对象可以在一段时间内连续出现在多个帧中。在这种情况下,可以捕获其中存在相同对象的所有帧作为捕获图像。根据一个或多个示例性实施例的各方面,可以在相同对象连续存在的部分中以预定时间间隔生成捕获图像,或者可以仅生成第一帧,在该帧中相同的对象存在于该对象连续地存在的部分中。
尽管描述了与相对于时间流的对象选择对应而生成多个捕获图像,但是示例性实施例不限于此,并且可以与相对于空间的对象选择相对应而生成多个捕获图像。
关于所选对象,可以生成其中所选对象位于中心的第一捕获图像、所选对象位于右侧的第二捕获图像和所选对象位于左侧的第三捕获图像。
具体地,处理器120可以识别与所选择的坐标相对应的对象并生成多个捕获图像,在多个捕获图像中所识别的对象布置在各种构图中。这里,处理器120可以识别位于另一区域而不是所选择的坐标的另一个对象并生成多个捕获图像,在该多个捕获图像中所选择的对象和另外识别的另一个对象被放置在各种构图中。
图9是示出在第四捕获方法中生成的捕获图像的示例的视图。具体地,可以在显示装置100操作游戏内容的情况下使用第四捕获方法,即,显示与所选择的视点对应的渲染图像的情况。
参照图8和图9,当用户通过在使用游戏内容的同时选择特定对象来输入捕获命令时,处理器120可渲染具有相对于所选对象的360度视点的全景图像,并生成关于具有360度视点的渲染图像的具有多个视点的捕获图像。
同时,处理器120可以生成多个捕获图像910、920、930、940,其中视点相对于所选对象(例如击球手)旋转0度(910)、90度(920)、180度(930)和270度(940)。
图10是示出根据示例性实施例的用于显示捕获图像的操作的视图。
当输入显示捕获图像的命令时,处理器120可以显示包括分别与存储在存储器130中的多个捕获图像对应的缩略图的第一屏幕1000。
如果用户在第一屏幕1000上选择具有多个视点的第一捕获图像1010,则处理器120可以控制显示器110显示所选择的第一捕获图像1010。这里,处理器120可以控制显示器110显示与在执行捕获的时候的视点对应的屏幕。为此,处理器120可以通过使用第一捕获图像1010中的元数据来检查视点信息并且在捕获图像中显示与检查的视点信息相对应的图像。
如果元数据中不存在单独的视点信息,则可以优先显示全景图像中的默认区域。响应于输入移动视点的命令,处理器120可以控制显示器110显示与该移动视点的命令对应的视点的区域。
图11是示出根据示例性实施例的用于生成捕获图像的方法的流程图。
参照图11,在操作S1110中显示与全景图像中的第一视点对应的图像。这里,响应于正在输入改变视点的命令,可以显示与根据改变视点的输入命令的视点对应的图像。
在操作S1120中接收捕获命令。具体地,捕获命令可以通过配备有显示装置(或外部装置)或遥控器的按钮输入。显示装置100可以显示用于接收对捕获方法的选择的UI并且接收对捕获方法的选择。这里,捕获方法可以是捕获当前显示的屏幕的方法(其是现有的捕获方法)、生成具有多个视点的单个捕获图像的方法、生成具有不同视点的多个捕获图像的方法,等等
在操作S1130中,通过使用全景图像的当前显示帧来生成具有多个视点的捕获图像。具体地,可以生成与先前选择的捕获方法对应的捕获图像。例如,如果选择生成具有多个视点的单个捕获图像的方法,则可以在单个捕获图像中生成全景图像的当前显示帧的整个图像,如图6所示。
如果选择产生具有不同视点的多个捕获图像的方法,则可以生成相对于当前显示的第一视点旋转0度、90度、180度和270度的四个捕获图像,如图7所示。
在操作S1140中存储所生成的捕获图像。具体地,生成的捕获图像可以存储在显示设备100中的存储器130中,或者生成的捕获图像可以通过通信接口发送到外部服务器(或云服务器)而存储在外部存储器中。
因此,由于捕获图像生成方法在捕获全景图像时生成具有多个视点的捕获图像,所以用户可以在不改变屏幕上的视点的情况下捕获多个图像,因此提高了用户便利性。另外,显示设备可在全景图像中显示与360度的所有视点对应的图像中的任何图像。如图11所示的捕获图像生成方法可由具有如图1或图2所示的配置的显示装置执行或由具有不同配置的任何显示装置执行。
根据各种示例性实施例的生成捕获图像的方法可以存储在非暂时性可读介质上。可以在各种类型的装置中安装和使用该非暂时性可读介质。
根据示例性实施例,非暂时性计算机可读介质是指可以半永久地存储数据而不是短时间存储数据的介质,并且可以例如实现为寄存器、高速缓存或存储器,并且可以由装置读取。具体地,执行上述各种方法的程序可以存储在非暂时性计算机可读介质中,例如CD、DVD、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等中并且可以被提供。
尽管已经示出和描述了示例性实施例,但是本领域技术人员将理解,在不脱离本公开的精神和原理的情况下,可以在其中进行形式和细节上的各种改变,本公开的范围由所附权利要求及其等同限定。

Claims (15)

1.一种显示设备,包括:
显示器,被配置为显示与全景图像的第一视点对应的图像;
处理器,被配置为响应于接收到捕获命令,通过使用全景图像的当前显示帧来生成具有多个视点的捕获图像;和
存储器,被配置为存储所生成的捕获图像。
2.如权利要求1所述的设备,其中,所述处理器生成全景图像的当前显示帧的整个图像作为单个捕获图像。
3.如权利要求2所述的设备,其中,所述处理器基于当前显示的视点来生成单个捕获图像。
4.如权利要求2所述的设备,其中,所述处理器生成关于当前显示的信息作为元数据并将所述元数据与捕获图像相关联。
5.如权利要求1所述的设备,其中,所述处理器生成分别与全景图像的当前显示帧的多个视点对应的多个捕获图像。
6.如权利要求5所述的设备,其中,所述多个捕获图像是四个捕获图像,所述四个捕获图像具有相对于当前显示的视点旋转0度、90度、180度和270度的视点。
7.如权利要求1所述的设备,还包括:
操纵器,被配置为接收捕获命令和对当前显示的图像中的所选对象的选择。
8.如权利要求7所述的设备,其中,在再现全景图像的同时,所述处理器响应于检测到所选对象而重复生成捕获图像。
9.如权利要求7所述的设备,其中,所述处理器基于所选对象而生成具有多个视点的捕获图像。
10.如权利要求1所述的设备,其中,响应于接收到对具有多个视点的预存储的捕获图像的显示命令,所述处理器控制显示器显示与在捕获具有多个视点的捕获图像时的视点对应的区域。
11.如权利要求1所述的设备,其中,所述全景图像是具有360度的视点的全景图像。
12.一种生成捕获图像的方法,包括:
显示与全景图像中的第一视点对应的图像;
接收捕获命令;
通过使用全景图像的当前显示帧来生成具有多个视点的捕获图像;以及
存储所述生成的捕获图像。
13.如权利要求12所述的方法,其中,所述生成包括生成所述全景图像的当前显示帧的整个图像作为单个捕获图像。
14.如权利要求12所述的方法,其中,所述生成包括生成与所述全景图像的当前显示帧的多个视点对应的多个捕获图像。
15.如权利要求12所述的方法,还包括:接收对当前显示的图像中的所选对象的选择,
其中,所述生成包括在再现全景图像的同时响应于检测到所选对象而重复生成捕获图像。
CN201780062638.XA 2016-10-11 2017-06-27 用于生成捕获图像的显示设备和方法 Pending CN109804620A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160131357A KR102630681B1 (ko) 2016-10-11 2016-10-11 디스플레이 장치 및 캡처 이미지 생성 방법
KR10-2016-0131357 2016-10-11
PCT/KR2017/006788 WO2018070638A1 (en) 2016-10-11 2017-06-27 Display apparatus and method for generating capture image

Publications (1)

Publication Number Publication Date
CN109804620A true CN109804620A (zh) 2019-05-24

Family

ID=61830430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062638.XA Pending CN109804620A (zh) 2016-10-11 2017-06-27 用于生成捕获图像的显示设备和方法

Country Status (5)

Country Link
US (1) US10440266B2 (zh)
EP (1) EP3476118A4 (zh)
KR (1) KR102630681B1 (zh)
CN (1) CN109804620A (zh)
WO (1) WO2018070638A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466176A (zh) * 2020-11-09 2022-05-10 聚好看科技股份有限公司 一种全景视频显示方法及显示设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264919A1 (en) * 2003-06-14 2004-12-30 Impressive Ideas Ltd. Display system for views of video item
CN101312502A (zh) * 2007-05-21 2008-11-26 富士胶片株式会社 图像拍摄装置、图像再现装置、图像拍摄方法以及程序
CN101854560A (zh) * 2009-03-31 2010-10-06 英特尔公司 根据相关元数据的数字图像的捕获和显示
CN103188506A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 显示装置、图像处理系统及其显示方法和图像处理
CN104349048A (zh) * 2013-07-26 2015-02-11 三星电子株式会社 图像拍摄设备及其方法
US20160191798A1 (en) * 2014-12-26 2016-06-30 Kt Corporation Panoramic view customization
CN105825713A (zh) * 2016-04-08 2016-08-03 重庆大学 车载无人机辅助驾驶系统及运行方式

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152168A (ja) 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
US6563529B1 (en) 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
EP1381233A4 (en) * 2001-04-16 2007-03-07 Matsushita Electric Ind Co Ltd MULTI-VIEW STORAGE ROUND SERVICE PROCESS, DEVICE AND SYSTEM
US20040006425A1 (en) * 2002-07-03 2004-01-08 Terragraphix, Inc. System for communicating and associating information with a geographic location
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20070139529A1 (en) * 2005-06-02 2007-06-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP4656005B2 (ja) * 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
US9091755B2 (en) 2009-01-19 2015-07-28 Microsoft Technology Licensing, Llc Three dimensional image capture system for imaging building facades using a digital camera, near-infrared camera, and laser range finder
KR101030066B1 (ko) * 2009-04-06 2011-04-19 주식회사 다음커뮤니케이션 지리 정보 파노라마 사진의 제작을 위한 복수 개 카메라 자동제어 시스템
KR101282955B1 (ko) 2011-08-31 2013-07-17 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US20140324626A1 (en) * 2013-04-24 2014-10-30 Jonas Oscar Klink Systems and methods to present item recommendations
US10674075B2 (en) * 2013-04-30 2020-06-02 Sony Corporation Image processing device, image processing method, and program
KR102021857B1 (ko) * 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법
KR102067057B1 (ko) 2013-07-24 2020-01-16 엘지전자 주식회사 디지털 디바이스 및 제어 방법
KR101519052B1 (ko) 2013-10-16 2015-05-12 한양대학교 에리카산학협력단 감성광고 기반의 광고 제공 기능을 구비한 스마트 tv
US9554060B2 (en) * 2014-01-30 2017-01-24 Google Inc. Zoom images with panoramic image capture
US20150304559A1 (en) 2014-03-28 2015-10-22 Kogeto, Inc. Multiple camera panoramic image capture apparatus
KR101600860B1 (ko) 2014-05-12 2016-03-09 대동산전주식회사 이벤트 기반의 영상 비교 관리시스템
US10394038B2 (en) 2014-08-29 2019-08-27 Ioculi, Inc. Image diversion to capture images on a portable electronic device
KR20160034037A (ko) 2014-09-19 2016-03-29 삼성전자주식회사 화면 캡쳐를 위한 방법 및 그 전자 장치
KR102519592B1 (ko) * 2016-09-02 2023-04-10 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264919A1 (en) * 2003-06-14 2004-12-30 Impressive Ideas Ltd. Display system for views of video item
CN101312502A (zh) * 2007-05-21 2008-11-26 富士胶片株式会社 图像拍摄装置、图像再现装置、图像拍摄方法以及程序
CN101854560A (zh) * 2009-03-31 2010-10-06 英特尔公司 根据相关元数据的数字图像的捕获和显示
CN103188506A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 显示装置、图像处理系统及其显示方法和图像处理
CN104349048A (zh) * 2013-07-26 2015-02-11 三星电子株式会社 图像拍摄设备及其方法
US20160191798A1 (en) * 2014-12-26 2016-06-30 Kt Corporation Panoramic view customization
CN105825713A (zh) * 2016-04-08 2016-08-03 重庆大学 车载无人机辅助驾驶系统及运行方式

Also Published As

Publication number Publication date
KR102630681B1 (ko) 2024-01-30
EP3476118A1 (en) 2019-05-01
KR20180039939A (ko) 2018-04-19
EP3476118A4 (en) 2019-06-26
US10440266B2 (en) 2019-10-08
WO2018070638A1 (en) 2018-04-19
US20180103198A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
US10979751B2 (en) Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
US10334162B2 (en) Video processing apparatus for generating panoramic video and method thereof
US11558431B2 (en) Communication terminal, communication system, communication method, and display method
US20180097682A1 (en) Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
KR102519592B1 (ko) 디스플레이 장치 및 이의 제어 방법
JP6723512B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11303871B2 (en) Server and display apparatus, and control methods thereof
JP2016025640A (ja) 情報処理装置、情報処理方法およびプログラム
KR20180070297A (ko) 디스플레이장치 및 그 제어방법
WO2019080792A1 (zh) 全景视频图像的播放方法、装置、存储介质及电子装置
WO2017177842A1 (zh) 媒体播放中的附加媒体展示方法及装置
CN106686463A (zh) 一种视频中的角色替换方法及装置
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
CN110069230A (zh) 扩展内容显示方法、装置及存储介质
JPWO2019123509A1 (ja) 端末装置、システム、プログラム及び方法
JP6400293B2 (ja) 電子装置でコンテンツを制御する装置及びその方法
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
WO2022088908A1 (zh) 视频播放方法、装置、电子设备及存储介质
CN109804620A (zh) 用于生成捕获图像的显示设备和方法
US20220084299A1 (en) Mobile device and mobile device control method
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN112121420A (zh) 图像的显示方法和装置、存储介质、电子装置
WO2022024594A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20200041548A (ko) 모바일 장치 및 모바일 장치의 제어 방법
US11863871B2 (en) Communication terminal, image communication system, and method of displaying image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190524

RJ01 Rejection of invention patent application after publication