CN115918063A - 实时数据处理装置 - Google Patents

实时数据处理装置 Download PDF

Info

Publication number
CN115918063A
CN115918063A CN202180020772.XA CN202180020772A CN115918063A CN 115918063 A CN115918063 A CN 115918063A CN 202180020772 A CN202180020772 A CN 202180020772A CN 115918063 A CN115918063 A CN 115918063A
Authority
CN
China
Prior art keywords
format
data input
data
unit
raster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180020772.XA
Other languages
English (en)
Inventor
岩下智
小布施典孝
日比昭道
重政直人
富田奖
永作圭史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsu Inc filed Critical Dentsu Inc
Publication of CN115918063A publication Critical patent/CN115918063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Debugging And Monitoring (AREA)
  • Image Processing (AREA)
  • Electric Clocks (AREA)

Abstract

在实时数据处理装置(1)中，在将相机影像作为光栅形式的影像数据进行输入、且将手写输入作为向量形式的描画数据进行输入时，生成光栅形式的翻转影像数据和向量形式的翻转描画数据，不仅将向量形式的描画数据显示于触摸面板部的描画区域(A1)，而且将光栅形式的翻转影像数据与向量形式的翻转描画数据叠加显示于预览区域(A2)。对向量形式的描画数据进行编码处理，来生成光栅形式的描画数据，对光栅形式的影像数据和光栅形式的描画数据进行渲染处理，来生成保存用的合成数据。

Description

实时数据处理装置
技术领域
本发明涉及一种实时数据处理装置，其具备能将影像数据(内置相机影像)与描画数据(手写输入)叠加显示的实时预览功能。
背景技术
现有技术中，提出了将相机影像与手写输入进行叠加显示的方法(例如，参照专利文献1)。在现有的方法中，在通过网络进行直播的直播流方法中，生成在来自相机的影像数据之上重叠了由广播者描绘的描画后的影像数据(合成影像数据)。
在现有的方法中，并未对数据形式进行限定，但一般而言，在合成2个数据的情况下，使用相同的数据形式。作为来自相机的影像数据的数据形式，一般使用光栅形式。因此在现有的方法中，作为由广播者描绘的描画数据的数据形式，一般认为使用光栅形式。在现有的方法中，即使以实现低成本且高表现力的广播为目的，也找不到使用不同数据形式的意义何在。另外，即便为了高效地生成观众用的向网络输出的合成影像数据，在现有的方法中，也考虑使用与影像数据相同的光栅形式作为描画数据的数据形式。
然而，在现有的方法中并未提出对合成影像数据进行实时预览的技术，也未提出减轻用于实时预览的处理负担的技术。在进行合成影像数据的实时预览的情况下，若想要以光栅形式对描画数据进行显示处理，则其处理繁重，因此存在凭借处理能力较低的装置(例如，处理能力比PC低的平板装置等)难以进行实时处理的情况。要使处理能力低的装置也能进行实时处理，需要降低数据的分辨率，但如此，观众用的向网络输出的数据的分辨率就会不足。
现有技术文献
专利文献
专利文献1：JP特开2005-51703号公报(第0203段-第0210段，图12-图13)
发明内容
(发明要解决的课题)
本发明鉴于上述背景而提出。本发明的目的在于，提供一种实时数据处理装置，能在减轻实时预览的处理负担的同时，生成高分辨率的合成数据。
(用于解决课题的技术方案)
本发明的一形态提供一种实时数据处理装置，具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由内置相机部拍摄的影像向用户进行显示，且能受理用户的手写输入；以及话筒部，其将用户的声音进行输入，在触摸面板部设置有描画区域和预览区域，描画区域是用于受理手写输入的区域，预览区域是用于显示由内置相机部拍摄的影像的区域，该实时数据处理装置具备：影像数据输入部，其将由内置相机部拍摄的影像作为光栅形式的影像数据进行输入；影像翻转处理部，其将从影像数据输入部输入的光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；描画数据输入部，其将从触摸面板部输入的手写输入作为向量形式的描画数据进行输入；描画翻转处理部，其将从描画数据输入部输入的向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；声音数据输入部，其将从话筒部输入的用户的声音作为声音数据进行输入；实时预览处理部，其将从描画数据输入部输入的向量形式的描画数据显示于触摸面板部的描画区域，并将由影像翻转处理部生成的光栅形式的翻转影像数据与由描画翻转处理部生成的向量形式的翻转描画数据叠加显示于触摸面板部的预览区域，且将从声音数据输入部输入的声音数据进行输出；编码处理部，其对从描画数据输入部输入的向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及渲染处理部，其对从影像数据输入部输入的光栅形式的影像数据、由编码处理部生成的光栅形式的描画数据以及从声音数据输入部输入的声音数据进行渲染处理，来生成保存用的合成数据。
本发明的另一形态提供一种由实时数据处理装置执行的方法，该实时数据处理装置具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由内置相机部拍摄的影像向用户进行显示，且能受理用户的手写输入；以及话筒部，其将用户的声音进行输入，在触摸面板部设置有描画区域和预览区域，描画区域是用于受理手写输入的区域，预览区域是用于显示由内置相机部拍摄的影像的区域，该方法包括：影像数据输入步骤，将由内置相机部拍摄的影像作为光栅形式的影像数据进行输入；描画数据输入步骤，将从触摸面板部输入的手写输入作为向量形式的描画数据进行输入；声音数据输入步骤，将从话筒部输入的用户的声音作为声音数据进行输入；影像翻转处理步骤，将在影像数据输入步骤中输入的光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；描画翻转处理步骤，将在描画数据输入步骤中输入的向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；实时预览处理步骤，将在描画数据输入步骤中输入的向量形式的描画数据显示于触摸面板部的描画区域，并将在影像翻转处理步骤中生成的光栅形式的翻转影像数据与在描画翻转处理步骤中生成的向量形式的翻转描画数据叠加显示于触摸面板部的预览区域，且将在声音数据输入步骤中输入的声音数据进行输出；编码处理步骤，对在描画数据输入步骤中输入的向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及渲染处理步骤，对在影像数据输入步骤中输入的光栅形式的影像数据、在编码处理步骤中生成的光栅形式的描画数据以及在声音数据输入步骤中输入的声音数据进行渲染处理，来生成保存用的合成数据。
本发明的另一形态提供一种由实时数据处理装置执行的程序，该实时数据处理装置具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由内置相机部拍摄的影像向用户进行显示，且能受理用户的手写输入；以及话筒部，其将用户的声音进行输入，在触摸面板部设置有描画区域和预览区域，描画区域是用于受理手写输入的区域，预览区域是用于显示由内置相机部拍摄的影像的区域，该程序使实时数据处理装置执行如下处理：影像数据输入处理，将由内置相机部拍摄的影像作为光栅形式的影像数据进行输入；描画数据输入处理，将从触摸面板部输入的手写输入作为向量形式的描画数据进行输入；声音数据输入处理，将从话筒部输入的用户的声音作为声音数据进行输入；影像翻转处理，将在影像数据输入处理中输入的光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；描画翻转处理，将在描画数据输入处理中输入的向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；实时预览处理，将在描画数据输入处理中输入的向量形式的描画数据显示于触摸面板部的描画区域，并将在影像翻转处理中生成的光栅形式的翻转影像数据与在描画翻转处理中生成的向量形式的翻转描画数据叠加显示于触摸面板部的预览区域，且将在声音数据输入处理中输入的声音数据进行输出；编码处理，对在描画数据输入处理中输入的向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及渲染处理，对在影像数据输入处理中输入的光栅形式的影像数据、在编码处理中生成的光栅形式的描画数据以及在声音数据输入处理中输入的声音数据进行渲染处理，来生成保存用的合成数据。
如以下说明，本发明存在其他形态。因此，本发明的公开旨在提供本发明的一部分的形态，并未意图限制在此记述且请求的发明的范围。
附图说明
图1是本发明的实施方式中的实时数据处理装置的框图。
图2是由实时数据处理装置执行的处理的说明图。
图3是表示实时预览处理的显示例的图。
图4是表示由实时数据处理装置执行的处理的流程的流程图。
具体实施方式
以下讲述本发明的详细的说明。但以下的详细的说明以及附图并不对发明造成限定。
本发明的实时数据处理装置具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由内置相机部拍摄的影像向用户进行显示，且能受理用户的手写输入；以及话筒部，其将用户的声音进行输入，在触摸面板部设置有描画区域和预览区域，描画区域是用于受理手写输入的区域，预览区域是用于显示由内置相机部拍摄的影像的区域，实时数据处理装置具备：影像数据输入部，其将由内置相机部拍摄的影像作为光栅形式的影像数据进行输入；影像翻转处理部，其将从影像数据输入部输入的光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；描画数据输入部，其将从触摸面板部输入的手写输入作为向量形式的描画数据进行输入；描画翻转处理部，其将从描画数据输入部输入的向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；声音数据输入部，其将从话筒部输入的用户的声音作为声音数据进行输入；实时预览处理部，其将从描画数据输入部输入的向量形式的描画数据显示于触摸面板部的描画区域，并将由影像翻转处理部生成的光栅形式的翻转影像数据与由描画翻转处理部生成的向量形式的翻转描画数据叠加显示于触摸面板部的预览区域，且将从声音数据输入部输入的声音数据进行输出；编码处理部，其对从描画数据输入部输入的向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及渲染处理部，其对从影像数据输入部输入的光栅形式的影像数据、由编码处理部生成的光栅形式的描画数据以及从声音数据输入部输入的声音数据进行渲染处理，来生成保存用的合成数据。
根据此构成，在实时预览中，在触摸面板部的预览区域进行利用了光栅形式的翻转影像数据与向量形式的翻转描画数据的叠加显示。由于在手写输入的显示用途中使用向量形式的数据，因此与使用光栅形式的情况相比，能减轻显示处理的负担。因此，虽然以往在使用光栅形式的情况下为了减轻处理负担而需要降低分辨率等处理，但本发明使得不需要这样的处理。
另外，由于描画数据与显示于预览区域的影像数据(翻转影像数据)相对应地进行翻转(使用翻转描画数据)，因此能够抑制用户对预览区域的显示感觉到不匹配感。
进而，此时，在触摸面板部的描画区域进行利用了向量形式的描画数据(未翻转的描画数据)的显示，因此用户能不感觉到不适感而容易地确认自己的手写输入。
而且，使用从向量形式的描画数据生成的光栅形式的描画数据来生成保存用的合成数据。由此，不仅能减轻实时预览的处理负担，而且能生成高分辨率的合成数据。
另外，在本发明的实时数据处理装置中，实时预览处理部可以将由影像翻转处理部生成的光栅形式的翻转影像数据配置于下层图层，且将由描画翻转处理部生成的向量形式的翻转描画数据配置于上层图层，从而进行预览区域中的叠加显示。
根据此构成，在预览区域中的叠加显示中，光栅形式的翻转影像数据配置于下层图层，向量形式的翻转描画数据配置于上层图层。通过进行这样的利用了多层图层的叠加显示，能够减轻预览区域中的叠加显示的处理负担。
本发明的方法是由实时数据处理装置执行的方法，该实时数据处理装置具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由内置相机部拍摄的影像向用户进行显示，且能受理用户的手写输入；以及话筒部，其将用户的声音进行输入，在触摸面板部设置有描画区域和预览区域，描画区域是用于受理手写输入的区域，预览区域是用于显示由内置相机部拍摄的影像的区域，方法包括：影像数据输入步骤，将由内置相机部拍摄的影像作为光栅形式的影像数据进行输入；描画数据输入步骤，将从触摸面板部输入的手写输入作为向量形式的描画数据进行输入；声音数据输入步骤，将从话筒部输入的用户的声音作为声音数据进行输入；影像翻转处理步骤，将在影像数据输入步骤中输入的光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；描画翻转处理步骤，将在描画数据输入步骤中输入的向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；实时预览处理步骤，将在描画数据输入步骤中输入的向量形式的描画数据显示于触摸面板部的描画区域，并将在影像翻转处理步骤中生成的光栅形式的翻转影像数据与在描画翻转处理步骤中生成的向量形式的翻转描画数据叠加显示于触摸面板部的预览区域，且将在声音数据输入步骤中输入的声音数据进行输出；编码处理步骤，对在描画数据输入步骤中输入的向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及渲染处理步骤，对在影像数据输入步骤中输入的光栅形式的影像数据、在编码处理步骤中生成的光栅形式的描画数据以及在声音数据输入步骤中输入的声音数据进行渲染处理，来生成保存用的合成数据。
根据此方法，如上所述，在实时预览中，在触摸面板部的预览区域进行利用了光栅形式的翻转影像数据与向量形式的翻转描画数据的叠加显示。由于在手写输入的显示用途中使用向量形式的数据，因此与使用光栅形式的情况相比，能减轻显示处理的负担。因此，虽然以往在使用光栅形式的情况下为了减轻处理负担而需要降低分辨率等处理，但本发明使得不需要这样的处理。
另外，由于描画数据与显示于预览区域的影像数据(翻转影像数据)相对应地进行翻转(使用翻转描画数据)，因此能够抑制用户对预览区域的显示感觉到不匹配感。
进而，此时，在触摸面板部的描画区域进行利用了向量形式的描画数据(未翻转的描画数据)的显示，因此用户能不感觉到不适感而容易地确认自己的手写输入。
而且，使用从向量形式的描画数据生成的光栅形式的描画数据来生成保存用的合成数据。由此，不仅能减轻实时预览的处理负担，而且能生成高分辨率的合成数据。
本发明的程序是由实时数据处理装置执行的程序，该实时数据处理装置具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由内置相机部拍摄的影像向用户进行显示，且能受理用户的手写输入；以及话筒部，其将用户的声音进行输入，在触摸面板部设置有描画区域和预览区域，描画区域是用于受理手写输入的区域，预览区域是用于显示由内置相机部拍摄的影像的区域，该程序使实时数据处理装置执行如下处理：影像数据输入处理，将由内置相机部拍摄的影像作为光栅形式的影像数据进行输入；描画数据输入处理，将从触摸面板部输入的手写输入作为向量形式的描画数据进行输入；声音数据输入处理，将从话筒部输入的用户的声音作为声音数据进行输入；影像翻转处理，将在影像数据输入处理中输入的光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；描画翻转处理，将在描画数据输入处理中输入的向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；实时预览处理，将在描画数据输入处理中输入的向量形式的描画数据显示于触摸面板部的描画区域，并将在影像翻转处理中生成的光栅形式的翻转影像数据与在描画翻转处理中生成的向量形式的翻转描画数据叠加显示于触摸面板部的预览区域，且将在声音数据输入处理中输入的声音数据进行输出；编码处理，对在描画数据输入处理中输入的向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及渲染处理，对在影像数据输入处理中输入的光栅形式的影像数据、在编码处理中生成的光栅形式的描画数据以及在声音数据输入处理中输入的声音数据进行渲染处理，来生成保存用的合成数据。
根据此程序，如上所述，在实时预览中，在触摸面板部的预览区域进行利用了光栅形式的翻转影像数据与向量形式的翻转描画数据的叠加显示。由于在手写输入的显示用途中使用向量形式的数据，因此与使用光栅形式的情况相比，能减轻显示处理的负担。因此，虽然以往在使用光栅形式的情况下为了减轻处理负担而需要降低分辨率等处理，但本发明使得不需要这样的处理。
另外，由于描画数据与显示于预览区域的影像数据(翻转影像数据)相对应地进行翻转(使用翻转描画数据)，因此能够抑制用户对预览区域的显示感觉到不匹配感。
进而，此时，在触摸面板部的描画区域进行利用了向量形式的描画数据(未翻转的描画数据)的显示，因此用户能不感觉到不适感而容易地确认自己的手写输入。
而且，使用从向量形式的描画数据生成的光栅形式的描画数据来生成保存用的合成数据。由此，不仅能减轻实时预览的处理负担，而且能生成高分辨率的合成数据。
根据本发明，不仅能减轻实时预览的处理负担，还能生成高分辨率的合成数据。
(实施方式)
以下，使用附图来说明本发明的实施方式的实时数据处理装置。在本实施方式中，例示在提供将相机影像与描画实时合成的应用的服务(例如，提供能对将运动员、名人等与粉丝联系在一起的、相机影像与笔迹的合成进行实时预览、且能动画文件化的应用的服务等)中所使用的实时数据处理装置(例如，平板设备等)的情况。
参照附图来说明本发明的实施方式的实时数据处理装置的构成。图1是表示本实施方式的实时数据处理装置的构成的框图。如图1所示，实时数据处理装置1具备：内置相机部2、触摸面板部3、话筒部4、存储部5以及数据处理部6。
内置相机部2例如由嵌入式相机等构成。内置相机部2配置于实时数据处理装置1的触摸面板部3的上部，具备对正在使用实时数据处理装置1的用户自身的影像进行拍摄的功能。内置相机部2也可以由外设型的相机构成。
触摸面板部3例如由触摸面板显示器等构成。触摸面板部3具备将由内置相机部2拍摄的影像向用户进行显示的功能、以及受理用户的手写输入的功能。触摸面板部3可谓具备所谓的显示部和输入部这两者的功能。在将实时数据处理装置1设为了实时预览模式时，在触摸面板部3设置用于受理手写输入的区域即描画区域A1、以及用于对由内置相机部2拍摄的影像进行显示的区域即预览区域A2(参照图3)。
话筒部4例如由器件内置型的话筒等构成。从话筒部4输入(声音输入)正在使用实时数据处理装置1的用户的声音等。
存储部5例如由HDD、存储器等构成。在存储部5中能保存各种数据。另外，在存储部5中保存有使实时数据处理装置1执行各种处理的程序。通过执行存储于存储部5的程序，来执行以下说明的实时预览处理。
数据处理部6例如由CPU、MPU等构成，具备进行各种数据处理的功能。更具体而言，数据处理部6具备影像数据输入部60、描画数据输入部61、声音数据输入部62、影像翻转处理部63、描画翻转处理部64、实时预览处理部65、编码处理部66、渲染处理部67作为功能模块。
由内置相机部2拍摄的影像作为光栅形式的影像数据而被输入至影像数据输入部60。影像翻转处理部63具备将从影像数据输入部60输入的光栅形式的影像数据进行翻转来生成光栅形式的翻转影像数据的功能。从触摸面板部3输入的手写输入作为向量形式的描画数据被输入至描画数据输入部61。描画翻转处理部64具备将从描画数据输入部61输入的向量形式的描画数据进行翻转来生成向量形式的翻转描画数据的功能。从话筒部4输入的用户的声音作为声音数据被输入至声音数据输入部62。
在实时数据处理装置1被设为实时预览模式时，实时预览处理部65具备如下功能：不仅将从描画数据输入部61输入的向量形式的描画数据显示(正对显示)于触摸面板部3的描画区域A1，而且将由影像翻转处理部63生成的光栅形式的翻转影像数据与由描画翻转处理部64生成的向量形式的翻转描画数据叠加显示于触摸面板部3的预览区域A2，且将从声音数据输入部62输入的声音数据进行输出。
在实时数据处理装置1被设为实时预览模式时，实时预览处理部65将由影像翻转处理部63生成的光栅形式的翻转影像数据配置于下层图层，且将由描画翻转处理部64生成的向量形式的翻转描画数据配置于上层图层，从而进行预览区域A2中的叠加显示。
编码处理部66具备对从描画数据输入部61输入的向量形式的描画数据进行编码处理来生成光栅形式的描画数据的功能。渲染处理部67具备对从影像数据输入部60输入的光栅形式的影像数据、由编码处理部66生成的光栅形式的描画数据、以及从声音数据输入部62输入的声音数据进行渲染处理来生成保存用的合成数据的功能。通过渲染处理而生成的合成数据保存于存储部5。
针对如上构成的实时数据处理装置1，参照附图来说明其动作。图2是由实时数据处理装置1执行的处理的说明图，图3是表示实时预览处理的显示例的图。图4是表示由实时数据处理装置1执行的处理的流程的流程图。
如图2以及图4所示，在本实施方式的实时数据处理装置1中，不仅将由内置相机部2拍摄的影像作为光栅形式的影像数据进行输入(S1)，而且将从触摸面板部3输入的手写输入作为向量形式的描画数据进行输入(S2)，进而，将从话筒部4输入的用户的声音作为声音数据进行输入(S3)。
接着，将在上述步骤S1中输入的光栅形式的影像数据进行翻转来生成光栅形式的翻转影像数据(S4)。另外，将在上述步骤S2中输入的向量形式的描画数据进行翻转来生成向量形式的翻转描画数据(S5)。
而且，如图3所示，将在上述步骤S4中生成的光栅形式的翻转影像数据(翻转后的相机影像VR)与在上述步骤S5中生成的向量形式的翻转描画数据(翻转后的手写输入WR)叠加显示于触摸面板部3的预览区域A2(S6)，并将在上述步骤S2中输入的向量形式的描画数据(未翻转的手写输入W)显示于触摸面板部3的描画区域A1(S7)，而且将在上述步骤S3中输入的声音数据进行输出(S8)。
在上述步骤S6中，在进行预览区域A2中的叠加显示时，将在上述步骤S4中生成的光栅形式的翻转影像数据(翻转后的相机影像VR)配置于下层图层，并将在上述步骤S5中生成的所述向量形式的翻转描画数据(翻转后的手写输入WR)配置于上层图层。
接着，对在上述步骤S2中输入的向量形式的描画数据进行编码处理来生成光栅形式的描画数据(S9)。而且，对在上述步骤S1中输入的光栅形式的影像数据、在上述步骤S9中生成的光栅形式的描画数据、以及在上述步骤S3中输入的声音数据进行渲染处理来生成保存用的合成数据(S10)，并将生成的合成数据存储于存储部5(S11)。
根据这样的本实施方式的实时数据处理装置1，在实时预览中，在触摸面板部3的预览区域A2进行利用了光栅形式的翻转影像数据(翻转后的相机影像VR)与向量形式的翻转描画数据(翻转后的手写输入WR)的叠加显示。由于在手写输入的显示用途中采用向量形式的数据，因此与使用光栅形式的情况相比，能减轻显示处理的负担。因此，虽然以往在使用光栅形式的情况下为了减轻处理负担而需要降低分辨率等处理，但本发明使得不需要这样的处理。
另外，由于描画数据与显示于预览区域A2的影像数据(翻转影像数据(翻转后的相机影像VR))相对应地进行翻转(使用翻转描画数据(翻转后的手写输入WR))，因此能够抑制用户对预览区域A2的显示感觉到不匹配感。
进而，此时，在触摸面板部3的描画区域A1进行利用了向量形式的描画数据(未翻转的描画数据W)的显示，因此用户能不感觉到不适感而容易地确认自己的手写输入。
而且，使用从向量形式的描画数据生成的光栅形式的描画数据来生成保存用的合成数据。由此，不仅能减轻实时预览的处理负担，而且能生成高分辨率的合成数据。
另外，在本实施方式中，在预览区域A2中的叠加显示中，将光栅形式的翻转影像数据(翻转后的相机影像VR)配置于下层图层，并将向量形式的翻转描画数据(翻转后的手写输入WR)配置于上层图层。通过进行这样的利用了多层图层的叠加显示，能够减轻预览区域A2中的叠加显示的处理负担。
以上通过例示来说明了本发明的实施方式，但本发明的范围不限于此，能在权利要求记载的范围内根据目的进行变更或变形。
(工业实用性)
如上所述，本发明的实时数据处理装置具有能在减轻实时预览的处理负担的同时生成高分辨率的合成数据这样的效果，并用于提供了将相机影像与描画实时合成的应用的服务等中，具有实用性。
(标号说明)
1 实时数据处理装置
2 内置相机部
3 触摸面板部
4 话筒部
5 存储部
6 数据处理部
60 影像数据输入部
61 描画数据输入部
62 声音数据输入部
63 影像翻转处理部
64 描画翻转处理部
65 实时预览处理部
66 编码处理部
67 渲染处理部
A1 描画区域
A2 预览区域。

Claims (4)

1.一种实时数据处理装置，具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由所述内置相机部拍摄的影像向所述用户进行显示，且能受理所述用户的手写输入；以及话筒部，其将所述用户的声音进行输入，
所述实时数据处理装置的特征在于，
在所述触摸面板部设置有描画区域和预览区域，所述描画区域是用于受理所述手写输入的区域，所述预览区域是用于显示由所述内置相机部拍摄的影像的区域，
所述实时数据处理装置具备：
影像数据输入部，其将由所述内置相机部拍摄的所述影像作为光栅形式的影像数据进行输入；
影像翻转处理部，其将从所述影像数据输入部输入的所述光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；
描画数据输入部，其将从所述触摸面板部输入的所述手写输入作为向量形式的描画数据进行输入；
描画翻转处理部，其将从所述描画数据输入部输入的所述向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；
声音数据输入部，其将从所述话筒部输入的所述用户的声音作为声音数据进行输入；
实时预览处理部，其将从所述描画数据输入部输入的所述向量形式的描画数据显示于所述触摸面板部的描画区域，并将由所述影像翻转处理部生成的所述光栅形式的翻转影像数据与由所述描画翻转处理部生成的所述向量形式的翻转描画数据叠加显示于所述触摸面板部的预览区域，且将从所述声音数据输入部输入的所述声音数据进行输出；
编码处理部，其对从所述描画数据输入部输入的所述向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及
渲染处理部，其对从所述影像数据输入部输入的所述光栅形式的影像数据、由所述编码处理部生成的所述光栅形式的描画数据以及从所述声音数据输入部输入的所述声音数据进行渲染处理，来生成保存用的合成数据。
2.根据权利要求1所述的实时数据处理装置，其中，
所述实时预览处理部将由所述影像翻转处理部生成的所述光栅形式的翻转影像数据配置于下层图层，且将由所述描画翻转处理部生成的所述向量形式的翻转描画数据配置于上层图层，从而进行所述预览区域中的叠加显示。
3.一种由实时数据处理装置执行的方法，所述实时数据处理装置具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由所述内置相机部拍摄的影像向所述用户进行显示，且能受理所述用户的手写输入；以及话筒部，其将所述用户的声音进行输入，
所述由实时数据处理装置执行的方法的特征在于，
在所述触摸面板部设置有描画区域和预览区域，所述描画区域是用于受理所述手写输入的区域，所述预览区域是用于显示由所述内置相机部拍摄的影像的区域，
所述由实时数据处理装置执行的方法包括：
影像数据输入步骤，将由所述内置相机部拍摄的所述影像作为光栅形式的影像数据进行输入；
描画数据输入步骤，将从所述触摸面板部输入的所述手写输入作为向量形式的描画数据进行输入；
声音数据输入步骤，将从所述话筒部输入的所述用户的声音作为声音数据进行输入；
影像翻转处理步骤，将在所述影像数据输入步骤中输入的所述光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；
描画翻转处理步骤，将在所述描画数据输入步骤中输入的所述向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；
实时预览处理步骤，将在所述描画数据输入步骤中输入的所述向量形式的描画数据显示于所述触摸面板部的描画区域，并将在所述影像翻转处理步骤中生成的所述光栅形式的翻转影像数据与在所述描画翻转处理步骤中生成的所述向量形式的翻转描画数据叠加显示于所述触摸面板部的预览区域，且将在所述声音数据输入步骤中输入的所述声音数据进行输出；
编码处理步骤，对在所述描画数据输入步骤中输入的所述向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及
渲染处理步骤，对在所述影像数据输入步骤中输入的所述光栅形式的影像数据、在所述编码处理步骤中生成的所述光栅形式的描画数据以及在所述声音数据输入步骤中输入的所述声音数据进行渲染处理，来生成保存用的合成数据。
4.一种由实时数据处理装置执行的程序，所述实时数据处理装置具备：内置相机部，其拍摄正在使用装置的用户自身的影像；触摸面板部，其能将由所述内置相机部拍摄的影像向所述用户进行显示，且能受理所述用户的手写输入；以及话筒部，其将所述用户的声音进行输入，
所述程序的特征在于，
在所述触摸面板部设置有描画区域和预览区域，所述描画区域是用于受理所述手写输入的区域，所述预览区域是用于显示由所述内置相机部拍摄的影像的区域，
所述程序使所述实时数据处理装置执行如下处理：
影像数据输入处理，将由所述内置相机部拍摄的所述影像作为光栅形式的影像数据进行输入；
描画数据输入处理，将从所述触摸面板部输入的所述手写输入作为向量形式的描画数据进行输入；
声音数据输入处理，将从所述话筒部输入的所述用户的声音作为声音数据进行输入；
影像翻转处理，将在所述影像数据输入处理中输入的所述光栅形式的影像数据进行翻转，来生成光栅形式的翻转影像数据；
描画翻转处理，将在所述描画数据输入处理中输入的所述向量形式的描画数据进行翻转，来生成向量形式的翻转描画数据；
实时预览处理，将在所述描画数据输入处理中输入的所述向量形式的描画数据显示于所述触摸面板部的描画区域，并将在所述影像翻转处理中生成的所述光栅形式的翻转影像数据与在所述描画翻转处理中生成的所述向量形式的翻转描画数据叠加显示于所述触摸面板部的预览区域，且将在所述声音数据输入处理中输入的所述声音数据进行输出；
编码处理，对在所述描画数据输入处理中输入的所述向量形式的描画数据进行编码处理，来生成光栅形式的描画数据；以及
渲染处理，对在所述影像数据输入处理中输入的所述光栅形式的影像数据、在所述编码处理中生成的所述光栅形式的描画数据以及在所述声音数据输入处理中输入的所述声音数据进行渲染处理，来生成保存用的合成数据。
CN202180020772.XA 2021-06-18 2021-10-04 实时数据处理装置 Pending CN115918063A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021101804A JP7026839B1 (ja) 2021-06-18 2021-06-18 リアルタイムデータ処理装置
JP2021-101804 2021-06-18
PCT/JP2021/036544 WO2022264440A1 (ja) 2021-06-18 2021-10-04 リアルタイムデータ処理装置

Publications (1)

Publication Number Publication Date
CN115918063A true CN115918063A (zh) 2023-04-04

Family

ID=81175168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180020772.XA Pending CN115918063A (zh) 2021-06-18 2021-10-04 实时数据处理装置

Country Status (7)

Country Link
EP (1) EP4142282A4 (zh)
JP (1) JP7026839B1 (zh)
KR (1) KR102658480B1 (zh)
CN (1) CN115918063A (zh)
AU (1) AU2021427874B2 (zh)
TW (1) TWI824324B (zh)
WO (1) WO2022264440A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101436A (en) * 1990-05-11 1992-03-31 Optigraphics Corporation Hybrid image editor
JP3050474B2 (ja) * 1993-12-01 2000-06-12 シャープ株式会社 モニタ画面一体型ビデオカメラ
JP2005051703A (ja) * 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP4794565B2 (ja) * 2005-09-26 2011-10-19 株式会社ディジタルメディアプロフェッショナル 画像生成装置
US7636097B1 (en) * 2006-02-15 2009-12-22 Adobe Systems Incorporated Methods and apparatus for tracing image data
JP5571269B2 (ja) * 2012-07-20 2014-08-13 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
TW201502851A (zh) * 2013-07-05 2015-01-16 Think Cloud Digital Technology Co Ltd 電子簽章方法
JP6150652B2 (ja) * 2013-07-29 2017-06-21 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体
US9881224B2 (en) * 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
JP6810515B2 (ja) * 2015-11-02 2021-01-06 株式会社フォトロン 手書き情報処理装置
JP6623876B2 (ja) * 2016-03-24 2019-12-25 富士通株式会社 描画処理装置、方法、及びプログラム
NO20161728A1 (en) * 2016-11-01 2018-05-02 Bja Holding As Written text transformer
CN112613283B (zh) * 2020-12-16 2021-07-23 江苏中威科技软件系统有限公司 基于ofd版式文件叠加签批分层查看的方法

Also Published As

Publication number Publication date
AU2021427874B2 (en) 2023-05-04
AU2021427874A1 (en) 2023-01-19
KR20220169473A (ko) 2022-12-27
JP2023000791A (ja) 2023-01-04
TWI824324B (zh) 2023-12-01
EP4142282A1 (en) 2023-03-01
WO2022264440A1 (ja) 2022-12-22
JP7026839B1 (ja) 2022-02-28
EP4142282A4 (en) 2024-05-29
TW202301265A (zh) 2023-01-01
KR102658480B1 (ko) 2024-04-18

Similar Documents

Publication Publication Date Title
EP2017783B1 (en) Method for constructing a composite image
CN110942441A (zh) 具有流估计和图像超分辨率的多相机阵列图像的视图插补
KR20100056049A (ko) 이미지 합성 방법 및 장치
JP2007067917A (ja) 画像データ処理装置
JP2018037859A (ja) 画像処理装置およびその制御方法
KR100713531B1 (ko) 영상데이터에 특정효과 표시방법
JP4296032B2 (ja) 画像処理装置
CN112558854B (zh) 多画面分屏模式定制方法、装置和计算机设备
JP2008311981A (ja) 画像信号処理装置、画像信号処理方法、プログラム、カメラ装置、画像表示装置および画像信号出力装置
CN115918063A (zh) 实时数据处理装置
JP4649640B2 (ja) 画像処理方法、画像処理装置、及びコンテンツ作成システム
TWI538519B (zh) 視訊影像之擷取裝置
US20080007648A1 (en) Real time scaling and rotating decoded image data
JPH099220A (ja) 通信装置および通信システム
JP2007019956A (ja) 画像合成装置及び画像合成方法
CN101567963B (zh) 内插画面的产生方法
JP2007201816A (ja) 映像表示システム及び映像受信装置
JPH09116759A (ja) 画像復号化装置および画像符号化・復号化システム
KR20060121506A (ko) 이동 단말에서 영상 표시 장치 및 방법
JP5320751B2 (ja) 画像出力装置、画像出力方法、プログラム
KR101897692B1 (ko) 프레임 분리 방식을 이용한 영상 합성 서버
CN116801049A (zh) 视频合成方法、装置、电子设备及存储介质
JP2018067893A (ja) 画像処理装置及び画像処理方法
CN114463182A (zh) 基于超分辨率网络的视频处理方法、装置及存储介质
JP2011188376A (ja) 画像処理装置と画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40082837

Country of ref document: HK