CN1787635A - 用于搜索移动通信终端视频的装置和方法 - Google Patents

用于搜索移动通信终端视频的装置和方法 Download PDF

Info

Publication number
CN1787635A
CN1787635A CNA2005101290816A CN200510129081A CN1787635A CN 1787635 A CN1787635 A CN 1787635A CN A2005101290816 A CNA2005101290816 A CN A2005101290816A CN 200510129081 A CN200510129081 A CN 200510129081A CN 1787635 A CN1787635 A CN 1787635A
Authority
CN
China
Prior art keywords
frame
scene change
candidate
candidate frame
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101290816A
Other languages
English (en)
Other versions
CN1787635B (zh
Inventor
李垠尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1787635A publication Critical patent/CN1787635A/zh
Application granted granted Critical
Publication of CN1787635B publication Critical patent/CN1787635B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

用于检测移动通信终端的视频的装置和方法，其中，用于检测移动通信终端的视频的装置包括：场景变换帧检测器，它基于输入的视频流数据而检测预置数量的场景变换帧并输出所检测到的场景变换帧；以及显示单元，它根据用户的视频搜索请求显示输出的场景变换帧。

Description

用于搜索移动通信终端视频的装置和方法
技术领域
本发明涉及一种移动通信终端，具体地涉及一种用于在移动通信终端的视频中间进行搜索以实现有效的视频图像搜索的装置和方法。
背景技术
一般来说，移动通信终端是一种通信装置，它允许用户向另一方进行无线呼叫并在由BS(基站)管理的服务区中移动时，通过MSC(移动切换中心)的切换控制而提供随时随地的无线连接，可执行诸如使用码元、数字、字符之类的数据通信以及包括图像、视频以及话音通信的多媒体通信。
移动通信终端上提供有除典型的通信功能外的用于日常生活的多种额外业务，以由此向用户提供通信的更多便利和应用。在这些业务中，用于捕获视频(运动图片)和图像的摄像功能最近非常流行。后面将参阅图1对用于搜索根据现有技术支持摄像功能的移动通信终端视频记录、剪辑或图像的方法(此后简称为“搜索视频”)进行说明。
图1是表示搜索根据现有技术的移动通信终端的视频的范例性方法的流程图。
如图所示，根据现有技术的用于搜索移动通信终端的方法包括：确认是否要求对存储的视频信号进行搜索(S100)；当请求对存储的视频信号进行搜索时，高速再现搜索请求的视频信号(S110)；从高速再现的视频信号中搜索所要求的场景(S120)；以及正常地从所搜索的场景中再现视频信号(S130)。
下面将更详细地解释这种用于搜索移动通信终端视频的方法。
首先，移动通信终端确认是否用户要求对存储的视频信号进行搜索(S100)。当要求对视频信号进行搜索时，移动通信终端从视频记录的开始或结束点顺序地将视频信号高速地再现于其显示装置(屏幕)上(S110)。也就是说，移动通信终端以大于正常再现速度的预置速度再现(回放)所存储的视频信号，从而使用户快速观看其内容。即，执行类似于典型视频回放装置中“快进”或“预览”功能的功能。
此后，用户从再现的视频信号中搜索并选择他所要求的场景(S120)，并由此移动通信终端能被用于正常再现(以正常再现速度)开始于所搜索到的场景的视频信号(S130)。所要求场景的选择可包括用户操纵多种控制功能(键或按钮)以在用户察觉到他希望看到的选择的开始点时停止高速回放，以将视频倒带到所要求场景开始点的位置，并随后在该点恢复正常回放以允许所要求场景的再现。
然而，在根据现有技术的搜索移动通信终端视频的方法中，需要从视频记录起始点或开始点高速地连续再现视频信号以进行视频搜索，因此这会使用户用很长的时间搜索视频以查找他所要求的场景。这造成用于移动通信终端的电池消耗量的增加而且视频搜索程序是低效的。
发明内容
因此，本发明的一个目的是提供一种用于用于搜索移动通信终端的视频的装置和方法，它能通过检测预置数量的关于视频信号的场景变换帧并将检测到的场景变换帧添加到视频信号的预置区域而高效地搜索视频。
为了实现根据本发明目的的这些和其它优点，如在此表现和广泛描述的那样，这里提供一种用于搜索移动通信终端的视频的装置，它包括：场景变换帧检测器，它基于输入的视频流数据而检测预置数量的场景变换帧并输出所检测到的场景变换帧；以及显示单元，它根据用户的视频搜索请求显示输出的场景变换帧。
为实现根据本发明目的的这些和其它优点，如在此表现和广泛描述的那样，这里提供一种用于搜索移动通信终端的视频的方法，它包括：基于输入的视频流数据检测预置数量的场景变换帧以输出所检测到的场景变换帧，并根据用户的视频搜索请求而显示输出的场景变换帧。
为实现根据本发明目的的这些和其它优点，如在此表现和广泛描述的那样，这里提供一种移动通信终端，包括：联接于移动通信终端以捕获视频记录的视频记录器；存储视频记录的存储器；显示存储在存储器中的视频记录的显示装置；以及处理器，它共同作用于视频记录器、存储器和显示装置以执行下列步骤：在搜索所要求场景时，通过将当前帧至少某一数量的像素与基准帧的像素进行比较以确定当前帧是否被用作可由用户稍后观看的场景变换帧，根据它们的帧处理所存储的视频记录，将与一个或多个场景变换帧相关的场景变换帧信息插入存储在存储器中的视频记录的适当部分；并根据用户请求而显示场景变换帧以利于在视频记录中搜索场景。
为实现根据本发明目的的这些和其它优点，如在此表现和广泛描述的那样，这里提供一种移动通信终端，包括：接收包括视频记录的信号的收发器；用于存储所接收的视频记录的存储器；用于显示存储在存储器中的视频记录的显示装置；以及处理器，它共同作用于收发器、存储器和显示装置以执行下列步骤：基于与一个或多个被插入到视频记录适当部分的场景变换帧相关的场景变换帧信息而确定视频记录中场景变换帧的总数；添加补充场景变换帧或移除多余场景变换帧，直到确定场景变换帧的总数与基准值匹配；并基于用户请求显示场景变换帧以利于在视频记录中搜索场景。
通过下面结合附图对本发明的详细描述，本发明的上述和其它的目的、特征、方面以及优点将变得更为明显。
附图说明
提供对本发明进一步的理解并包括作为说明书一部分的附图示出本发明诸实施例并和说明书一起用于解释本发明的原理。
在图中：
图1是表示根据现有技术的移动通信终端的视频搜索的范例性方法的流程图；
图2是表示根据本发明的移动通信终端的视频搜索的范例性装置的方框图；
图3是表示图2中范例性场景变换帧检测器的详细结构的框图；
图4是表示根据本发明的移动通信终端的视频搜索的范例性方法的流程图；
图5是表示用于检测图4中的候选运动帧的范例性方法的流程图；
图6是表示用于检测图4的场景变换预备候选帧的范例性方法的流程图；
图7是表示用于检测图4的场景变换候选帧的范例性方法的流程图；
图8是表示用于检测图4的场景变换帧的范例性方法的流程图；以及
图9A和图9B是表示根据本发明的用于调整场景变换候选帧的数量的范例性原理的图解。
具体实施方式
现在对本发明的一些实施例进行详细参阅，诸实施例的各例子在附图中被示出。这里未详细描述本领域内技术人员能理解的多种部件和程序以防本发明的特征变得模糊。
此后，将参阅附图对根据本发明的移动终端的视频搜索装置和方法作详细的解释，其中关于视频信号的预置数量场景变换帧被检测而所检测到的场景变换帧被添加到视频信号的预置区域内，由此允许在视频记录中有效地搜索场景。此后，短语“搜索视频”表示允许用户浏览存储在移动通信终端的存储器内的视频记录的部分或全部，类似于典型视频记录器或视频播放器的所谓“快进”功能的操作。
图2是表示根据本发明的用于搜索移动通信终端视频的装置的范例性结构的图解。
如图所示，根据本发明用于搜索移动通信终端的视频的装置包括：对输入视频信号解码并由此将经解码视频信号输出到视频流数据的视频解码器100；基于输出的视频流数据检测场景变换帧的场景变换帧检测器200；以及根据用户对视频搜索的请求而显示所检测到的场景变换帧的显示单元300。
用于检测移动通信终端的视频的装置通过场景变换帧检测器200检测输入的视频信号的预置数量的场景变换帧。现在参阅图3对这种场景变换帧检测器200的详细结构进行解释。
图3是表示图2的场景变换帧检测器详细结构的方框图。
如图3所示，根据本发明的场景变换帧检测器包括：基于输入视频流数据检测候选运动帧的候选运动帧检测器210；基于所检测到的候选运动帧检测场景变换预备候选帧的场景变换预备候选帧检测器220；记录所检测到的场景变换预备候选帧中的场景变换预备候选帧的生成时间的场景变换定时器230；基于所记录的生成时间而检测场景变换候选帧的场景变换候选帧检测器240；基于所检测到的场景变换候选帧而确定场景变换帧的场景变换帧确定器250；将所确定的场景变换帧转换成预览格式的预览模块260；以及将变换的场景变换帧添加到输入的视频信号的预置区域的视频生成器270。
下面将参考图4对根据本发明的有用于搜索视频的范例性装置的移动通信终端的视频搜索方法进行说明。
图4是表示根据本发明的移动通信终端的搜索视频的范例性方法的流程图。
如图4所示，根据本发明的用于搜索移动通信终端视频的方法包括：基于输入的视频流数据检测候选运动帧(S400)；基于所检测到的候选运动帧检测场景变换预备候选帧(S410)记录所检测到的场景变换预备候选帧内的场景变换预备候选帧的生成时间(S420)基于所记录到的生成时间检测场景变换候选帧(S430)确认输入的视频流数据的场景变换候选帧是否已被成功地检测到(S440)当场景变换候选帧被完全检测到后，基于所检测到的场景变换候选帧而确定场景变换帧(S450)以及根据用户对视频搜索的请求而显示所确定的场景变换帧(S460)。
下面将对这种用于搜索移动通信终端的视频的方法进行更详细的说明。
首先，根据每个帧单元对输入的视频流数据进行处理。场景变换帧检测器200将每预置数量的帧中所选择的帧设置为基准帧。这里，预置数量的帧可设定为15帧，但这个数量可作相应的变化。
首先，候选运动帧检测器210基于输入的视频流数据检测候选运动帧(S400)。下面将参阅图5对用于检测候选运动帧的方法进行说明。
图5是表示用于检测图4候选运动帧的详细方法的流程图。
如图所示，根据本发明的用于检测候选运动帧的方法包括：计算基准帧中的像素运动值和当前帧中的像素的运动值之间的差值(S402)；将所计算得到的差值与预置的基准值进行比较(S404)并当所计算的差值大于预置基准值时，将当前帧判定为候选运动帧(S406)。
下面将对根据本发明的检测候选运动帧的方法进行更详细的说明。
候选运动帧检测器210将基准帧中的像素运动值与当前帧中的像素运动值进行比较以根据比较计算它们之间的差值Vdiff_sum。公式1可用来获得根据与不是所有像素的预置数量像素相对应的像素单位而计算的像素差值(S402)。这里，作为计算差值的单位的预置数量的像素较为有利地为4像素。
公式1
V diff _ sum = Σ i = 0 , j = 0 i + 4 , j + 4 | V curr ( i , j ) - V ref ( i , j ) |
在这里，Vcurr(i，j)表示当前帧中第(i，j)像素的运动值，而Vref(i，j)表示基准帧中的第(i，j)像素的运动值。
然后候选运动帧检测器210将计算得到的差值与预置基准值进行比较(S404)。即当差值大于预置基准值时，候选运动帧检测器210认为相比于基准帧，当前帧在图像运动中包含更多的变化，并因此将当前帧确定为候选运动帧(S406)。
接着，场景变换预备候选帧检测器220基于所确定的候选运动帧而检测场景变换预备候选帧(S410)。下面将参阅图6对用于检测场景变换预备候选帧的方法进行说明。
图6是表示用于检测图4的场景变换预备候选帧的详细方法的流程图。
如图6所示，根据本发明的用于检测场景变换预备候选帧的方法包括：计算基准帧中的像素亮度值和所确定的候选运动帧中的像素的亮度值之间的各差值(S412)；将各计算得到的差值与预置基准值进行比较(S414)；并当所计算得到的差值大于预置参考值时，将候选运动帧确定为场景变换预备候选帧(S416)。
下面将对根据本发明的这种用于检测场景变换预备候选帧的方法进行详细说明。
场景变换预备候选帧检测器220将确定的候选运动帧中的像素的亮度值与基准帧中的像素的亮度值进行比较，并根据比较计算它们之间的差值Bdiff_sum。这里，可用公式2获得根据与预置数量像素而非帧所有像素对应的单位计算得到的像素的差值(S412)。
公式2
B diff _ sum = Σ i = 0 , j = 0 i + 4 , j + 4 V curr ( i , j ) ( h - size * v - size ) / 4 - Σ i = 0 , j = 0 i + 4 , j + 4 V ref ( i , j ) ( h - size * v - size ) / 4
这里，Vcurr(i，j)表示当前帧第(i，j)像素的运动值，Vref(i，j)表示基准帧第(i，j)像素的运动值，h_size表示当前帧水平方向上的像素数量，而v_size表示当前帧垂直方向上的像素数量。
场景变换预备候选帧检测器220随后将计算得到的差值与预置基准值进行比较(S414)。即，当差值大于预置基准值时，场景变换预备候选帧检测器220认为与基准帧相比当前帧在图像运动中包含更多变化，并因此将候选运动帧确定为场景变换预备候选帧(S416)。
场景变换定时器230将时间标记字段添加到预定的场景变换预备候选帧。也就是说，场景变换定时器230将场景变换预备候选帧的生成时间记录在所添加的的时间标记字段中，并输出其中记录有生成时间的场景变换预备候选帧(S420)。
第三，场景变换候选帧确定器240基于所确定的场景变换预备候选帧检测场景变换候选帧(S430)。下面将参阅图7对用于检测场景变换候选帧的方法进行说明。
图7是表示用于检测图4的场景变换候选帧的详细方法的流程图。
如图所示，本发明的用于检测场景变换候选帧的方法可包括：计算确定的场景变换预备候选帧生成时间和事先确定的场景变换候选帧生成时间之间的差值(S432)；将所计算得到的差值与预置基准值进行比较(S434)；当所计算得到的差值大于预置基准值时，将场景变换预备候选帧确定为场景变换候选帧(S436)并累积确定的场景变换候选帧的数量(S438)。
下面将详细说明根据本发明的这种用于检测场景变换候选帧的方法。
场景变换候选帧确定器240将记录在输出场景变换预备候选帧的生成时间与事先确定的场景变换候选帧生成时间进行比较，从而根据比较计算它们之间的差值(432)。另外，当不存在事先确定的场景变换候选帧时，场景变换候选帧确定器240可将输出的场景变换预备候选帧确定为场景变换候选帧。
接下来，场景变换候选帧确定器240将计算得到的差值与预置基准值进行比较(S434)。也就是说，当差值大于预置基准值时，场景变换候选帧确定器240将场景变换预备候选帧确定为场景变换候选帧(S436)。
此后，场景变换候选帧确定器240累积确定的场景变换候选帧的数量(S438)，并确认所有输入视频流数据的场景变换候选帧是否已被完全检测到(S440)，
第四步，当完全检测场景变换候选帧时，场景变换帧确定器250基于所确定的场景变换候选帧而检测场景变换帧(S450)。下面将参阅图8对用于检测场景变换帧的方法进行说明。
图8是表示用于检测图4的场景变换帧的详细方法的流程图。
如图8所示，根据本发明的用于检测场景变换帧的方法可包括：检测所累积的确定的场景变换候选帧的数量(S452)将所累积的检测到的场景变换候选帧的数量与预置基准值进行比较(S454)并当所累积的场景变换候选帧的数量与预置基准值相同时，将场景变换候选帧确定为场景变换帧(S456)。这里，当所累积的场景变换候选帧的数量不等于预置基准值时，根据本发明的用于检测场景变换帧的方法还包括将场景变换候选帧的数量调整为与差值相同的数量(S458)。
下面将详细说明根据本发明的用于检测场景变换帧的方法。
场景变换帧检测器250检测所累积的确定的场景变换候选帧的数量(S452)，并随后将所累积的确定的场景变换候选帧的数量与预置基准值进行比较(S454)。即，当累积的场景变换候选帧的数量等于预置基准值时，场景变换帧确定器250将场景变换候选帧确定为场景变换帧。
另一方面，当所累积的场景变换候选帧的数量不等于预置基准值时，场景变换帧确定器250调整场景变换候选帧的数量(S458)。即，场景变换帧确定器250确认所累积的场景变换候选帧的数量是否小于预置基准值(S4582)。当所累积的场景变换候选帧的数量小于预置基准值时，场景变换帧确定器240添加适当数量的场景变换候选帧，该数量等于差值(S4584)，同时当所累积的场景变换候选帧的数量大于预置基准值时移除适当数量的场景变换候选帧，该数量等于差值(S4586)。
随后，场景变换帧确定器250根据场景变换候选帧的添加或移除而更新累积的场景变换候选帧的数量，由此使所累积的场景变换候选帧的数量等于预置基准值。下面将参阅图9A和图9B对根据本发明的这种添加或移除场景变换候选帧的方法进行解释。
图9A和图9B是表示根据本发明的用于调整场景变换候选帧的数量的工作原理的图解。
如图9A所示，可以看出这样的工作原理，即当累积的场景变换候选帧数量大于预置基准值时，场景变换帧确定器250移除例如等于差值“1”的场景变换候选帧。也就是说，场景变换帧确定器250计算场景变换候选帧的每个生成时间之间的差值并比较所计算的差值的大小，由此能够移除具有最小差值的场景变换候选帧。
如图9B所示，可以看出这样的工作原理，即当累积的场景变换候选帧数量小于预置基准值时，根据本发明的场景变换帧确定器250添加例如等于差值“1”的场景变换候选帧。也就是说，场景变换帧确定器250计算场景变换候选帧的每个生成时间之间的差值并比较所计算的差值的大小，由此能够添加新的场景变换候选帧于具有最大差值的场景变换候选帧间。
这时，可较为有利地将所添加的场景变换候选帧确定为位于具有最大差值的场景变换候选帧的中间的帧。
另外，当所累积的场景变换候选帧的数量等于预置基准值，场景变换帧确定器250将场景变换候选帧确定为场景变换帧并输出所确定的场景变换帧。
浏览器260将输出的场景变换帧转换成一种格式以使其能在显示屏幕上预览并输出所转换的场景变换帧。视频生成器270将所转换的场景变换帧添加到输入的视频信号的预置区域。结果，根据用户对视频搜索的请求，移动通信终端可将场景变换帧显示在显示单元300上(S450)。
如前所述，在根据本发明的移动通信终端的视频搜索装置和方法中，关于视频信号的预置数量的场景变换帧被检测到并且被检测到的场景变换帧被添加到视频信号的预置区域，由此实现有效的视频搜索。
本发明提供一种移动通信终端包括：用于捕获视频记录并联接于移动通信终端的视频记录器；存储视频记录的存储器；显示存储于存储器内的视频记录的显示装置；以及处理器，处理器与视频记录器、存储器和显示装置协同作用以执行下列步骤：通过将当前帧的至少一个像素数量与基准帧的像素数量进行比较以确定当前帧是否被用作当用户搜索所要求场景时能稍后观看的场景变换帧，从而根据它们的帧而处理所存储的视频记录，将关联于一个或多个场景变换帧的场景变换帧信息插入到存储于存储器中的视频记录的合适位置上，并根据用户的请求而显示场景变换帧以利于对视频记录中的场景进行搜索。
基准帧可以是视频记录的每个第n帧。可通过计算当前帧中的像素运动值和基准像素中的像素运动值之间的差值而执行比较。如果与基准帧相比，当前帧在图像运动中包含更多的变化，当前帧可能是场景变换帧。可通过在与基准帧比较时，比较当前帧中的像素的亮度值而确定图像运动中的变化。场景变换帧信息以能被用户预览的格式出现。场景变换帧信息可包括表示每个场景变换帧在视频记录持续期间唯一时点的时间数据。
本发明还提供一种移动通信终端，包括：接收包括视频记录的信号的收发器；存储所接收的视频记录的存储器；显示存储在存储器中的视频记录的显示装置；以及处理器，它共同作用于收发器、存储器和显示装置以执行下列步骤：基于与一个或多个被插入到视频记录适当部分的场景变换帧相关的场景变换帧信息而确定视频记录中场景变换帧的总数；添加补充场景变换帧或移除多余场景变换帧，直到确定场景变换帧的总数与基准值匹配；并基于用户请求显示场景变换帧以利于在视频记录中搜索场景。
可基于毗邻的场景变换帧之间的时间间隔而执行添加或移除步骤。
由于在不脱离其精神或实质特征的前提下，本发明可体现以多种形式，应该理解上述实施例不由前面说明的任何细节所限制(除非特别指定)，而是应该在由所附权利要求所定义的精神和范围内作出广泛的解释，并因此落在权利要求的边界和范围内的所有改变和修正或这些边界和范围的等效物内的所有改变和修正都被所附权利要求所覆盖。

Claims (39)

1.一种用于搜索移动通信终端的视频的装置，包括：
场景变换帧检测器，所述场景变换帧检测器基于输入的视频流数据而检测预置数量的场景变换帧并输出所检测到的场景变换帧；以及
显示单元，所述显示单元根据用户的视频搜索请求显示输出的场景变换帧。
2.如权利要求1所述的装置，其特征在于，还包括：对输入的视频信号解码并将经解码的视频信号作为视频流数据输出的视频解码器。
3.如权利要求1所述的装置，其特征在于，场景变换帧检测器包括：
基于输入的视频流信号而检测候选运动帧的候选运动帧检测器；
基于所检测到的候选运动帧而检测场景变换预备候选帧的场景变换预备候选帧检测器；
记录所检测到的场景变换预备候选帧中的场景变换预备候选帧的生成时间值的场景变换定时器；
基于所记录的生成时间值而确定场景变换候选帧的场景变换候选帧确定器；以及
使所确定的场景变换候选帧的数量等于预置基准值并将等于预置基准值的场景变换候选帧确定为场景变换帧的场景变换帧确定器。
4.如权利要求3所述的装置，其特征在于，当基准帧中的像素运动值与当前帧中的像素运动值之间的差值大于预置基准值时，候选运动帧检测器将当前帧确定为候选运动帧。
5.如权利要求4所述的装置，其特征在于，基准帧是根据预置帧单位而选择的帧。
6.如权利要求4所述的装置，其特征在于，通过根据预设像素单位而添加所选择的像素的所有运动值，从而获得基准值中的像素的运动值。
7.如权利要求6所述的装置，其特征在于，当前帧中的像素的运动值是与基准帧中像素的运动值对应的像素的运动值。
8.如权利要求3所述的装置，其特征在于，当基准帧中的像素的亮度值与所检测到的候选运动帧中的像素的亮度值之间的差值大于预设基准值时，场景变换预备候选帧检测器将候选运动帧确定为场景变换预备候选帧。
9.如权利要求8所述的装置，其特征在于，场景变换定时器将时间标记字段添加到所检测到的场景变换预备候选帧。
10.如权利要求9所述的装置，其特征在于，时间标记字段包括场景变换预备候选帧的生成时间。
11.如权利要求3所述的装置，其特征在于，当场景变换预备候选帧和事先确定的场景变换候选帧的发生时间之间的差值大于预置基准值时，场景变换候选帧检测器将场景变换预备候选帧确定为场景变换候选帧。
12.如权利要求3所述的装置，其特征在于，当所确定的场景变换候选帧的数量小于预置基准值时，场景变换帧确定器将位于在确定的场景变换候选帧的每个生成时间之间具有最大差值的场景变换候选帧之间的帧中的一个设置为场景变换候选帧。
13.如权利要求12所述的装置，其特征在于，位于场景变换候选帧之间的帧为场景变换预备候选帧。
14.如权利要求3所述的装置，其特征在于，当所确定的场景变换候选帧的数量大于预置基准值时，场景变换帧确定器将在所确定的场景变换候选帧的各生成时间之间具有最小差值的场景变换候选帧移除。
15.一种用于搜索移动通信终端的视频的方法，包括：
基于输入的视频流数据检测预置数量的场景变换帧并输出所检测到的场景变换帧，以及
根据用户的视频搜索请求而显示输出的场景变换帧。
16.如权利要求15所述的方法，其特征在于，还包括：将输入的视频信号解码并将经解码的视频信号输出作为视频流数据。
17.如权利要求15所述的方法，其特征在于，输出场景变换帧的步骤包括：
基于输入的视频流数据检测候选运动帧；
基于所检测到的候选运动帧检测场景变换预备候选帧；
记录在所检测到的场景变换预备候选帧中的场景变换预备候选帧的生成时间；
基于所记录的生成时间信息而检测场景变换候选帧；
确认关于所有输入的视频流数据的场景变换候选帧是否被完全地检测到；以及
当场景变换候选帧被完全地检测到时，基于所检测到的场景变换候选帧而确定场景变换帧。
18.如权利要求17所述的方法，其特征在于，检测候选运动帧的步骤包括：
计算基准帧中的像素运动值和当前帧中的像素运动值之间的差值；
将所计算得到的差值与预设基准值进行比较；以及
当所计算得到的差值大于预置基准值时，将当前帧确定为候选运动帧。
19.如权利要求18所述的方法，其特征在于，基准帧是根据预置帧单位而选择的帧。
20.如权利要求15所述的方法，其特征在于，通过添加根据预设像素单位选择的像素的运动值而获取基准帧中的像素的运动值。
21.如权利要求20所述的方法，其特征在于，当前帧中的像素的运动值是对应于基准帧中的像素运动值的像素的运动值。
22.如权利要求17所述的方法，其特征在于，检测场景变换预备候选帧的步骤包括：
计算基准帧中的像素亮度值和所确定的候选运动帧中的像素亮度值之间的差值；
将所计算得到的差值与预置基准值进行比较；以及
当所计算得到的差值大于预置基准值时，将候选运动帧确定为场景变换预备候选帧。
23.如权利要求17所述的方法，其特征在于，还包括将时间标记字段添加到所检测到的场景变换预备候选帧。
24.如权利要求23所述的方法，其特征在于，时间标记字段包括场景变换预备候选帧的生成时间。
25.如权利要求17所述的方法，其特征在于，检测场景变换候选帧的步骤包括：
计算所检测到的场景变换预备候选帧的生成时间和事先确定的场景变换候选帧的生成时间之间的差值；
将所计算得到的差值与预置基准值进行比较；
当计算得到的差值大于预置基准值时，将场景变换预备候选帧确定为场景变换候选帧；以及
累积所确定的场景变换候选帧的数量。
26.如权利要求17所述的方法，其特征在于，确定场景变换帧的步骤包括：
检测所累积的确定的场景变换候选帧的数量；
将所累积的场景变换候选帧的检测到的数量与预置基准值进行比较；
当所累积的场景变换候选帧的数量等于预置基准值时，将场景变换候选帧作为场景变换帧。
27.如权利要求26所述的方法，其特征在于，还包括：
当所累积的场景变换候选帧的数量不等于预设基准值时，将场景变换候选帧调整成与差值相同的数量；以及
基于所调整的场景变换候选帧而更新所累积的场景变换候选帧的数量。
28.如权利要求27所述的方法，其特征在于，调整场景变换帧的步骤包括：
当所确定的场景变换候选帧数量小于预置基准值时，将位于所确定的场景变换候选帧的每个生成时间之间差值最大的场景变换候选帧之间的帧的一个设置为场景变换候选帧。
29.如权利要求28所述的方法，其特征在于，位于场景变换候选帧之间的帧为场景变换预备候选帧。
30.如权利要求27所述的方法，其特征在于，确定场景变换帧的步骤包括：
当所确定的场景变换候选帧的数量大于预置基准值时，将在所确定的场景变换候选帧各生成时间之间具有最小差值的场景变换候选帧移除。
31.一种移动通信终端，包括：
联接于移动通信终端以捕获视频记录的视频记录器；
存储视频记录的存储器；
显示存储在存储器中的视频记录的显示装置；以及
处理器，所述处理器共同作用于视频记录器、存储器和显示装置以执行下列步骤：
在搜索所要求场景时，通过将当前帧至少某一数量的像素与基准帧的像素进行比较以确定当前帧是否被用作可由用户稍后观看的场景变换帧，根据视频记录帧而处理所存储的视频记录；
将与一个或多个场景变换帧相关的场景变换帧信息插入存储在存储器中的视频记录的适当部分；以及
根据用户请求而显示场景变换帧以利于在视频记录中搜索场景。
32.如权利要求31所述的终端，其特征在于，基准帧是视频记录中的每第n个帧。
33.如权利要求31所述的终端，其特征在于，通过计算当前帧中的像素运动值与基准帧中的像素运动值之间的差而进行比较。
34.如权利要求31所述的终端，其特征在于，如果与基准帧比较，当前帧在图像运动中包含更多变化，则当前帧为场景变换帧。
35.如权利要求34所述的终端，其特征在于，当与基准帧中的像素亮度值进行比较时，通过比较当前帧中的像素亮度值而确定图像运动中的变化。
36.如权利要求31所述的终端，其特征在于，场景变换帧信息以允许由用户预览的格式出现。
37.如权利要求31所述的终端，其特征在于，场景变换帧信息包括表示在视频记录的持续期间内的每个场景变换帧的唯一时点的时间数据。
38.一种移动通信终端，包括：
接收包括视频记录的信号的收发器；
用于存储所接收的视频记录的存储器；
用于显示存储在存储器中的视频记录的显示装置；以及
处理器，所述处理器共同作用于收发器、存储器和显示装置以执行下列步骤：
基于与一个或多个被插入到视频记录适当部分的场景变换帧相关的场景变换帧信息而确定视频记录中场景变换帧的总数；
添加补充场景变换帧或移除多余场景变换帧，直到确定的场景变换帧的总数与基准值匹配；以及
基于用户请求显示场景变换帧以利于在视频记录中搜索场景。
39.如权利要求31所述的终端，其特征在于，基于毗邻的场景变换帧之间的时间间隔执行添加或移除步骤。
CN2005101290816A 2004-12-08 2005-12-08 用于搜索移动通信终端视频的装置和方法 Expired - Fee Related CN1787635B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020040103140A KR100652703B1 (ko) 2004-12-08 2004-12-08 휴대단말기의 동영상 검색장치 및 방법
KR10-2004-0103140 2004-12-08
KR1020040103140 2004-12-08

Publications (2)

Publication Number Publication Date
CN1787635A true CN1787635A (zh) 2006-06-14
CN1787635B CN1787635B (zh) 2010-11-03

Family

ID=36190476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101290816A Expired - Fee Related CN1787635B (zh) 2004-12-08 2005-12-08 用于搜索移动通信终端视频的装置和方法

Country Status (5)

Country Link
US (1) US7821528B2 (zh)
EP (1) EP1670244A3 (zh)
JP (1) JP4644108B2 (zh)
KR (1) KR100652703B1 (zh)
CN (1) CN1787635B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110336943A (zh) * 2019-07-03 2019-10-15 北京迈格威科技有限公司 一种场景识别方法和装置
CN112839257A (zh) * 2020-12-31 2021-05-25 四川金熊猫新媒体有限公司 视频内容检测方法、装置、服务器及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8199796B2 (en) 2006-12-22 2012-06-12 Newport Media, Inc. Physical layer aware video encoding for mobile TV applications
JP4420085B2 (ja) * 2007-08-20 2010-02-24 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
JP2011529293A (ja) * 2008-07-23 2011-12-01 エルティーユー テクノロジーズ エスエーエス フレームに基づくビデオマッチング
KR101050255B1 (ko) * 2009-08-25 2011-07-19 주식회사 노매드커넥션 동영상 장면 분할 시스템 및 방법
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
US20170017839A1 (en) * 2014-03-24 2017-01-19 Hitachi, Ltd. Object detection apparatus, object detection method, and mobile robot
US9723377B2 (en) * 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
KR20160084635A (ko) * 2015-01-06 2016-07-14 삼성전자주식회사 영상 출력을 위한 디스플레이 장치 및 방법
US9800825B2 (en) * 2015-03-02 2017-10-24 Chih-Ta Star Sung Semiconductor display driver device, mobile multimedia apparatus and method for frame rate conversion
US10945014B2 (en) * 2016-07-19 2021-03-09 Tarun Sunder Raj Method and system for contextually aware media augmentation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554085A (ja) * 1991-08-28 1993-03-05 Fuji Xerox Co Ltd 動画像検索支援装置
JP3472659B2 (ja) * 1995-02-20 2003-12-02 株式会社日立製作所 映像供給方法および映像供給システム
JPH10243352A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像情報記録再生装置
JP3926497B2 (ja) * 1999-01-13 2007-06-06 シャープ株式会社 インデックス画像表示装置
JP3983981B2 (ja) * 1999-02-05 2007-09-26 サムスン エレクトロニクス カンパニー リミテッド デジタル映像処理方法及びその装置
US6807306B1 (en) * 1999-05-28 2004-10-19 Xerox Corporation Time-constrained keyframe selection method
US6553069B1 (en) * 1999-06-17 2003-04-22 Samsung Electronics Co., Ltd. Digital image segmenting method and device
KR100304653B1 (ko) * 1999-12-18 2001-10-17 윤종용 모션 검출장치
KR100664010B1 (ko) * 2000-05-15 2007-01-03 엘지전자 주식회사 부가정보를 이용한 영상신호의 재생 장치 및 방법
JP4000844B2 (ja) * 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
JP4100939B2 (ja) * 2002-03-15 2008-06-11 三洋電機株式会社 放送視聴記録再生装置
JP3936666B2 (ja) * 2003-02-20 2007-06-27 日本電信電話株式会社 動画像中の代表画像抽出装置，動画像中の代表画像抽出方法，動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体
US7127127B2 (en) * 2003-03-04 2006-10-24 Microsoft Corporation System and method for adaptive video fast forward using scene generative models
JP2004320646A (ja) * 2003-04-18 2004-11-11 Matsushita Electric Ind Co Ltd 代表画像表示方法及び代表画像表示装置
US7552387B2 (en) * 2003-04-30 2009-06-23 Hewlett-Packard Development Company, L.P. Methods and systems for video content browsing
KR100565309B1 (ko) * 2003-11-25 2006-03-30 엘지전자 주식회사 캠코더 기능을 가진 이동통신 단말기의 마이크 전환 장치및 방법
KR100713501B1 (ko) * 2004-10-05 2007-05-02 삼성전자주식회사 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110336943A (zh) * 2019-07-03 2019-10-15 北京迈格威科技有限公司 一种场景识别方法和装置
CN112839257A (zh) * 2020-12-31 2021-05-25 四川金熊猫新媒体有限公司 视频内容检测方法、装置、服务器及存储介质
CN112839257B (zh) * 2020-12-31 2023-05-09 四川金熊猫新媒体有限公司 视频内容检测方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
EP1670244A3 (en) 2011-12-07
KR100652703B1 (ko) 2006-12-01
JP4644108B2 (ja) 2011-03-02
EP1670244A2 (en) 2006-06-14
US7821528B2 (en) 2010-10-26
CN1787635B (zh) 2010-11-03
US20060120670A1 (en) 2006-06-08
KR20060064328A (ko) 2006-06-13
JP2006185439A (ja) 2006-07-13

Similar Documents

Publication Publication Date Title
CN1787635A (zh) 用于搜索移动通信终端视频的装置和方法
CN1112037C (zh) 录制与再生数据的装置与方法
CN1968416A (zh) 用于显示图像的装置和方法
CN1947344A (zh) 无线终端中多数据处理装置和方法
CN1766839A (zh) 遥控系统及遥控系统所采用的装置
CN1806291A (zh) 视频重放设备、视频重放方法及视频重放程序
CN1845577A (zh) 图像处理设备和方法、记录介质和程序
CN101076111A (zh) 一种获取视频流中关键帧段定位信息的方法
CN101031057A (zh) 图像记录装置和图像显示方法
CN1750632A (zh) 具有电子相册功能的显示设备及其控制方法
CN1655270A (zh) 访问内容的方法与装置
CN1703083A (zh) 移动图像处理装置和方法
CN1516455A (zh) 重放设备
CN101056150A (zh) 数字多媒体广播终端的时移装置和方法
CN1286317C (zh) 数字电视及其信息的提供方法
CN1364263A (zh) 文件自动发送系统
CN1732685A (zh) 视频内容动态搜索的方法和装置
CN1592391A (zh) 视频流处理装置和视频流处理方法
CN1195949A (zh) 图像编辑装置和图像编辑方法
CN101360204A (zh) 一种多媒体广播频道历史数据的记录方法和终端
CN1956090A (zh) 电子设备、再生管理方法、显示控制设备及显示控制方法
CN1207557A (zh) 视频信号记录、重现、记录和重现装置与方法及记录介质
CN1794799A (zh) 一种节目录制装置以及录制方法
CN1784898A (zh) 视频再现设备及其智能跳转方法
CN101080924A (zh) 数据处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101103

Termination date: 20181208

CF01 Termination of patent right due to non-payment of annual fee