CN102194493A - 图像处理装置、图像处理方法以及图像处理系统 - Google Patents

图像处理装置、图像处理方法以及图像处理系统 Download PDF

Info

Publication number
CN102194493A
CN102194493A CN2011100464426A CN201110046442A CN102194493A CN 102194493 A CN102194493 A CN 102194493A CN 2011100464426 A CN2011100464426 A CN 2011100464426A CN 201110046442 A CN201110046442 A CN 201110046442A CN 102194493 A CN102194493 A CN 102194493A
Authority
CN
China
Prior art keywords
scene
image
mentioned
concern
live image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100464426A
Other languages
English (en)
Inventor
相泽知祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN102194493A publication Critical patent/CN102194493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/02—Detecting movement of traffic to be counted or controlled using treadles built into the road
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022—Control panels
    • G11B19/025—'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F11/00—Road engineering aspects of Embedding pads or other sensitive devices in paving or other road surfaces, e.g. traffic detectors, vehicle-operated pressure-sensitive actuators, devices for monitoring atmospheric or road conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种图像处理装置、图像处理方法以及图像处理系统，能够降低从图像处理装置传送到移动终端的活动图像的数据量，并且在该活动图像中不会损伤关注场景的前后的连接。图像处理装置包括：关键词检测部(25)，从构成活动图像的声音或帧中检测从输入到DVD记录器(1)的表示用户关心的事项的关注信息中提取出的关注特征量；关注场景确定部(23)，将至少包括在活动图像中检测出关注特征量的基准时间点的时间段确定为关注场景；以及画质降低部(22)，将在活动图像中、关注场景确定部(23)确定的关注场景以外的时间段的画质降低，从而生成活动图像的低画质活动图像。

Description

图像处理装置、图像处理方法以及图像处理系统
技术领域
本发明涉及将储存在本装置中的活动图像数据传送到移动终端的图像处理装置、图像处理方法、图像处理系统、控制程序以及记录介质。
背景技术
近年来，记录器等活动图像记录装置的存储容量急速增大，用户能够大量地录下电视节目等(视频内容)的活动图像数据。但是，产生了如下的问题：虽然在记录器中大量地录下了电视节目，但用户在家时不能确保视听时间的情况下，想要视听录下的节目也不能视听完。
作为这个问题的解决方法，开发了如下的技术：将在记录器等的活动图像记录装置中录下的活动图像数据传送到移动电话机等的、可再现活动图像数据的移动视听终端。例如，在专利文献1中，公开了如下的活动图像视听控制装置：对从广播台或通信站发布的活动图像进行编码而储存，并将储存的活动图像传送到移动视听终端。根据这样的以往技术，用户除了可利用活动图像记录装置的在家时之外，外出时等也能够阅览活动图像记录装置在移动视听终端上储存的活动图像。
但是，一般，移动视听终端与记录器或PC等相比，存储容量非常小，所以可从活动图像图像记录装置传送的活动图像的数据量存在界限。即，有时不能将储存在活动图像记录装置中的活动图像数据全部存储到移动视听终端中。
此外，从活动图像记录装置传送到移动视听终端的活动图像数据的数据量越多，传送时间也增加。因此，用户想要在移动视听终端上视听的视频内容越增加，在移动视听终端上视听所需的准备越花时间，便利性变差。
进而，用户想要在视频内容中视听关心的特定的场景的情况下，需要操作移动视听终端，频繁地进行快进再现或后退再现而搜索特定的场景。由于在移动视听终端上视听的情况下，用户没有充分的时间的情况较多，所以不能立即再现用户关心的特定的场景是不方便的。此外，若频繁地操作移动视听终端，则相应地增加电池消耗，所以期望尽可能减少在移动视听终端上的操作。
因此，作为这些问题的解决方法，开发了如下的技术：从各个视频内容的活动图像数据中，提取用户关心的特定的场景(关注场景)的活动图像数据，仅将提取出的活动图像数据发送到移动视听终端。例如，在专利文献2中，公开了如下的活动图像储存装置：预先存储用于搜索用户高度关心的场景的条件，并基于存储的条件，对储存的活动图像进行分析，从而确定用户高度关心的场景(关注场景)，并将与确定的关注场景有关的信息(选择信息)通知到移动视听终端。移动视听终端能够利用通知到的选择信息，从活动图像储存装置中仅接收关注场景的活动图像数据。
因此，能够减少从活动图像记录装置传送到移动视听终端的数据量。
【专利文献1】(日本)特开2005-277869号公报(2005年10月6日公开)
【专利文献2】(日本)特开2004-173120号公报(2004年6月17日公开)
【非专利文献1】奥富正敏、ほか著「デイジタル画像処理」CG-ARTS協会出版、2007年3月1日(第二版二刷)、P.208～210、12-2節「特徴点検出」
但是，在上述的以往技术中，存在如下的问题：由于移动视听终端仅接收关注场景的活动图像数据，所以用户在移动视听终端上不能视听关注场景的前后的活动图像。因此，用户不能得知直到关注场景为止的经过或关注场景之后的展开等关注场景的前后的连接。
发明内容
本发明是鉴于上述的问题点而完成的，其目的在于，实现一种图像处理装置、图像处理方法、图像处理系统、控制程序以及记录介质，其能够降低从本装置传送到移动终端等的活动图像的数据量，并且在该活动图像中不会损伤关注场景的前后的连接。
为了解决上述课题，本发明的图像处理装置的特征在于，包括：关注信息检测部件，检测构成动画的声音或帧，该声音或帧包括与从输入到本装置的表示用户关心的事项的关注信息中提取出的关注特征量一致的特征量；关注场景确定部件，在上述活动图像的再现时间轴上，将包括基准时间点的时间段作为关注场景而确定，该基准时间点是上述关注信息检测部件检测出的声音或帧的时刻；以及低画质活动图像生成部件，将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的画质降低，从而生成上述活动图像的低画质活动图像。
为了解决上述课题，本发明的图像处理方法的特征在于，包括：关注信息检测步骤，检测构成活动图像的声音或帧，该声音或帧包括与从表示用户关心的事项的关注信息中提取出的关注特征量一致的特征量；关注场景确定步骤，在上述活动图像的再现时间轴上，将包括基准时间点的时间段确定为关注场景，该基准时间点是在上述关注信息检测步骤中检测出的声音或帧的时刻；以及低画质活动图像生成步骤，在上述活动图像中，将在上述关注场景确定步骤中确定的关注场景以外的时间段的画质降低，从而生成上述活动图像的低画质活动图像。
根据上述结构，上述关注信息检测部件检测构成上述活动图像的声音或帧，该声音或帧包括与从输入到本装置的关注信息中提取出的关注特征量一致的特征量。由于上述关注特征量是从表示用户关心的事项的关注信息中提取出的特征量，所以包括与上述关注特征量一致的特征量的声音或帧被认为是用户最具关心、想要视听的场景的一部分。因此，上述关注场景确定部件在上述活动图像的再现时间轴上，将包括基准时间点的时间段确定为关注场景，该基准时间点是上述关注信息检测部件检测出的声音或帧的时刻。并且，上述低画质活动图像生成部件将上述关注场景以外的时间段的画质降低，从而生成上述活动图像的低画质活动图像。
因此，在生成的低画质活动图像中，维持用户也许关注的关注场景的画质的同时只有上述关注场景以外的时间段的画质成为低画质。即，生成的低画质活动图像是如下的活动图像：对用户关注的关注画面维持原来的画质，包括关注场景的前后的信息，并且与原来的活动图像相比整体的数据量减少。因此，能够在将生成的低画质活动图像传送到其他装置中使用，此时，能够起到如下效果：降低传送时间，且用户在其他装置上也能够视听关注场景的前后的场景。
此外，在本发明的图像处理装置中，优选地，上述关注场景确定部件将检测出上述关注特征量的时间点作为基准时间点，并将从上述基准时间点的规定时间前的时间点至上述基准时间点的规定时间后的时间点为止的时间段确定为关注场景。
根据上述结构，通过适当地设定上述规定的时间，从而能够将用户关心的场景确定为关注场景。另外，上述规定的时间既可以用户任意设定，也可以预先设定装置固有的值。
此外，在本发明的图像处理装置中，优选地，上述关注信息检测部件检测构成活动图像的声音或帧，该声音或帧包括与从输入到本装置的表示与用户不关心的场景有关的信息的非关注信息中提取出的非关注特征量一致的特征量，上述关注场景确定部件将上述关注信息检测部件检测出的、包括上述非关注特征量的声音或帧的时刻且在该时刻中、上述基准时间点之后的时刻，作为关注场景的结束时间点。
根据上述结构，将检测出从表示与用户不关心的场景有关的信息的非关注信息中提取出的非关注特征量的时间点，作为关注场景的结束时间点。即，在从反映了用户关心的事项的场景切换为用户不关心的场景的时间点，关注场景结束。因此，能够将反映了用户关心的事项的时间段有效且自动地确定为关注场景。
此外，在本发明的图像处理装置中，优选地，包括场景切换时间点检测部件，该场景切换时间点检测部件在上述活动图像中，检测帧之间的图像的变化量成为规定以上的场景切换时间点，上述关注场景确定部件从上述场景切换时间点检测部件检测出的场景切换时间点中选择上述关注场景的时间段的开始时间点和结束时间点的至少一个。
根据上述结构，上述关注场景确定部件从上述活动图像中帧之间的图像的变化量成为规定以上的场景切换时间点中选择上述关注场景的时间段的开始时间点和结束时间点的至少一个。预想在上述活动图像中，上述场景切换时间点的前后的内容大幅改变。因此，通过将上述场景切换时间点设定在关注场景的时间段的开始时间点和结束时间点的其中一个，从而能够将反映了用户关心的事项的时间段有效且自动地确定为关注场景。
此外，在本发明的图像处理装置中，优选地，上述关注场景确定部件从上述场景切换时间点检测部件检测出的多个场景切换时间点中，将上述基准时间点紧跟前的场景切换时间点和上述基准时间点紧接着的场景切换时间点分别选择作为上述关注场景的时间段的开始时间点和结束时间点。
根据上述结构，上述关注场景确定部件将上述基准时间点紧跟前的场景切换时间点和上述基准时间点紧接着的场景切换时间点选择作为关注场景的时间段的开始时间点和结束时间点。因此，将反映了用户关心的事项的时间点的紧跟前和紧接着的内容大幅改变的时间点选择作为关注场景的时间段的开始时间点和结束时间点。因此，能够将反映了用户关心的事项的时间段有效且自动地确定为关注场景。
此外，在本发明的图像处理装置中，优选地，上述关注场景确定部件从上述多个场景切换时间点中，分别选择该时间段的开始时间点和结束时间点，使得上述关注场景的时间段成为规定时间以上。
根据上述结构，上述关注场景确定部件从上述多个场景切换时间点中，分别选择该时间段的开始时间点和结束时间点，使得上述关注场景的时间段成为规定时间以上。例如，即使是用户关心的事项为互不相同的多个连续的场景的情况下，也能够通过适当地设定上述规定时间来设定关注场景，使得包括反映了用户关心的事项的时间点的前后的规定时间以内的场景。
此外，在本发明的图像处理装置中，优选地，上述关注信息包括文本数据、图像数据和声音数据中的至少一个。
此外，在本发明的图像处理装置中，优选地，上述低画质活动图像生成部件将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的分辨率降低。
此外，在本发明的图像处理装置中，优选地，上述低画质活动图像生成部件将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的活动图像压缩率提高。
此外，在本发明的图像处理装置中，优选地，上述低画质活动图像生成部件将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的帧率降低。
此外，在本发明的图像处理装置中，优选地，上述低画质活动图像生成部件比较规定的帧的图像和该规定的帧的图像之前的帧的图像，从而间隔剔除帧之间的图像的变化量小于规定的阈值的上述规定的帧，从而降低帧率。
此外，在本发明的图像处理系统中，优选地，包括：上述图像处理装置；以及可再现活动图像的移动终端，上述图像处理装置将生成的上述低画质活动图像传送到上述移动终端。
此外，在本发明的图像处理系统中，优选地，上述图像处理装置将表示上述活动图像中的上述关注场景的时间段的信息传送到上述移动终端。
根据上述结构，上述图像处理装置将表示上述活动图像中的上述关注场景的时间段的信息传送到上述移动终端。因此，移动终端能够明确知道接收到的低画质活动图像中的关注场景的时间段的开始时间点和结束时间点。因此，用户在移动终端上再现低画质活动图像的情况下，不需要频繁地进行快进再现或后退再现而搜索关注场景，通过简单的操作就能够仅视听关注场景。此外，由于用户的操作量降低，所以也能够降低在移动终端中消耗的电力。
此外，在本发明的图像处理方法中，优选地，还包括：传送步骤，将在上述低画质活动图像生成步骤中生成的低画质活动图像传送到移动终端。
另外，上述图像处理装置也可以通过计算机实现，此时，通过使计算机作为上述图像处理装置的各个部件动作，从而由计算机实现上述图像处理装置的控制程序、以及记录了该控制程序的计算机可读取的记录介质也属于本发明的范畴。
由以上所述，本发明的图像处理装置包括：关注信息检测部件，从构成活动图像的声音或帧中检测从输入到本装置的表示用户关心的事项的关注信息中提取出的关注特征量；关注场景确定部件，在上述活动图像中，将包括检测出上述关注特征量的基准时间点的时间段作为关注场景而确定；以及低画质活动图像生成部件，将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的画质降低，从而生成上述活动图像的低画质活动图像。
此外，本发明的图像处理方法包括：关注信息检测步骤，从构成活动图像的声音或帧中检测从输入到本装置的表示用户关心的事项的关注信息中提取出的关注特征量；关注场景确定步骤，在上述活动图像中，将包括检测出上述关注特征量的基准时间点的时间段作为关注场景而确定；以及低画质活动图像生成步骤，将在上述活动图像中、在上述关注场景确定步骤中确定的关注场景以外的时间段的画质降低，从而生成上述活动图像的低画质活动图像。
因此，起到如下效果：在将生成的低画质活动图像传送到移动终端等的其他装置的情况下，能够降低传送时间，且用户能够在其他装置上视听关注场景的前后的场景。
附图说明
图1是表示本发明的实施方式的图，是表示DVD记录器的主要部分结构的方框图。
图2是表示本发明的图像处理系统的概要的图。
图3是表示在字符信息存储部中存储的字符信息的一例的图。
图4是表示与在基准帧存储部中存储的基准帧有关的信息的一例的图。
图5是表示与在关注场景存储部中存储的关注场景有关的信息(关注场景列表)的一例的图。
图6是表示本发明的实施方式的图，是表示移动电话机的主要部分结构的方框图。
图7是表示DVD记录器进行的处理的一例的流程图。
图8是说明本发明的DVD记录器、显示装置(电视机)、以及操作部(遥控器)的外观、用户输入目标的关键词(字符串)的情况的图。
图9是表示相对于已检测字符的区域的、用于检索下一个字符的检索对象区域的一例的图。
图10是表示关注场景的时间段和关注场景以外的时间段的一例的图。
标号说明
1图像处理装置
2移动终端
3图像处理系统
10控制部
22画质降低部(低画质活动图像生成部件)
23关注场景确定部(关注场景确定部件)
25关键词检测部(关键词检测部件)
29场景切换时间点检测部(场景切换时间点检测部件)
具体实施方式
《实施方式1》
基于附图说明本发明的实施方式，则如下。首先，基于图2说明本实施方式的图像处理系统3的概要。
【图像处理系统3的概要】
图2是表示图像处理系统3的概要的图。如图2所示，图像处理系统3包括图像处理装置1和移动终端2。图像处理装置1和移动终端2通过有线或无线的通信部件连接，可发送接收活动图像数据。例如，图像处理装置1和移动终端2也可以利用无线LAN发送接收数据，或者也可以通过USB电缆等连接。此外，也可以使用SD卡等的存储卡等而在图像处理装置1和移动终端2之间交换数据。在本实施方式中，以图像处理装置1为录下活动图像或者将录下的活动图像再现并显示的DVD记录器1，移动终端2为可再现活动图像的移动电话机2的情况为例进行说明。
另外，本发明的图像处理装置1并不限定于DVD记录器，只要是可处理图像的图像处理装置，则可以是任何装置。例如，可应用DVD播放器、数字视频记录器/播放器、蓝光盘记录器/播放器、数字摄像机、数字照相机、数字电视、个人计算机、移动电话机、打印机、扫描仪等处理静止图像和/或活动图像的各种图像处理装置，但并不限定于此。此外，本发明的移动终端2并不限定于移动电话机，只要是可再现活动图像且可移动的移动终端，则可以是任何装置。例如，可应用数字摄像机、数字照相机、PDA(Personal Digital Assistant，个人数字助理)、笔记本型个人计算机、移动游戏机等具有活动图像再现功能的各种移动终端，但并不限定于此。
此外，如图2所示，图像处理系统3也可以为了提高图像处理装置1的操作性而包括显示关键词输入画面等的显示装置12。图像处理装置1和显示装置12通过有线或无线的通信部件连接，发送接收活动图像数据等。在本实施方式中，以显示装置12为显示活动图像和菜单画面的数字电视的情况为例进行说明。
具体地说，显示装置12显示图像处理装置1处理的图像，或者将用户用于操作图像处理装置1的操作画面作为GUI(Graphical User Interface，图形用户界面)画面而显示。
另外，本发明的显示装置12并不限定于数字电视，只要是能够显示图像的显示装置，则可以是任何装置。例如，可应用LCD(液晶显示器)、有机EL显示器、等离子显示器等显示图像的各种显示装置，但并不限定于此。
此外，在图像处理系统3包括显示装置12的情况下，如图2所示，图像处理装置1和显示装置12可以是不同的装置，但并不限定于此。例如，也可以是图像处理装置1包括显示部，具有显示装置12的功能。
【DVD记录器1的结构】
接着，基于图1说明作为图像处理装置1的DVD记录器1的结构。图1是表示本发明的实施方式中的DVD记录器1的主要部分结构的方框图。
如图1所示，本实施方式的DVD记录器1包括控制部10、存储部11、操作部13、暂时存储部14、通信部16以及作为在这些各个部中进行数据的发送接收的公共的信号线的总线15。
操作部13是用户对DVD记录器1输入指示信号，用于对DVD记录器1进行操作的部。
DVD记录器1也可以包括可经由总线15直接进行数据发送接收的操作部13，但并不限定于这样的结构。
在本实施方式中，作为一例，操作部13也可以作为上述数字电视和该DVD记录器1共用的遥控器实现。与在操作部13中设置的按钮(十字键、决定键、字符输入键等)对应的信号在其按钮被按下时，作为红外线信号而从操作部13的发光部输出，并经由在DVD记录器1或上述数字电视的主体中设置的受光部而输入到DVD记录器1或数字电视中。经由DVD记录器1的受光部(未图示)接收到的信号经由总线15而提供给控制部10，控制部10进行对应于上述信号的动作。
通信部16通过无线通信部件或有线通信部件，与移动电话机2或显示装置12等的其他装置进行通信，进行数据的交换。例如，也可以是通信部16具有天线和调谐器的功能，接收电视等的电波。此外，例如，也可以是通信部16作为外部接口起作用，通过HDMI(High Definition Multimedia Interface，高清多媒体接口)电缆等而与显示装置12连接。进而，例如，也可以是通信部16作为外部接口起作用，从与通信部16连接的PC、存储卡、闪速存储器等中接收活动图像数据，也可以对与通信部16连接的PC、存储卡、闪速存储器等输出活动图像数据。
控制部10通过执行从存储部11读出到暂时存储部14的程序，从而进行各种运算，并且经由总线15统一控制DVD记录器1包括的各个部。
在本实施方式中，控制部10是作为功能模块而包括活动图像录像部20、活动图像再现部21、画质降低部(低画质活动图像生成部件)22、关注场景确定部(关注场景确定部件)23、关键词分析部24、关键词检测部(关注信息检测部件)25、静止图像生成部26、特征量提取部27以及场景切换时间点检测部(场景切换时间点检测部件)29的结构。CPU(central processing unit，中央处理单元)通过将在由ROM(read only memory，只读存储器)等实现的存储装置中存储的程序读出到由RAM(random access memory，随机存取存储器)等实现的暂时存储部14中执行，从而能够实现这些控制部10的各个功能模块(20～27)。
活动图像录像部20将通信部16接收到的活动图像存储到活动图像存储部30。
活动图像再现部21将在活动图像存储部30中存储的活动图像读出，并对其施加用于输出到外部的处理，从而再现活动图像。在输入了再现/显示活动图像的指示的情况下，活动图像再现部25已进行了处理的活动图像被暂时存储到图像存储器14a中，在未图示的显示控制部的控制之下，按每个帧经由通信部16而输出到显示装置12。
画质降低部22将在活动图像存储部30中存储的活动图像读出，将关注场景确定部23确定的关注场景的画质相对提高，将关注场景以外的场景的画质相对降低。具体地说，画质降低部22也可以对关注场景，将图像数据的分辨率相对提高，对关注场景以外的场景，将图像数据的分辨率相对降低。此外，画质降低部22也可以对关注场景，将活动图像压缩率相对降低，对关注场景以外的场景，将活动图像压缩率相对提高。此外，画质降低部22也可以对关注场景，将帧率相对提高，对关注场景以外的场景，将帧率相对降低。画质降低部22也可以比较规定的帧的图像和该规定的帧的前后的帧的图像，从而间隔剔除帧之间的图像的变化量小于规定的阈值的上述规定的帧，从而降低帧率。
关注场景确定部23在上述活动图像的再现时间轴上，将包括基准时间点的时间段确定为关注场景，该基准时间点是关键词检测部25检测出的声音或帧的时刻。此外，关注场景确定部23也可以将从基准时间点的规定的时间前的时间点至基准时间点的规定的时间后的时间点为止的时间段确定为关注场景。此外，关注场景确定部23也可以将在关键词检测部25检测出的基准帧的时刻之后、检测出上述非关注特征量的时间点，作为关注场景的结束时间点。此外，关注场景确定部23也可以从场景切换时间点检测部29检测出的场景切换时间点中，选择关注场景的时间段的开始时间点和结束时间点的至少一个。此外，关注场景确定部23也可以从场景切换时间点检测部29检测出的多个场景切换时间点中，将基准时间点紧跟前的场景切换时间点和基准时间点紧接着的场景切换时间点分别选择作为关注场景的时间段的开始时间点和结束时间点。此外，关注场景确定部23也可以从场景切换时间点检测部29检测出的多个场景切换时间点中，分别选择关注场景的时间段的开始时间点和结束时间点，使得关注场景的时间段成为规定时间以上。
此外，关注场景确定部23也可以包括基准帧记录部28。
关键词分析部24从输入到本装置的、表示用户关心的事项的关注信息中提取关注特征量。此外，关键词分析部24从输入到本装置的、表示与用户不关心的场景有关的信息的非关注信息中提取非关注特征量。这里，关注信息和非关注信息是包括文本数据、图像数据和声音数据中的至少一个的数据。在本实施方式中，作为关注信息和非关注信息，以关键词(字符串，即文本数据)的情况为例进行说明。
在关注信息和非关注信息为文本数据的情况下，关键词分析部24从在字符信息存储部31中存储的字符信息中包含的字符代码中检索与输入到本装置的关键词的字符代码相同的字符代码，并将与和关键词的字符代码一致的、包含在字符信息中的字符代码相关联的特征量，作为输入到本装置的关键词的特征量而提取。
此外，在关注信息和非关注信息为图像数据的情况下，关键词分析部24使用非专利文献1中记载的技术等，提取输入到本装置的图像数据的特征量。此外，在关注信息和非关注信息为声音数据的情况下，关键词分析部24从声音数据变换为文本数据，与上述相同地，从文本数据中提取文本数据的特征量。
关键词检测部25检测包括与关键词分析部24提取出的关注特征量一致的特征量的、构成活动图像的声音或帧。此外，关键词检测部25检测包括与关键词分析部24提取出的非关注特征量一致的特征量的、构成活动图像的声音或帧。在本实施方式中，关键词检测部25从作为构成活动图像的帧的静止图像中检测关注特征量和非关注特征量。
另外，在关键词检测部25检测包括与关注特征量(非关注特征量)一致的特征量的、构成活动图像的声音的情况下，首先，未图示的声音数据提取部从在活动图像存储部30中存储的活动图像中提取声音数据。然后，特征量提取部27从声音数据作为特征量而提取文本数据。另一方面，关键词分析部24也从关注信息和非关注信息中，作为特征量而提取文本数据。然后，关键词检测部25检测在从活动图像中提取出的声音数据中提取出的文本数据中是否包含有作为关注信息和非关注信息的特征量的文本数据。
静止图像生成部26从在活动图像存储部30中存储的活动图像的各个帧中提取成为执行关键词检测处理的对象的帧，生成处理对象的静止图像。静止图像生成部26可以将在活动图像中包含的全部帧分别作为静止图像，在本实施方式中，以规定秒为间隔或以规定帧为间隔，执行提取成为处理对象的静止图像的处理。
特征量提取部27使用在非专利文献1中记载的技术等，从静止图像生成部26生成的静止图像，提取用于关键词检测处理的特征量。只要是关键词检测部25能够检测在构成活动图像的声音或帧中是否包含输入到本装置的文本数据、图像数据或声音数据等的关注信息(非关注信息)，则本发明的DVD记录器1使用的特征量可以是任意的。
基准帧记录部28将与关注场景确定部23确定的基准帧有关的信息存储到基准帧存储部32。具体地说，基准帧记录部28，作为与基准帧有关的信息，将基准帧ID、检测基准帧时使用的关键词、基准帧的时刻(时间点)、以及基准帧的图像(缩略图)存储到基准帧存储部32。
场景切换时间点检测部29检测在活动图像中帧之间的图像的变化量成为规定以上的场景切换时间点。具体地说，场景切换时间点检测部29比较帧的图像和该帧的前后的帧的图像，计算该帧的图像的变化量(两个图像的差分等)，判定计算出的图像的变化量是否超出规定的阈值(场景切换阈值)。然后，场景切换时间点检测部29检测判定为计算出的图像的变化量超出规定的阈值的帧的时刻(时间点)作为场景切换时间点。
存储部11存储控制部10执行的控制程序和OS程序、以及在控制部10执行DVD记录器1具有的各种功能(例如，关注场景确定处理、画质降低处理等)时读出的各种固定数据。在本实施方式中，在存储部11中，例如包括活动图像存储部30、字符信息存储部31、基准帧存储部32、关注场景存储部33以及低画质活动图像存储部34，存储各种固定数据。存储部11例如由作为可改写内容的非易失性存储器的、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、闪速存储器等实现。另外，作为存储不需要改写内容的信息的存储部，如上所述，也可以由作为与存储部11不同的、未图示的、读出专用的半导体存储器的ROM等实现。
活动图像存储部30存储活动图像录像部20录下的活动图像。
字符信息存储部31存储在关键词检测部25执行关键词检测处理时利用的字符的信息，作为字符数据库起作用。图3是表示在字符信息存储部31中存储的字符信息的一例的图。如图3所示，在字符信息存储部31中，存储有用于按每个字符唯一识别字符的字符代码以及该字符的特征量。
基准帧存储部32存储有关基准帧的信息(基准帧列表)。在基准帧列表中，有“活动图像ID”、“基准帧ID”、“关键词”、“时刻(t_detect)”以及“缩略图”的项目。在基准帧列表中，至少包括“时刻(t_detect)”的项目即可。“活动图像ID”是唯一识别活动图像的识别信息。“基准帧ID”是唯一识别关注场景确定部23确定的基准帧的识别信息。“关键词”是在检测相关联的基准帧时使用的关键词，存储有该关键词的字符串。“时刻(t_detect)”是相关联的基准帧的时刻(基准时间点)，存储有活动图像上的基准时间点的时刻。“缩略图”是相关联的基准帧的图像，存储有该图像的文件名。
关注场景存储部33存储与关注场景确定部23确定的关注场景有关的信息(关注场景列表)。在关注场景列表中，有“活动图像ID”、“关注场景ID”、“关键词”、“开始时刻”、“结束时刻”以及“缩略图”的项目。在关注场景列表中，至少包括“开始时刻”和“结束时刻”的项目即可。“活动图像ID”是唯一识别活动图像的识别信息。“关注场景ID”是唯一识别关注场景确定部23确定的关注场景的识别信息。“关键词”是检测在确定相关联的关注场景时成为基准的基准帧时使用的关键词，存储有该关键词的字符串。“开始时刻”表示关注场景的时间段的开始时间点，存储有开始时间点的活动图像上的时刻。“结束时刻”表示关注场景的时间段的结束时间点，存储有结束时间点的活动图像上的时刻。“缩略图”是在确定相关联的关注场景时成为基准的基准帧的图像，存储有该图像的文件名。另外，作为“缩略图”，除了基准帧的图像之外，只要是在关注场景的时间段中包含的帧的图像，则也可以是任意图像。例如，也可以是关注场景的时间段的开始时间点或结束时间点的帧的图像。
低画质活动图像存储部34存储画质降低部22生成的低画质活动图像。
暂时存储部14是在DVD记录器1执行的各种处理的过程中，将用于运算的数据和运算结果等暂时存储的所谓的工作存储器(working memory)，由RAM(Random Access Memory)等实现。更具体地说，静止图像生成部26将在执行图像处理时成为处理对象的图像在暂时存储部14的活动图像处理存储器14a中展开，由此，特征量提取部27能够以像素为单位对图像进行详细的分析。此外，在关键词分析部24基于由用户输入的关键词而提取关键词的特征量时，输入的上述关键词暂时存储到暂时存储部14的关键词保持部14b中。
【移动电话机2的结构】
接着，基于图6说明作为移动终端2的移动电话机2的结构。图6是表示本发明的实施方式中的移动电话机2的主要部分结构的方框图。
如图6所示，本实施方式的移动电话机2成为包括控制部40、存储部41、显示部42、操作部43、暂时存储部44、通信部46以及作为用于在这些各个部之间进行数据的发送接收的公共的信号线的总线45的结构。
显示部42显示移动电话机2处理的图像，或者将用户用于操作移动电话机2的操作画面作为GUI(Graphical User Interface，图形用户界面)画面而显示。显示部42例如由LCD(液晶显示器)、有机EL显示器等的显示装置构成。
操作部43是用于用户对移动电话机2输入指示信号并进行操作的部。在本实施方式中，操作部43例如由十字键、数字键、功能键等构成。
通信部46通过无线通信部件或有线通信部件而与图像处理装置1等的其他装置进行通信，进行数据的交换。
控制部40通过执行从存储部41读出到暂时存储部44的程序，从而进行各种运算，且经由总线45统一控制移动电话机2包括的各个部。
在本实施方式中，控制部40是作为功能模块而包括活动图像接收部51和活动图像再现部52的结构。CPU通过将在由ROM等实现的存储装置中存储的程序读出到由RAM等实现的暂时存储部44中执行，从而能够实现这些控制部10的各个功能模块(51、52)。
活动图像接收部51经由通信部46接收从DVD记录器1传送的低画质活动图像，并将接收到的低画质活动图像存储到活动图像存储部61。此外，在从DVD记录器1传送低画质活动图像的同时传送关注场景列表的情况下，活动图像接收部51经由通信部46接收低画质活动图像和关注场景列表，并将接收到的低画质活动图像存储到活动图像存储部61，将接收到的关注场景列表存储到关注场景存储部62。
活动图像再现部52对在活动图像存储部61中存储的活动图像或低画质活动图像进行再现。此外，活动图像再现部52在再现低画质活动图像时，参照在关注场景存储部62中存储的关注场景列表，从而能够从低画质活动图像中确定关注场景的时间段。
存储部41存储控制部40执行的控制程序和OS程序、以及在控制部40执行移动电话机2具有的各种功能(例如，活动图像再现处理等)时读出的各种固定数据。在本实施方式中，在存储部41中，例如包括活动图像存储部61和关注场景存储部62，存储各种固定数据。存储部41例如由作为可改写内容的非易失性存储器的、EPROM、EEPROM、闪速存储器等实现。另外，作为存储不需要改写内容的信息的存储部，如上所述，也可以由作为与存储部41不同的、未图示的、读出专用的半导体存储器的ROM等实现。
活动图像存储部61存储活动图像或者从DVD记录器1传送的低画质活动图像。
关注场景存储部62存储从DVD记录器1传送的关注场景列表。在关注场景存储部62中存储的关注场景列表的数据结构与如图5所示的、在DVD记录器1的关注场景存储部33中存储的关注场景列表相同。
暂时存储部44是在移动电话机2执行的各种处理的过程中，将用于运算的数据和运算结果等暂时存储的所谓的工作存储器(working memory)，由RAM等实现。更具体地说，活动图像再现部52将在执行活动图像的再现时成为处理对象的活动图像在暂时存储部14的活动图像处理存储器14a中展开，由此，活动图像再现部52能够从关注场景存储部62中读出关注场景列表，顺利地确定关注场景的时间段。
【DVD记录器1的处理】
接着，基于图7说明DVD记录器1的关注场景确定处理和画质降低处理。图7是表示DVD记录器1进行的处理的一例的流程图。
首先，关键词分析部24等待用户经由操作部13而输入关键词(S101)。若用户经由操作部13而输入关键词(S101为“是”)，则关键词分析部24参照字符信息存储部31，提取输入的关键词(关注信息)的特征量(关注特征量)(S102)。
接着，控制部10将定时器设置(初始化)为0(S103)，活动图像录像部20开始经由通信部16而接收的活动图像的录像的同时开始定时器的计数(S104)。
若开始活动图像的录像，则静止图像生成部26等待定时器的时刻t成为时刻t0(S105)。若定时器的时刻t成为时刻t0(S105为“是”)，则静止图像生成部26从存储有活动图像录像部20录像的活动图像的活动图像存储部30中读出时刻t0的活动图像的帧，生成读出的活动图像帧的静止图像(S106)。特征量提取部27提取静止图像生成部26生成的静止图像的特征量(S107)。
然后，关键词检测部25比较特征量提取部27提取的特征量与关键词分析部24提取的特征量，检测在静止图像生成部26生成的静止图像中是否包含有输入的关键词(S108)。若关键词检测部25检测出关键词(S109为“是”)，则关注场景确定部23将检测出关键词的静止图像的帧设为基准帧，将基准帧的时刻t设为t_detect(基准时间点)。然后，基准帧记录部28将基准帧的静止图像、基准帧的时刻、用于检测的关键词与基准帧ID相关联而记录到基准帧存储部32中(S110)。
若在S109中不能检测出关键词的情况下(S109为“否”)，或者，在S110中基准帧存储部32记录了基准帧的时刻t之后、等待时刻的推进(S111)，活动图像录像部20没有结束录像(S112为“否”)，则等待时刻成为2×t0(S105)。若时刻成为2×t0(S105为“是”)，则静止图像生成部26从活动图像存储部30中读出时刻2×t0的活动图像帧，生成静止图像(S106)。之后，与时刻t0时相同地，提取特征量，检测是否包含关键词，若能够检测出关键词，则将时刻2×t0的活动图像帧作为基准帧、将该时刻t作为t_detect而存储。
即，静止图像生成部26以一定的时间间隔(t0)从活动图像存储部30读出活动图像帧而生成静止图像。这里，将静止图像生成部26以一定的时间间隔读出的活动图像帧称为检测对象帧。然后，关键词检测部25检测是否包含关键词，若能够检测出关键词，则关注场景确定部23将当前的时刻(k×t0(k＝1、2、......、n))的检测对象帧作为基准帧而存储。直到活动图像录像部20结束录像为止进行该一系列的处理(S105～S111)。
若活动图像录像部20结束活动图像的录像(S112为“是”)，则关注场景确定部23将基准帧的时刻t_detect(基准时间点)的规定的时间t1前的时刻设为t_start，将基准帧的时刻t_detect的规定的时间t2后的时刻设为t_end，将包含在时刻t_start至时刻t_end的期间的帧确定为关注场景(S113)。关注场景确定部23将确定的关注场景的开始时刻、结束时刻、关注场景的缩略图以及用于确定关注场景的关键词与关注场景ID相关联而存储到关注场景存储部33。
然后，画质降低部22参照关注场景的开始时刻(开始时间点)和结束时刻(结束时间点)，将录在活动图像存储部30中的活动图像分为关注场景和关注场景以外的场景，将关注场景以外的场景化为低画质，从而从该活动图像生成低画质活动图像而存储在低画质活动图像存储部34(S114)。
控制部10将画质降低部22生成的低画质活动图像经由通信部16发送到移动电话机2(S115)。
即，通过生成将在活动图像中、关注场景以外的场景相对于关注场景相对降低了画质的低画质活动图像，从而能够降低从DVD记录器1传送到移动电话机2的数据量，并且能够传送包括用户关心的场景(关注场景)的前后的场景的活动图像。因此，能够缩短从DVD记录器1对移动电话机2的传送时间。与此同时，用户在移动电话机2中再现时，能够视听关注场景的前后的连接。
此外，控制部10也可以将画质降低部22生成的低画质活动图像经由通信部16发送到移动电话机2的同时将在关注场景存储部33中存储的关注场景列表也发送到移动电话机2。
此外，移动电话机2通过参照在接收到的关注场景列表中包含的开始时刻和结束时刻，能够确定在接收到的低画质活动图像中哪个位置有关注场景。即，移动电话机2将确定的关注场景的位置信息通知用户，从而用户能够通过简单的操作立即再现关注场景。换言之，在用户想要仅视听关注场景的情况下，不需要频繁地进行快进再现或后退再现而搜索关注场景，所以能够抑制移动电话机2的电池消耗。
另外，在本实施方式中，在活动图像的录像时，进行了S105～S111的处理，但并不限定于此。例如，在活动图像再现部21再现在活动图像存储部30中存储的或通信部16接收到的活动图像时，也可以将定时器的时刻t设置为0，开始活动图像的再现的同时开始定时器的计数。即，此时，直到活动图像的再现结束为止进行S105～S111的处理。此外，作为其他例子，在未图示的活动图像读出部读出在活动图像存储部30中存储的或通信部16接收到的活动图像时，也可以将定时器的时刻t设置为0，开始活动图像的读出的同时开始定时器的计数。即，此时，直到活动图像的读出结束为止进行S105～S111的处理。
此外，静止图像生成部26以每个一定的时间间隔t0读出活动图像帧而生成静止图像，但并不限定于此，也可以读出活动图像中的全部活动图像帧而生成静止图像。
此外，在本发明中，作为从用户预先指定的、用于确定关注场景的条件，并不限定于在上述中例示的关键词等的字符串。例如，也可以是人物的面部图像或对象(object)的图像、声音等。
<实施例>
接着，作为具体的事例，基于图3～5、7～10说明在棒球转播的节目中，用户关心铃木选手，作为关键词(关注信息)而设定了“铃木”的情况下的DVD记录器1的处理。在本实施例中，期望将铃木选手登场的场景确定为关注场景。在棒球转播的节目中，一般在铃木选手到击球位置的场景，显示包括“铃木”的字符串的字幕(叠印)。通过利用这个，从活动图像中检测是否包含“铃木”的字符串，从而能够自动地确定关注场景的时间段。此外，以下以检测对象帧的时间间隔t0作为1秒间进行说明。
基于图8说明在S101中用户经由操作部13输入关键词的操作。图8是说明本发明的DVD记录器1、显示装置12(电视)、以及操作部13(遥控器)的外观、用户输入目标的关键词(字符串)的情况的图。在图8所示的例子中，DVD记录器1将用于用户输入关键词的关键词输入画面输出到显示装置12，进行显示。在图8所示的例子中，显示装置12显示用户能够操作操作部13而输入指定的关键词的GUI画面。
用户通过操作操作部13，从而能够对DVD记录器1输入想要从处理对象的活动图像中找出的字符串。图8表示作为目标的字符串而输入了关键词“铃木”的例子。
若输入关键词之后，例如操作部13的决定按钮等被按下，则关键词分析部24取得输入的关键词(例如，“铃木”)，并存储在暂时存储部14的关键词保持部14b中。
接着，在S102中，关键词分析部24从在图3所示的字符信息存储部31中存储的字符信息中检索取得的关键词“铃木”的各个字符代码，分别提取与一致的字符代码对应的特征量。在图3所示的例子中，在关键词“铃”的字符代码为“A123456”时，将与字符代码“A123456”相关联的特征量“铃”作为关键词“铃”的特征量而提取。此外，在关键词“木”的字符代码为“A234567”时，将与字符代码“A234567”相关联的特征量“木”作为关键词“木”的特征量而提取。
开始活动图像的录像，以每一秒读出活动图像帧，并检测在读出的各个检测对象帧中是否包含关键词“铃木”。在本实施例中，如图4所示，假设关键词检测部25从开始录像起在15分15秒和32分45秒时检测出关键词“铃木”。基于图9说明此时关键词检测部25进行的关键词字符串检测处理的一例。
在关键词字符串检测处理中，例如，也可以从关键词的字符串的第1字符起依次调查是否包含在静止图像中。此时，首先，核对第1字符的字符“铃”的特征量是否在从检测对象帧生成的静止图像中提取出的特征量中存在。在“铃”的特征量存在的情况下，将检测出第1字符的字符“铃”的特征量的图像区域的附近(例如，右侧和下侧)的规定的图像区域作为检索区域，核对第2字符的字符“木”的特征量是否在从该检索区域的图像中提取出的特征量中存在。这样，在对关键词中包含的全部字符串进行了检测的情况下，将该检测对象帧确定为基准帧，将基准帧的时刻t作为t_detect而存储。
这里，作为检测出第1字符的字符“铃”的特征量的图像区域的附近的规定的图像区域(检索区域)，例如图9所示，也可以将检测出的字符“铃”的字符尺寸(h×h)的3倍的3h×3h的区域作为检索区域(图9所示的虚线框内网点区域)。
在活动图像的录像结束之后，如图10所示，关注场景确定部23将从基准帧的时刻t_detect的时间t1前的时刻t_start至基准帧的时刻t_detect的时间t2后的时刻t_end为止确定为关注场景的时间段。关注场景确定部23将如图5所示的、有关关注场景的信息存储到关注场景存储部33。
如图5所示，在本实施例中，将时间t1设为“3分钟”，将时间t2设为“2分钟”，但这到底是一例。此外，时间t1的设定方法是各种各样，例如时间t1和t2可以默认地作为装置固有的值而设定，也可以用户能够任意设定时间t1和t2。
此外，也可以设定与本实施例的关键词(第1关键词：关注信息)“铃木”不同的第2关键词和第3关键词(非关注信息)。此时，关键词检测部25对基准帧之前的检测对象帧，从基准帧追溯时间而依次提取检测对象帧，并检测提取出的检测对象帧中是否包含有第2关键词(非关注信息)的特征量(非关注特征量)。在关键词检测部25检测出第2关键词的特征量(非关注特征量)的情况下，关注场景确定部23将该检测对象帧设定为关注场景开始帧，将关注场景开始帧的时刻设为关注场景的开始时刻t_start。此外，关键词检测部25对基准帧之后的检测对象帧，从基准帧按时间的顺序提取检测对象帧，并检测提取出的检测对象帧中是否包含有第3关键词(非关注信息)的特征量(非关注特征量)。在关键词检测部25检测出第3关键词的特征量(非关注特征量)的情况下，关注场景确定部23将该检测对象帧设定为关注场景结束帧，将关注场景结束帧的时刻设为关注场景的结束时刻t_end。
即，将第2关键词设定为用于检测关注场景开始帧的信息，将第3关键词设定为用于检测关注场景结束帧的信息即可。换言之，第1关键词是表示用户关心的事项的关注信息，第2和第3关键词是表示与用户不关心的场景相关的信息的非关注信息。另外，将关键词分析部24根据第2或第3关键词提取出的特征量称为非关注特征量。
例如，在本实施例的情况下，在铃木选手之前的击球员和之后的击球员为已知的情况下，作为第2关键词而设定之前的击球员名称，作为第3关键词而设定之后的击球员名称即可。此外，即使是在不清楚铃木选手之前的击球员和之后的击球员的情况下，也因为一般用于介绍选手的字幕等在活动图像的图像中字幕的位置被固定的情况较多，所以也可以在检测出“铃木”的基准帧的前后的帧中，将在图像上的检测出“铃木”的区域中检测出“铃木”以外的其他的字符串的帧作为关注场景开始帧或关注场景结束帧。除此之外，也可以作为第2和第3关键词，设定在进入CM(广告)之前容易显示的字符串“CM”、“提供”等或节目的赞助商的公司名称和商标名称等，从而能够利用CM来划分关注场景。另外，在电视节目的等的情况下，也可以利用在活动图像数据中包含的元数据(metadata)来确定关注场景。
进而，作为关注场景的期间的其他的设定方法，关注场景确定部23也可以将基准帧的前后的检测对象帧且图像的变化量大的检测对象帧的时刻(场景切换时间点)，作为关注场景的开始时刻t_start或结束时刻t_end。具体地说，场景切换时间点检测部29对基准帧之前(基准时间点之前)的检测对象帧，从基准帧追溯时间而依次提取检测对象帧，比较提取出的检测对象帧的图像和该检测对象帧的前后的帧的图像，在帧之间的图像的变化量(图像的特征量的变化量)超出规定的阈值的情况下，将该检测对象帧的时刻(时间点)检测为场景切换时间点。然后，关注场景确定部23将基准时间点之前场景切换时间点检测部29检测出的场景切换时间点设为开始时刻t_start。此外，场景切换时间点检测部29对基准帧之后(基准时间点之后)的检测对象帧，从基准帧按时间的顺序提取检测对象帧，比较提取出的检测对象帧的图像和该检测对象帧的前后的帧的图像，在帧之间的图像的变化量(图像的特征量的变化量)超出规定的阈值的情况下，将该检测对象帧的时刻(时间点)检测为场景切换时间点。然后，关注场景确定部23将基准时间点之后场景切换时间点检测部29检测出的场景切换时间点设为结束时刻t_end。
另外，在该关注场景的时间段(期间)的设定方法(场景切换时间点的选择方法)中，场景切换时间点检测部29检测出多个场景切换时间点的情况下，关注场景确定部23也可以从场景切换时间点检测部29检测出的多个场景切换时间点中选择关注场景的时间段的开始时间点或结束时间点中的至少一个。此外，关注场景确定部23也可以在从多个场景切换时间点中选择开始时间点(或结束时间点)时，选择基准时间点的紧跟前(或紧接着)的场景切换时间点。此外，关注场景确定部23也可以在从多个场景切换时间点中选择开始时间点(或结束时间点)时，将从基准时间点起多个时间点后的场景切换时间点选择作为开始时间点(或结束时间点)。此外，关注场景确定部23也可以在从多个场景切换时间点中选择开始时间点和结束时间点时，从多个场景切换时间点中选择开始时间点和结束时间点，使得关注场景的时间段成为规定时间以上。
此外，场景切换时间点检测部29对基准时间点前后的检测对象帧，从基准时间点起依次提取检测对象帧，但提取的顺序并不限定于此。场景切换时间点检测部29例如也可以按照活动图像的时间轴的顺序提取检测对象帧。此外，场景切换时间点检测部29将上述规定的阈值作为一定的值，在帧之间的图像的变化量(图像的特征量的变化量)超出规定的阈值的情况下，将该检测对象帧的时刻(时间点)检测为场景切换时间点，但并不限定于此。例如，场景切换时间点检测部29也可以随着提取的检测对象帧的时刻远离基准帧的时刻(基准时间点)，改变用于判定在该检测对象帧中的帧之间的图像的变化量(图像的特征量的变化量)的上述规定的阈值。即，场景切换时间点检测部29也可以随着提取的检测对象帧的时刻远离基准帧的时刻，缓慢减小上述规定的阈值。
画质降低部22将关注场景确定部23确定的关注场景以外的场景的画质化为低画质。通过降低关注场景以外的画质，结果，关注场景与关注场景以外相比成为高画质。在本实施例中，活动图像为60分钟的情况下，将从开始0分0秒至12分15秒为止、从17分15秒至29分45秒为止、从34分45秒至60分0秒为止化为低画质。从12分15秒至17分15秒、从29分45秒至34分45秒维持原来的画质。
另外，作为画质降低部22将关注场景以外的场景化为低画质的具体的方式，例如考虑如下的方式。作为第1个例子，对关注场景，将图像数据的分辨率相对提高，对关注场景以外的场景，将图像数据的分辨率相对降低。此外，作为第2个例子，对关注场景，将活动图像压缩率相对降低，对关注场景以外的场景，将活动图像压缩率相对提高。此外，作为第3个例子，对关注场景，将帧率相对提高，对关注场景以外的场景，将帧率相对降低。在第3个例子中，在降低帧率时，也可以作为间隔剔除帧的方法而使用如下方法：比较规定的帧的图像和该规定的帧的前后的帧的图像，从而间隔剔除帧之间的图像的变化量(图像的特征量的变化量)小于规定的阈值的上述规定的帧的方法。这里，比较规定的帧的图像和该规定的帧的前后的帧的图像，从而计算帧之间的图像的变化量，但并不限定于此。例如，也可以比较规定的帧的图像和该规定的帧之前的帧的图像，也可以比较规定的帧的图像和该规定的帧之后的帧的图像。
这里，例如，在以往的技术中，在活动图像数据的内容为棒球转播的节目，且使得只有将用户特别关注的选手的击球的场景传送到移动视听终端的情况下，由于在移动视听终端中没有传送关注场景以外的其他场景的活动图像数据，所以用户不能在移动视听终端上视听关注场景以外的场景。因此，用户不能得知关注的选手的击球的前后的比赛的展开，传送到移动视听终端的活动图像的视听价值被减半。
另一方面，在本发明中，如上所述，DVD记录器1的画质降低部22降低关注场景以外的时间段的画质而生成低画质活动图像。因此，在生成的低画质活动图像中，维持用户也许关注的关注场景的画质的同时只有上述关注场景以外的时间段的画质成为低画质。即，生成的低画质活动图像是如下的活动图像：对用户关注的关注画面维持原来的画质，包括关注场景的前后的信息，并且与原来的活动图像相比整体的数据量减少。因此，能够在将生成的低画质活动图像传送到其他装置中使用，此时，能够起到如下效果：降低传送时间，且用户在其他装置上还能够视听关注场景的前后的场景。
本发明并不限定于上述的实施方式，在权利要求项中所示的范围内可进行各种变更。即，将在权利要求所示的范围内适当地变更的技术手段相组合而获得的实施方式也包含在本发明的技术范围中。
最后，图像处理装置1的各个模块，尤其是画质降低部22、关注场景确定部23、关键词分析部24、关键词检测部25、静止图像生成部26以及特征量提取部27既可以由硬件逻辑构成，也可以如下所示那样使用CPU而由软件实现。
即，图像处理装置1包括执行实现各种功能的控制程序的命令的CPU(central processing unit)、存储了上述程序的ROM(read only memory)、展开上述程序的RAM(random access memory)、以及存储上述程序和各种数据的存储器等的存储装置(记录介质)等。并且，通过将作为实现上述的功能的软件的图像处理装置1的控制程序的程序代码(执行形式程序、中间代码程序、源程序)以计算机可读取地记录的记录介质提供给上述图像处理装置1，该计算机(或者CPU或MPU)读出并执行在记录介质中记录的程序代码，也能够实现本发明的目的。
作为上述记录介质，例如，可使用磁带或卡带等的带类、包括软盘(注册商标)/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等的光盘的盘类、IC卡(包括存储卡)/光卡等的卡类、或者掩模ROM/EPROM/EEPROM/闪速ROM等的半导体存储器类等。
此外，也可以将图像处理装置1构成为可与通信网络连接，经由通信网络而提供上述程序代码。作为该通信网络，没有特别限定，例如可使用因特网、内部网、外部网(extra net)、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，作为构成通信网络的传输介质，没有特别限定，例如可使用IEEE1394、USB、电力线传输、电缆TV线路、电话线、ADSL线路等的有线，也可以使用IrDA或遥控那样的红外线、Bluetooth(注册商标)、802.11无线、HDR、移动电话网、卫星线路、地面波数字网等的无线。另外，本发明通过上述程序代码以电子传输具体化的、埋入载波的计算机数据信号的方式也能够实现。
【产业上的可利用性】
本发明可应用于DVD记录器/播放器、数字视频记录器/播放器、蓝光盘记录器/播放器、数字摄像机、数字照相机、数字电视、个人计算机、移动电话机、打印机、扫描仪等处理静止图像和/或活动图像的各种图像处理装置。

Claims (17)

1.一种图像处理装置，其特征在于，包括：
关注信息检测部件，检测构成活动图像的声音或帧，该声音或帧包括与从输入到本装置的表示用户关心的事项的关注信息中提取出的关注特征量一致的特征量；
关注场景确定部件，在上述活动图像的再现时间轴上，将包括基准时间点的时间段确定为关注场景，该基准时间点是上述关注信息检测部件检测出的、包括关注特征量的声音或帧的时刻；以及
低画质活动图像生成部件，将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的画质降低，从而生成上述活动图像的低画质活动图像。
2.如权利要求1所述的图像处理装置，其特征在于，
上述关注场景确定部件将从上述基准时间点的规定时间前的时间点至上述基准时间点的规定时间后的时间点为止的时间段确定为关注场景。
3.如权利要求1或2所述的图像处理装置，其特征在于，
上述关注信息检测部件检测构成活动图像的声音或帧，该声音或帧包括与从输入到本装置的表示与用户不关心的场景有关的信息的非关注信息中提取出的非关注特征量一致的特征量，
上述关注场景确定部件将上述关注信息检测部件检测出的、包括上述非关注特征量的声音或帧的时刻且在该时刻中、上述基准时间点之后的时刻，作为关注场景的结束时间点。
4.如权利要求1至3的任一项所述的图像处理装置，其特征在于，
包括场景切换时间点检测部件，该场景切换时间点检测部件在上述活动图像中，检测帧之间的图像的变化量成为规定以上的场景切换时间点，
上述关注场景确定部件从上述场景切换时间点检测部件检测出的场景切换时间点中选择上述关注场景的时间段的开始时间点和结束时间点的至少一个。
5.如权利要求4所述的图像处理装置，其特征在于，
上述关注场景确定部件从上述场景切换时间点检测部件检测出的多个场景切换时间点中，将上述基准时间点紧跟前的场景切换时间点和上述基准时间点紧接着的场景切换时间点分别选择作为上述关注场景的时间段的开始时间点和结束时间点。
6.如权利要求4所述的图像处理装置，其特征在于，
上述关注场景确定部件从上述多个场景切换时间点中，分别选择该时间段的开始时间点和结束时间点，使得上述关注场景的时间段成为规定时间以上。
7.如权利要求1至6的任一项所述的图像处理装置，其特征在于，
上述关注信息包括文本数据、图像数据和声音数据中的至少一个。
8.如权利要求1至7的任一项所述的图像处理装置，其特征在于，
上述低画质活动图像生成部件将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的分辨率降低。
9.如权利要求1至8的任一项所述的图像处理装置，其特征在于，
上述低画质活动图像生成部件将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的活动图像压缩率提高。
10.如权利要求1至9的任一项所述的图像处理装置，其特征在于，
上述低画质活动图像生成部件将在上述活动图像中、上述关注场景确定部件确定的关注场景以外的时间段的帧率降低。
11.如权利要求10所述的图像处理装置，其特征在于，
上述低画质活动图像生成部件比较规定的帧的图像和该规定的帧之前的帧的图像，从而间隔剔除帧之间的图像的变化量小于规定的阈值的上述规定的帧，从而降低帧率。
12.一种图像处理系统，其特征在于，包括：
权利要求1至11的任一项所述的图像处理装置；以及
能再现活动图像的移动终端，
上述图像处理装置将生成的上述低画质活动图像传送到上述移动终端。
13.如权利要求12所述的图像处理系统，其特征在于，
上述图像处理装置将表示上述活动图像中的上述关注场景的时间段的信息传送到上述移动终端。
14.一种图像处理方法，其特征在于，包括：
关注信息检测步骤，检测包括与从表示用户关心的事项的关注信息中提取出的关注特征量一致的特征量的、构成活动图像的声音或帧；
关注场景确定步骤，在上述活动图像的再现时间轴上，将包括基准时间点的时间段确定为关注场景，该基准时间点是在上述关注信息检测步骤中检测出的声音或帧的时刻；以及
低画质活动图像生成步骤，在上述活动图像中，将在上述关注场景确定步骤中确定的关注场景以外的时间段的画质降低，从而生成上述活动图像的低画质活动图像。
15.如权利要求14所述的图像处理方法，其特征在于，还包括：
传送步骤，将在上述低画质活动图像生成步骤中生成的低画质活动图像传送到移动终端。
16.一种控制程序，使计算机执行权利要求14或15所述的各个步骤。
17.一种计算机可读取的记录介质，记录了权利要求16所述的控制程序。
CN2011100464426A 2010-03-15 2011-02-25 图像处理装置、图像处理方法以及图像处理系统 Pending CN102194493A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP058551/10 2010-03-15
JP2010058551A JP5515890B2 (ja) 2010-03-15 2010-03-15 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
CN102194493A true CN102194493A (zh) 2011-09-21

Family

ID=44560054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100464426A Pending CN102194493A (zh) 2010-03-15 2011-02-25 图像处理装置、图像处理方法以及图像处理系统

Country Status (4)

Country Link
US (1) US20110222832A1 (zh)
JP (1) JP5515890B2 (zh)
KR (1) KR101181588B1 (zh)
CN (1) CN102194493A (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US9055027B2 (en) * 2012-02-13 2015-06-09 Lenovo (Beijing) Co., Ltd. Transmission method and electronic device
JP6164445B2 (ja) * 2012-11-12 2017-07-19 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． チャプタ設定装置
JP5942822B2 (ja) * 2012-11-30 2016-06-29 富士通株式会社 交差点検出方法および交差点検出システム
JP2014165530A (ja) * 2013-02-21 2014-09-08 Olympus Corp 画像処理システム
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
JP6355392B2 (ja) * 2014-04-02 2018-07-11 キヤノン株式会社 記録装置およびその制御方法、並びに記憶媒体
US20170251169A1 (en) * 2014-06-03 2017-08-31 Gopro, Inc. Apparatus and methods for context based video data compression
KR102310241B1 (ko) * 2015-04-29 2021-10-08 삼성전자주식회사 소스 디바이스, 그의 제어 방법, 싱크 디바이스 및 그의 화질 개선 처리 방법
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
JP6542445B1 (ja) * 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6607589B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6607590B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173120A (ja) * 2002-11-22 2004-06-17 Toshiba Corp 動画像蓄積装置、動画像配信システム
US20070120980A1 (en) * 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
CN101079246A (zh) * 2006-05-23 2007-11-28 株式会社日立制作所 图像处理装置
JP2009016934A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170292A (ja) * 1993-12-15 1995-07-04 Sony Corp 送信装置
JP4198786B2 (ja) * 1998-06-30 2008-12-17 株式会社東芝 情報フィルタリングシステム、情報フィルタリング装置、映像機器および情報フィルタリング方法
JP4643068B2 (ja) * 2001-07-23 2011-03-02 株式会社東芝 コンテンツ配信システム
JP4426743B2 (ja) * 2001-09-13 2010-03-03 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
JP4066454B2 (ja) * 2003-03-05 2008-03-26 日本電気株式会社 オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法
JP3923932B2 (ja) * 2003-09-26 2007-06-06 株式会社東芝 映像要約装置、映像要約方法及びプログラム
JP4687404B2 (ja) * 2005-11-10 2011-05-25 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法
WO2007080921A1 (ja) * 2006-01-13 2007-07-19 Nec Corporation 情報記録システム、情報記録装置、情報記録方法及び情報収集プログラム
KR100828166B1 (ko) 2007-06-12 2008-05-08 고려대학교 산학협력단 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체
JP4925938B2 (ja) * 2007-06-20 2012-05-09 株式会社日立製作所 ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
KR20110076899A (ko) * 2008-09-25 2011-07-06 텔레 아틀라스 비. 브이. 이미지를 블러링하기 위한 방법 및 장치
US9077949B2 (en) * 2008-11-07 2015-07-07 National University Corporation Hokkaido University Content search device and program that computes correlations among different features
US20100150245A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Multimedia Stream Selection
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173120A (ja) * 2002-11-22 2004-06-17 Toshiba Corp 動画像蓄積装置、動画像配信システム
US20070120980A1 (en) * 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
CN101079246A (zh) * 2006-05-23 2007-11-28 株式会社日立制作所 图像处理装置
JP2009016934A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置

Also Published As

Publication number Publication date
JP2011193300A (ja) 2011-09-29
KR20110103843A (ko) 2011-09-21
JP5515890B2 (ja) 2014-06-11
US20110222832A1 (en) 2011-09-15
KR101181588B1 (ko) 2012-09-10

Similar Documents

Publication Publication Date Title
CN102194493A (zh) 图像处理装置、图像处理方法以及图像处理系统
US7757172B2 (en) Electronic equipment and method for displaying images
US8559683B2 (en) Electronic apparatus and scene-type display method
CN101512501B (zh) 用于在机顶盒的用户对话中设置广告的方法和设备
US8250623B2 (en) Preference extracting apparatus, preference extracting method and preference extracting program
US8666223B2 (en) Electronic apparatus and image data management method
US8503832B2 (en) Electronic device and facial image display apparatus
EP2173093B1 (en) Recording reservation method, device and program
US20120182479A1 (en) Electronic apparatus and face image display control method of the electronic apparatus
CN107005740A (zh) 用于操作选择包括多个导航技术的可用内容的系统和方法
JP2012517188A (ja) テレビベースの広告と携帯電話向けｔｖウィジェットの配信
WO2014138305A1 (en) Systems and methods for providing user interactions with media
CN102971726A (zh) 从多领域搜索的内容排除的系统和方法
US20100121875A1 (en) Information processing apparatus, information processing method, and information processing program
CN104065979A (zh) 一种动态显示和视频内容相关联信息方法及系统
CN101287078A (zh) 再现网络内容的方法和设备
CN105808182A (zh) 显示控制方法及系统、广告破口判断装置、影音处理装置
CN103686374A (zh) 显示控制设备、记录控制设备、以及显示控制方法
CN101553814A (zh) 用于产生视频数据流摘要的方法和设备
CN105933764A (zh) 广播接收装置及其控制方法
KR100917071B1 (ko) 디지털 방송 수신기 및 백업 방법
CN101167134A (zh) 针对先前记录的媒体内容创建和编辑操作列表的方法、装置和系统
WO2024008184A1 (zh) 一种信息展示方法、装置、电子设备、计算机可读介质
CN106713973A (zh) 搜索节目的方法及装置
JP2009124383A (ja) 情報処理装置、コンテンツ処理システム、コンピュータプログラム、コンテンツ管理方法、及びコンテンツ検索方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110921