CN1981305B - 图像处理器 - Google Patents

图像处理器 Download PDF

Info

Publication number
CN1981305B
CN1981305B CN2005800227118A CN200580022711A CN1981305B CN 1981305 B CN1981305 B CN 1981305B CN 2005800227118 A CN2005800227118 A CN 2005800227118A CN 200580022711 A CN200580022711 A CN 200580022711A CN 1981305 B CN1981305 B CN 1981305B
Authority
CN
China
Prior art keywords
frame
image
moving image
moving
layout information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800227118A
Other languages
English (en)
Other versions
CN1981305A (zh
Inventor
今村圭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN1981305A publication Critical patent/CN1981305A/zh
Application granted granted Critical
Publication of CN1981305B publication Critical patent/CN1981305B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

从用户选择的运动图像中，获取包括运动图像的时间长度和运动图像中剪辑的改变点的数量的运动图像信息。示出将要产生的静止图像的设计(构成运动图像的多个帧图的数量、大小、布局等)的布局数据，根据所获取的运动图像信息，被可选择地从存储器中读出。产生和输出静止图像，其中预定的帧图基于布局数据排列。预定的帧图根据设置规则自动设置，所述设置规则根据是否存在关于高亮帧的数据而不同，所述高亮帧的大小大于所述数据中其它帧图的大小。还可以指定高亮帧。

Description

图像处理器
技术领域
本发明涉及一种用于从运动图像产生静止图像的图像处理器，尤其涉及一种将从运动图像提取的帧图布置在静止图像帧上并输出该静止图像的图像处理器、图像处理方法和数字照相机。
背景技术
按照常规，作为一种使运动图像变为静止图像的设备，例如，日本专利申请KOKAI公开No.09-130591公开了一种打印机设备。该打印机设备从压缩的运动图像数据中自动选择关键帧作为构成单独完成的静止图像的帧数据，由此生成其中其帧图以预定布局排列的静止图像数据，并且每隔预定时间间隔还从未压缩的运动图像数据中自动选择帧数据，由此生成其中其帧图以预定布局排列的静止图像。
根据上述的打印机设备，可以容易地获得与运动图像对应的静止图像，但是自动选择的帧图不总是适当地示出运动图像的全部特征的图像。此外，即使自动选择的帧图对于示出运动图像的全部特征是适当的，其布局形式(排列的帧的数量和布局的位置)对于示出运动图像的全部特征也不总是适当的，这已经成为现有技术中的问题。
发明内容
根据本发明的实施例，图像处理器包括：
存储器，其存储运动图像；
布局信息存储器，其存储多项布局信息，其表示包括在运动图像中的多个帧图的多个布局形式；
获取单元，其从存储在存储器中的运动图像中获取运动图像专有的运动图像信息；
选择器，其基于获取单元获取的运动图像信息，选择存储在布局信息存储器中的配置信息之一；以及
静止图像产生单元，其产生静止图像，其中，包括在存储于存储器中的运动图像中的帧图，排列成由选择器选择的布局信息示出的布局形式。
根据本发明另一实施例，一种图像处理方法包括：
获取运动图像专有的运动图像信息；
基于所获取的运动图像信息选择布局信息之一；以及
产生静止图像，其中包括在运动图像的帧图排列成由所选的布局信息示出的布局形式。
根据本发明另一实施例，一种照相机包括：
图像捕获单元，其捕获对象的运动图像；
存储器，其存储所述图像捕获单元捕获的所述运动图像；
布局信息存储器，其存储多项布局信息，所述布局信息示出包括在所述运动图像中的多个帧图的多个布局形式；
获取单元，其从存储在所述存储器中的所述运动图像中获取所述运动图像专有的运动图像信息；
选择器，其基于所述获取单元获取的所述运动图像信息，选择存储在所述布局信息存储器中的所述布局信息之一；以及
静止图像产生单元，其产生静止图像，其中，包括在存储于所述存储器中的所述运动图像中的帧图，排列成由所述选择器选择的所述布局信息示出的布局形式。
根据本发明另一实施例，一种图像处理器包括：
存储器，其存储运动图像；
获取单元，其从存储在所述存储器中的所述运动图像中获取所述运动图像专有的运动图像信息；
提取单元，其基于所述获取单元获取的所述运动图像信息，从存储在所述存储器中的所述运动图像中提取帧图；以及
静止图像产生单元，其产生静止图像，其中所述提取单元提取的所述帧图排列成预定的布局形式。
根据本发明另一实施例，一种图像处理方法包括：
获取运动图像专有的运动图像信息；
基于所获取的运动图像信息从所述运动图像中提取帧图；以及
产生静止图像，其中所提取的帧图排列成预定的布局形式。
根据本发明另一实施例，一种照相机包括：
图像捕获单元，其捕获对象的运动图像；
存储器，其存储由所述图像捕获单元捕获的所述运动图像；
获取单元，其从存储在所述存储器中的所述运动图像中获取所述运动图像专有的运动图像信息；
提取单元，其基于所述获取单元获取的所述运动图像信息，从存储在所述存储器中的所述运动图像中提取帧图；以及
静止图像产生单元，其产生静止图像，其中，由所述提取单元提取的所述帧图排列成预定的布局形式。
在以下的说明书中将阐述本发明的其它目的和优点，并且从说明书中将逐渐变得明显，或者可以通过本发明的实践而知晓。
借助于下文中特别指出的手段和组合，可以实现并获得本发明的目的和优点。
附图说明
合并在说明书中并组成其一部分的附图，示出了本发明的实施例，并且与上文给出的基本说明和下文中给出的实施例的详细说明一起用于解释本发明的原理，其中：
图1是示出根据本发明实施例的数字照相机的框图；
图2A、2B和2C是示出静止图像的设计实例的视图；
图3是示出布局数据的具体数据结构的实例的说明图；
图4是示出第一实施例中静止图像产生过程的内容的流程图；
图5A是示出高亮帧(highlight frame)的选择屏的视图；
图5B是示出包括所选高亮帧的静止图像的视图；
图6是示出静止图像产生过程生成的另一静止图像的实例的视图；
图7是示出指定高亮帧之前或之后的时间值时显示的时间设置屏的实例的视图；
图8是示出第二实施例中静止图像产生过程的内容的流程图；
图9是示出设计选择屏的视图；以及
图10A和10B是示出帧图布局形式(设计)的变化实例的视图。
具体实施方式
第一实施例
图1是是示出根据本发明的实施例通用的数字照相机的框图。该数字照相机具有静止图像记录模式和运动图像记录模式作为记录模式。该数字照相机还具有用于从运动图像产生静止图像(使运动图像变为静止图像)并且记录该静止图像的静止图像产生模式，作为用于通过记录而显示所记录的图像(静止图像或运动图像)的再现模式的从属模式，并且具有以下结构。
具体地，数字照相机包括照相机主体1和记录介质，例如半导体存储卡20，其可从照相机主体1上分离并可连接到照相机主体1。包括变焦透镜和聚焦透镜的光学系统2以及CCD 3布置在照相机主体1中。该CCD 3作为成像模块运作，并且由从定时脉冲发生器7发送的驱动信号驱动，而且光电地将对象的光学图像转换成其输出成像信号。来自CCD 3的输出信号在CDS(相关双采样)电路4中经受相关双采样和增益调整，并且然后由A/D转换电路5转换成数字信号。AD-转换的成像信号被输入到DSP(数字信号处理)单元6，其中在DSP单元6中在该输入信号上执行包括消隐脉冲电平钳位(pedestal clamping)的处理，并且然后由该单元中的亮度/色差矩阵电路转换成亮度(Y)信号和色差(UV)信号。在DSP单元6中，还执行诸如自动光圈、自动白平衡和边缘增强的用于提高图像质量的过程。
通过分辨率转换模块8，将由DSP单元6转换的YUV数据转换成预置的图像大小，并且然后，在内置存储器14(例如，SDRAM)中顺序地存储用于一帧的数据。存储在内置存储器14中的用于一帧的YUV数据被发送到显示器控制器11，并且在其中被转换成视频信号。其后，由液晶显示器(LCD)12将所转换的信号作为通过图像(through image)，即运动图像显示。DSP单元6和分辨率转换模块8作为图像产生模块运作，并且LCD 12作为运动图像显示模块运作。
在以静止图像模式记录时存储在内置存储器14中的用于一帧的YUV数据，借助数据压缩和扩展模块9被压缩成为JPEG格式等，并且然后被编码并成为内置存储器14中的文件。其后，该数据经由介质控制器10作为静止图像数据(静止图像文件)被记录到作为记录和保存模块运作的记录介质20上。
在以运动图像模式时存储在内置存储器14中的YUV数据，被发送到数据压缩和扩展模块9，并通过预定运动图像记录格式(例如，Motion-JPEG或MPEG)的编解码器压缩并且然后编码。最后，该数据经用介质控制器10作为运动图像文件记录在记录介质20中。在记录运动图像中的帧频由定时脉冲发生器生成的定时信号确定，并且将要编码的数据的压缩率由数据压缩和扩展模块9中的量化表值确定。
在再现静止图像或运动图像的时候，数据压缩和扩展模块9将从记录介质20读取的静止图像或运动图像的数据扩展，并且将在内置存储器14中的数据展开为静止图像数据和运动图像的帧数据。该展开的图像被发送到显示器控制器11，并且在其中被转换成视频信号，然后由LCD 12作为再现图像显示。在LCD 12上，如果需要，不仅显示通过图像和再现图像，还显示用于选择和设置各种功能的菜单屏和设置屏。
音频处理模块15将记录运动图像时对照相机主体1中内置的扩音器16的音频输入转换成数字信号，压缩该数字信号，并且然后将压缩的信号作为音频数据发送到内置存储器14。发送到内置存储器14的音频数据和帧数据一起，作为数据流顺序地写入记录介质20。在再现运动图像的时候，音频处理模块15解码从内置存储器14发送的音频信号，将该音频信号转换成模拟音频信号，并且然后将该数据作为来自照相机主体1中的内置扬声器17的音频输出。
键输入模块18包括诸如电源键、模式切换键、快门键、菜单键和设置键的操作键，并且向CPU 13输出与用户的键操作对应的键输入信号。快门键用于指示以静止图像模式记录，用于指示以正常运动图像模式记录的开始/结束，并且也用于指示以过去的放映模式(past movie mode)记录和保存。
每一个上述模块由CPU 13控制，CPU 13控制各个模块所需的程序和数据存储在作为可编程非易失性存储器的程序存储器19中，例如EEPROM或闪存。通过根据上述程序和键输入信号执行其操作，CPU 13包括获取模块、选择模块、静止图像产生模块和控制模块的功能。由用户设置的与系统和各个功能相关的设置数据，也存储在程序存储器19中。
程序存储器19作为布局信息存储模块操作，并且在静止图像产生模式的该操作中使用的布局数据存储在程序存储器19中。布局数据是示出将要在使运动图像变为静止图像中产生的静止图像的设计的数据，即，构成运动图像的多帧图像(多帧)的数量、大小、布局等。图2A和2C是示出上述设计的实例的视图。
图3是示出相应于图2B中示出的设计的布局数据101的具体数据结构的说明图。如图所示，布局数据101包括每隔多项数据ID00到ID17确定的多项设置信息。在示出的数据项中，ID00“布局号”是示出设计类型的标识号。ID04“高亮帧”和ID05到ID13“帧”是静止图像中的帧图的布局区域(位置和大小)。“高亮帧”是示出布局区域大于其它帧的布局区域的、作为本发明的代表性帧的高亮帧图像的布局区域Fa的数据，而“帧”是示出其它帧中的图像的布局区域Fb(相对于代表性帧称作普通帧)的数据。同时，在一些设计类型中，可能没有“高亮帧”，并且“帧”数据项的数量根据设计类型增加和减少。此外，ID14到ID17“位图”是示出装饰图像和其布局的数据。
接下来，将说明具有上述结构的数字照相机中设置静止图像产生模式时的操作。图4是示出由CPU 13执行的静止图像产生过程的内容的流程图。
当静止图像产生过程开始时，CPU 13使LCD 12显示预定指示屏，并且允许用户指定用于将要产生的静止图像的设计的选择标准和用于高亮帧的选择标准(步骤SA1)。用于设计的选择标准包括“放映时间”和“运动图像内容”两种类型，并且用于高亮帧的选择标准包括“手动”和“自动”两种类型。指定的选择标准与数字照相机中的其它设置信息一起存储在程序存储器19中。
CPU 13使LCD 12显示例如存储在记录介质20中的运动图像的第一帧的略图列表，并且允许用户通过预定的键操作选择所需的运动图像(步骤SA2)。当选择标准是“放映时间”时(步骤SA3中为是)，相应于所选运动图像的时间长度的设计的布局数据101被从程序存储器19中读出(步骤SA4)。即，随着放映时间变长，读出其中排列有更多帧图的设计的布局数据101。
当选择标准是“运动图像内容”(步骤SA3中为否)时，CPU 13在所选运动图像的剪辑中获取改变点的数量，例如，其中剪辑中的改变不少于预定标准的部分的数量，如其中音频被打断的时间周期是预定的时间周期的部分，或者其中色调的改变程度是预定的程度或更大的部分(步骤SA5)。然后，相应于所获取的改变点的数量的设计的布局数据101被从程序存储器19中读出(步骤SA6)。即，随着改变点的数量变大，读出其中排列有更多帧图的设计的布局数据101。
在步骤SA7中确定步骤SA4或步骤SA6中读出的布局数据101是否包括高亮帧的信息，即自动选择的设计是否包括高亮帧。如果没有高亮帧(步骤SA7中为否)，在通过用自动选择的设计中排列的帧图的数量平分用户所选的运动图像的时间长度而获得的时间点处的多个帧图，被确定为用于产生静止图像的帧图(步骤SA8)。产生其中所确定的多个帧图根据布局数据101排列的静止图像(步骤SA14)，并将产生的静止图像(静止图像文件)记录在记录介质20中(步骤SA15)。
如果步骤SA7中的确定结果为是，并且在自动选择的设计中有高亮帧且用于前述高亮帧的选择标准为“手动”(步骤SA9中为否)，提示用户选择高亮帧(步骤SA10)。更具体地，在LCD 12上显示提示用户选择高亮帧的消息，以及根据用户键操作而以单一帧前进步骤或单一帧后退步骤显示所选运动图像的选择屏110(参考图5A)，并且在用户执行用于确定的键操作时的时间点处显示的任意帧图被确定为高亮帧。在确定的高亮帧之前和之后的若干帧，即由布局数据101示出的用于与排列的帧的数量对应的帧的帧图，确定作为普通帧(步骤SA11)。
产生其中基于布局数据101排列确定的高亮帧和普通帧的静止图像(步骤SA14)，并且产生的静止图像(静止图像文件)记录在记录介质20中(步骤SA15)。图5B示出了在图5A中示出的帧图被选作高亮帧的情况下产生和记录的静止图像111。
如果在步骤SA7中的确定结果为是，并且在自动选择的设计中有高亮帧，且用于前述高亮帧的选择标准是“自动”(在步骤SA9中为是)，那么在所选运动图像中剪辑的改变程度最大的帧上进行确定，即相应于预定的判断标准的帧，并且该帧的图像被确定为高亮帧的图像(步骤SA12)。按照自动选择的设计中排列的帧图数量平分的时间位置处的多个帧图被确定为普通帧图(步骤SA13)。产生其中基于布局数据101排列确定的高亮帧和普通帧的静止图像(步骤SA14)，并且将所产生的静止图像(静止图像文件)记录在记录介质20中(步骤SA15)。图6示出了另一静止图像112，其基于与图5B中所示的数据不同的布局数据101被产生和记录。
如上所述，在本实施例中，当从运动图像产生静止图像时，将要产生的静止图像中的帧图的布局形式(排列的帧的数量和布局位置)，即，将要产生的静止图像的设计，根据位置的数量设置，其中运动图像中的剪辑改变是预定的标准或更多。结果，运动图像的全部特征反映在帧图的布局形式上。因此，可能产生和记录更适合的静止图像，其示出了运动图像的全部特征。
同时，自动选择帧图的布局形式中的标准不局限于上述的运动图像中的帧之间的剪辑的改变程度，而是代替其，可以使用诸如将要变为静止图像的运动图像的时间长度的其它运动图像信息。
另外，在该实施例中，当在自动选择的设计中有高亮帧时，在自动确定高亮帧的图像中的判断标准，是剪辑中具有最大改变的帧的图像，但是代替其，判断标准可以如下执行。例如，可以用其对比度是最清晰的具有丰富色彩的帧图，其音频等级最高的帧的图像，或者用户事先指定的时间位置处的帧的图像作为判断标准。同样在这些情况下，可能将运动图像的全部特征反映在帧图的布局形式上。
此外，在该实施例中，当在自动选择的设计中有高亮帧并且提示用户选择高亮帧时，普通帧的图像是用于指定的高亮帧之前和之后的若干帧的帧图。然而，代替其，将要用作普通帧的范围可以由用户指定。在该情况下，例如，在上面的步骤SA10中选择高亮图像的时间点处，前述选择屏110(图5A)可以改变成如图7中所示的时间设置屏113，并且用户可以通过预定的键操作在高亮帧之前和之后指定时间(或帧的数量)。
而且，在将要成为静止图像的运动图像以MPEG格式压缩和编码的情况下，普通帧的图像可以从I图(内编码图：帧内编码的图像)中选出，作为不依赖于其它帧图的独立帧图。在这种情况下，可以减少将要用作普通帧的恢复图像的过程所需的负担。
此外，当在自动选择的设计中有高亮帧时，由高亮帧自动设置的情况和高亮帧由用户指定的情况之间的不同方法，设置普通帧的图像。然而代替其，普通帧的图像可以由两种情况中的相同方法设置。另外，设置普通帧的图像的上述方法可以在高亮帧自动设置的情况和高亮帧由用户指定的情况之间转换。
第二实施例
将描述根据本发明的数字照相机的第二实施例。与第一实施例相同的那些部分将用相同的附图标记表示并且它们的详细描述将省略。在第二实施例中，在具有上述结构的数字照相机中，CPU 13具有获取模块、提取模块、控制模块、改变模块和布局调整模块的功能，由此，当选择静止图像产生放映模式时，执行图8中所示的下列静止图像产生过程。
更具体地，当静止图像产生过程开始时，CPU 13允许用户从预先准备的多个设计中选择所需设计作为静止图像的设计(步骤SB1)。此时，CPU13使LCD 12显示提示用户选择设计的消息，和包括示出由存储在程序存储器19中的多个布局数据101示出的布局形式的设计样本的设计选择屏210，如图9中所示，并且允许用户通过预定的键操作选择所需设计(步骤SB1)。然后，相应于所选设计的布局数据101被从程序存储器19中读出(步骤SB2)。
例如，CPU 13使LCD 12显示存储在记录介质20中的运动图像的头帧(head frames)的略图列表，并且允许用户通过预定的键操作选择所需的运动图像(步骤SB3)。然后，CPU 13在所选运动图像的剪辑中获取改变点的数量，例如，其中剪辑的改变不少于预定标准的部分的数量，如其中音频被打断的时间周期超过预定时间周期的部分，或者其中色调的改变程度是预定的程度或更大的部分(步骤SB4)。
当获取的改变点的数量大于步骤SB1中所选的设计中排列的帧图的数量时(在步骤SB5中为是)，所选的设计自动改变成排列的帧图的数量超过上述改变点的数量并且最接近其的设计(步骤SB6)。相反地，当获取的改变点的数量小于步骤SB1中所选的设计中排列的帧图的数量时(在步骤SB5中为否，在步骤SB7中为是)，在步骤SB2中读出的布局数据101示出的设计中排列的帧图的数量改变成改变点的数量，并且执行用于根据其扩展布局间隔的数据校正(调整)(步骤SB8)。
图10A和10B是示出改变布局间隔的实例的视图，其中图10A示出改变前的设计，而图10B示出改变后的设计。
确定步骤SB2中读出的布局数据101、步骤SB5中改变的布局数据101或者在步骤SB8中校正的布局数据101是否包括高亮帧的信息。如果包括高亮帧的信息(步骤SB9中为是)，那么提取在这些部分的帧图，这些部分是其中所选运动图像的剪辑中改变点的改变程度是确定标准或更大，例如，在其中音频被打断的时间周期是预定的时间周期或更大的部分，或者其中色调的改变程度是预定的程度或更大的部分。然后，在帧图中改变程度最大的帧图被确定作为高亮帧，而其它帧被确定为普通图像(步骤SB10)。产生其中确定的高亮帧和普通帧根据布局数据101排列的静止图像(步骤SB12)，并且将产生的静止图像(静止图像文件)记录在记录介质20中(步骤SB13)。
如果高亮帧的信息未包括(步骤SB9中为否)，提取在其中所选运动图像的剪辑中改变点的改变程度是确定标准或更大的部分处的多个帧图，并且它们被确定作为用于静止图像产生的帧图(步骤SB11)。其中多个帧图根据布局数据101排列(步骤SB12)的静止图像和产生的静止图像(静止图像文件)记录在记录介质20中(步骤SB13)。
如上所述，在该实施例中，当从运动图像产生静止图像时，在所选运动图像的剪辑中改变点的改变程度是预定标准或更大的帧图被自动提取(选择)作为排列在将要产生的静止图像帧中的帧图。因此，可以使排列在静止图像中的多个帧图成为示出运动图像的全部特征的帧图。因此，可以产生和记录示出运动图像的全部特征的更适合的静止图像。
在该实施例中，根据在剪辑中改变点的改变程度，从所选运动图像中提取将要产生的静止图像中排列的帧图。然而代替其，根据诸如例如对比度的清晰度(clearness of contrast)、色调丰富度和音频等级的高度的其它运动图像信息，可以提取将要产生的静止图像中排列的帧图。同样在这些情况下，可以使在静止图像中排列的多个帧图成为显示运动图像的全部特征的帧图。
例如，将要成为静止图像的运动图像以MPEG格式被压缩和编码时，可以从I图中提取在将要产生的静止图像中排列的帧图。在该情况下，可以减少提取帧图中所需的恢复帧图的过程所需的负担。
第一和第二实施例说明了具有从存储在视频记录中的运动图像产生静止图像，显示并记录(输出)所产生的静止图像的功能的数字照相机。然而，本发明不局限于此，而是可以应用到下列设备中。具体地，本发明可以应用到根据经由诸如各种类型的存储卡的记录介质提供，或经由来自数字照相机等的通信提供的运动图像数据打印静止图像的打印机，和应用到具有运动图像记录功能的内置照相机的蜂窝电话。此外，本发明可以由普通的个人计算机通过使用用于执行上述静止图像产生过程的程序来实现。

Claims (17)

1.一种图像处理器，包括：
存储器，其存储运动图像；
布局信息存储器，其存储多项布局信息，所述布局信息表示包括在所述运动图像中的多个帧图的多个布局形式；
获取单元，其从存储在所述存储器中的所述运动图像中获取所述运动图像专有的运动图像信息；
选择器，其基于所述获取单元获取的所述运动图像信息，选择存储在所述布局信息存储器中的所述布局信息之一；以及
静止图像产生单元，其产生静止图像，其中，包括在存储于所述存储器中的所述运动图像中的帧图，排列成由所述选择器选择的所述布局信息示出的布局形式。
2.根据权利要求1所述的图像处理器，其中所述运动图像专有的所述运动图像信息包括所述运动图像的时间长度。
3.根据权利要求1所述的图像处理器，其中所述运动图像专有的运动图像信息包括改变点的数量，所述改变点中，在所述运动图像中包括的帧图中的两个相邻帧图之间的内容的改变程度是阈值或更大。
4.根据权利要求1所述的图像处理器，其中所述静止图像产生单元包括控制器，当所述选择器选择的所述布局信息示出的所述布局形式包括这样一种布局形式，其中该布局形式包括其大小大于其它帧图的大小的代表性帧图时，所述控制器使用户选择将要用作所述代表性帧图的帧图。
5.根据权利要求4所述的图像处理器，其中所述静止图像产生单元产生包括所述代表性帧图的静止图像，和用于所述代表性帧图之前和之后的预定时间周期的帧的多个帧图。
6.根据权利要求5所述的图像处理器，其中所述控制器允许用户选择所述代表性帧图之前和之后的预定时间周期。
7.根据权利要求1所述的图像处理器，其中所述静止图像产生单元包括控制器，当所述选择器选择的所述布局信息示出的所述布局形式包括这样一种布局形式，其中该布局形式包括大小大于其它帧图的大小的代表性帧图时，所述控制器基于预定的判断标准从所述运动图像的所有帧中确定将要用作所述代表性帧图的帧图。
8.根据权利要求7所述的图像处理器，其中所述静止图像产生单元产生包括所述代表性帧图的静止图像，和用于所述代表性帧图之前和之后的预定时间周期的帧的多个帧图。
9.根据权利要求8所述的图像处理器，其中所述控制器允许用户选择所述代表性帧图之前和之后的预定时间周期。
10.一种图像处理方法，包括：
获取运动图像专有的运动图像信息；
基于所获取的运动图像信息选择布局信息之一；以及
产生静止图像，其中包括在所述运动图像中的帧图排列成由所选的布局信息示出的布局形式。
11.一种照相机，包括：
图像捕获单元，其捕获对象的运动图像；
存储器，其存储所述图像捕获单元捕获的所述运动图像；
布局信息存储器，其存储多项布局信息，所述布局信息示出包括在所述运动图像中的多个帧图的多个布局形式；
获取单元，其从存储在所述存储器中的所述运动图像中获取所述运动图像专有的运动图像信息；
选择器，其基于所述获取单元获取的所述运动图像信息，选择存储在所述布局信息存储器中的所述布局信息之一；以及
静止图像产生单元，其产生静止图像，其中，包括在存储于所述存储器中的所述运动图像中的帧图，排列成由所述选择器选择的所述布局信息示出的布局形式。
12.一种图像处理器，包括：
存储器，其存储运动图像；
获取单元，其从存储在所述存储器中的所述运动图像中获取所述运动图像专有的运动图像信息；
提取单元，其基于所述获取单元获取的所述运动图像信息，从存储在所述存储器中的所述运动图像中提取帧图；以及
静止图像产生单元，其产生静止图像，其中所述提取单元提取的所述帧图排列成预定的布局形式。
13.根据权利要求12所述的图像处理器，其中所述运动图像专有的运动图像信息包括改变点的数量，所述改变点中，在包括于所述运动图像中的帧图中的两个相邻帧图之间的内容的改变程度是阈值或更大。
14.根据权利要求12所述的图像处理器，还包括
布局信息存储器，其存储多项布局信息；
控制器，其使用户选择存储在所述布局信息存储器中的所述多项布局信息中的任意一项；以及
改变单元，当通过所述控制器选择的所述布局信息示出的布局形式中的帧图的数量低于由所述提取单元提取的所述帧图的数量时，所述改变单元将所述静止图像产生单元产生所述静止图像过程中使用的所述布局信息改变为存储在所述布局信息存储器中的并且与所述帧图的数量相应的其它布局信息。
15.根据权利要求12所述的图像处理器，其中所述静止图像产生单元包括布局调整单元，当由所述提取单元提取的所述帧图的数量低于由预定的布局信息示出的所述布局形式中的帧图的数量时，所述布局调整单元基于所述提取单元提取的所述帧图的数量，改变所述预定的布局信息的所述帧图的数量和各个帧图的布局间隔。
16.一种图像处理方法，包括：
获取运动图像专有的运动图像信息；
基于所获取的运动图像信息从所述运动图像中提取帧图；以及
产生静止图像，其中所提取的帧图排列成预定的布局形式。
17.一种照相机，包括：
图像捕获单元，其捕获对象的运动图像；
存储器，其存储由所述图像捕获单元捕获的所述运动图像；
获取单元，其从存储在所述存储器中的所述运动图像中获取所述运动图像专有的运动图像信息；
提取单元，其基于所述获取单元获取的所述运动图像信息，从存储在所述存储器中的所述运动图像中提取帧图；以及
静止图像产生单元，其产生静止图像，其中，由所述提取单元提取的所述帧图排列成预定的布局形式。
CN2005800227118A 2004-12-17 2005-12-13 图像处理器 Expired - Fee Related CN1981305B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP365207/2004 2004-12-17
JP2004365207A JP4380523B2 (ja) 2004-12-17 2004-12-17 画像処理装置及び画像処理方法、カメラ装置
PCT/JP2005/023212 WO2006064941A1 (en) 2004-12-17 2005-12-13 Image processor

Publications (2)

Publication Number Publication Date
CN1981305A CN1981305A (zh) 2007-06-13
CN1981305B true CN1981305B (zh) 2011-04-13

Family

ID=36087662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800227118A Expired - Fee Related CN1981305B (zh) 2004-12-17 2005-12-13 图像处理器

Country Status (8)

Country Link
US (2) US7652797B2 (zh)
EP (1) EP1825435B1 (zh)
JP (1) JP4380523B2 (zh)
KR (1) KR100899912B1 (zh)
CN (1) CN1981305B (zh)
DE (1) DE602005020351D1 (zh)
TW (1) TWI305703B (zh)
WO (1) WO2006064941A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915860B2 (ja) * 2007-03-28 2012-04-11 Ｋｄｄｉ株式会社 動画像分類装置
US8065628B2 (en) * 2007-06-25 2011-11-22 Microsoft Corporation Dynamic user interface for previewing live content
KR101364536B1 (ko) 2007-06-29 2014-02-18 삼성전자주식회사 동영상 촬영 모드가 수행되는 디지털 영상 처리 장치의제어 방법, 및 이 방법을 채용한 디지털 영상 처리 장치
JP4702389B2 (ja) * 2008-03-31 2011-06-15 ブラザー工業株式会社 画像処理装置
JP2010130510A (ja) * 2008-11-28 2010-06-10 Brother Ind Ltd 印刷装置及びプログラム
JP4692615B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
JP4692614B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
JP5343739B2 (ja) 2009-07-02 2013-11-13 ブラザー工業株式会社 出力装置及びプログラム
KR101167765B1 (ko) 2009-11-06 2012-07-24 삼성전자주식회사 필기 데이터를 이용한 필기 메시지 재생 장치 및 방법
JP4930615B2 (ja) * 2010-03-19 2012-05-16 ブラザー工業株式会社 出力装置及びプログラム
KR20120063886A (ko) * 2010-12-08 2012-06-18 삼성전자주식회사 영상처리장치, 사용자 단말장치 및 그 영상처리방법, 제어방법
JP2012160869A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 画像処理装置
JP5901328B2 (ja) * 2012-02-09 2016-04-06 オリンパス株式会社 画像合成方法及び画像合成装置
JP6463967B2 (ja) * 2014-12-25 2019-02-06 キヤノン株式会社 撮像装置及びその制御方法
WO2020250726A1 (ja) * 2019-06-14 2020-12-17 ソニー株式会社 画像処理装置および画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1262916A2 (en) * 2001-05-28 2002-12-04 Matsushita Electric Industrial Co., Ltd. Image motion detecting circuit
CN1506686A (zh) * 2002-12-09 2004-06-23 北京中星微电子有限公司 运动图像检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3492029B2 (ja) 1995-06-30 2004-02-03 キヤノン株式会社 撮像装置
JPH09130591A (ja) 1995-10-31 1997-05-16 Brother Ind Ltd プリンタ装置
EP0805405A3 (en) * 1996-02-05 1998-04-15 Texas Instruments Incorporated Motion event detection for video indexing
JPH09294238A (ja) 1996-04-24 1997-11-11 Sony Corp 画像取り込み装置、画像取り込み方法、画像取り込みシステム、画像表示処理装置、及び記録媒体
JPH10277195A (ja) 1997-04-03 1998-10-20 Sanyo Electric Co Ltd 映像記録再生装置
JP3529587B2 (ja) 1997-05-29 2004-05-24 日本電信電話株式会社 映像一覧表示方法および映像一覧表示プログラムを記録した記録媒体
JP2000002308A (ja) * 1998-06-16 2000-01-07 Tetsuo Arai カム装置
JP2000023081A (ja) * 1998-06-29 2000-01-21 Sanyo Electric Co Ltd 画像再生装置
US6430605B2 (en) 1999-04-28 2002-08-06 World Theatre, Inc. System permitting retail stores to place advertisements on roadside electronic billboard displays that tie into point of purchase displays at stores
JP3959580B2 (ja) * 1999-06-25 2007-08-15 信越化学工業株式会社 窒素原子含有ポリシロキサン、その製造方法及び繊維処理剤組成物
JP3774343B2 (ja) * 1999-10-04 2006-05-10 株式会社日立製作所 ビデオカメラ
KR20010057329A (ko) * 1999-12-22 2001-07-04 황종화 인터넷용 앨범 제작 및 운용방법
US20030117428A1 (en) * 2001-12-20 2003-06-26 Koninklijke Philips Electronics N.V. Visual summary of audio-visual program features
JP2004015585A (ja) 2002-06-10 2004-01-15 Brother Ind Ltd 動画像印刷装置、動画像印刷方法、およびコンピュータプログラム
US7284040B2 (en) * 2002-09-13 2007-10-16 Canon Kabushiki Kaisha Information processing apparatus for providing image to communication terminal and control method therefor
JP2004214897A (ja) 2002-12-27 2004-07-29 Make Softwear:Kk 写真自動販売機における画像選択方法、画像選択プログラム、および写真自動販売機
US7275210B2 (en) * 2003-03-21 2007-09-25 Fuji Xerox Co., Ltd. Systems and methods for generating video summary image layouts
US8392834B2 (en) * 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1262916A2 (en) * 2001-05-28 2002-12-04 Matsushita Electric Industrial Co., Ltd. Image motion detecting circuit
CN1388710A (zh) * 2001-05-28 2003-01-01 松下电器产业株式会社 图像运动检测电路
CN1506686A (zh) * 2002-12-09 2004-06-23 北京中星微电子有限公司 运动图像检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CN 1388710 A,全文.

Also Published As

Publication number Publication date
JP4380523B2 (ja) 2009-12-09
EP1825435A1 (en) 2007-08-29
KR100899912B1 (ko) 2009-05-28
KR20070088445A (ko) 2007-08-29
US7652797B2 (en) 2010-01-26
TW200629881A (en) 2006-08-16
WO2006064941A1 (en) 2006-06-22
DE602005020351D1 (de) 2010-05-12
US20100007774A1 (en) 2010-01-14
JP2006174189A (ja) 2006-06-29
CN1981305A (zh) 2007-06-13
TWI305703B (en) 2009-01-21
US20060132637A1 (en) 2006-06-22
EP1825435B1 (en) 2010-03-31

Similar Documents

Publication Publication Date Title
CN1981305B (zh) 图像处理器
JP4902136B2 (ja) 撮像装置、撮像方法及びプログラム
US7705904B2 (en) Moving-image recording device for recording moving image
JP4347724B2 (ja) 画像ファイル生成装置および方法ならびに画像ファイル再生装置および方法
US20100245540A1 (en) Image processing apparatus, control method thereof, and program
EP1981272B1 (en) Image capturing apparatus, image processing apparatus and control methods thereof
JP2006211324A (ja) ディジタルカメラ装置、画像再生方法および画像再生プログラム、ならびに、データ構造体
JP4641515B2 (ja) 画像再生装置及び画像再生方法
JP6366268B2 (ja) 撮像装置及びその制御方法
JP2004120134A (ja) 画像表示装置及びその制御方法
JPWO2008035655A1 (ja) 記録装置、記録方法、記録プログラムおよび集積回路
JP4300074B2 (ja) 静止画像抽出装置及び静止画像抽出方法
JP4193691B2 (ja) 撮像装置、動画ファイルの記録方法、及びプログラム
KR20030053053A (ko) 디지털 카메라
KR100593352B1 (ko) 영상 데이터 기록 장치 및 방법과 기록 매체
JP2006041794A (ja) 画像処理装置および画像処理プログラム
KR101480404B1 (ko) 기록 장치, 재생 장치, 기록 방법, 재생 방법 및 이를수행하는 컴퓨터 프로그램을 기록한 저장매체
KR101332299B1 (ko) 영상기록장치 및 방법
JP4428801B2 (ja) 信号処理装置及びその方法
JP2004165857A (ja) 画像再生装置および方法
JP2005229553A (ja) 画像処理装置
JP2001309218A (ja) デジタルカメラ
JP4809451B2 (ja) 画像ファイル生成装置および方法ならびに画像ファイル再生装置および方法
JP5489582B2 (ja) 画像処理装置及び画像処理方法
JP2009118195A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110413

Termination date: 20211213