CN102131026B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102131026B
CN102131026B CN201110008090.5A CN201110008090A CN102131026B CN 102131026 B CN102131026 B CN 102131026B CN 201110008090 A CN201110008090 A CN 201110008090A CN 102131026 B CN102131026 B CN 102131026B
Authority
CN
China
Prior art keywords
image
frame image
target zone
field picture
representative frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110008090.5A
Other languages
English (en)
Other versions
CN102131026A (zh
Inventor
长谷川智彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Publication of CN102131026A publication Critical patent/CN102131026A/zh
Application granted granted Critical
Publication of CN102131026B publication Critical patent/CN102131026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00148—Storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169—Digital image input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00188—Printing, e.g. prints or reprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215—Recording a sequence of still pictures, e.g. burst mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2158—Intermediate information storage for one or a few pictures using a detachable storage unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4117—Peripherals receiving signals from specially adapted client devices for generating hard copies of the content, e.g. printer, electronic paper
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像处理设备和图像处理方法。该图像处理设备包括执行使处理器提供功能单元的指令的处理器，所述功能单元包括：设置单元，其对运动图像中的多个提取目标范围进行设置，每个提取目标范围由彼此相继按时间顺序排列的一组帧图像所构造，并且使得在各提取目标范围之中不存在共享的公共帧图像；选择单元，其选择代表帧图像，该代表帧图像与另一代表帧图像的差分在属于提取目标范围的各帧图像与另一代表帧图像的差分之中是最大的；以及布局图像产生单元，其产生按照表示代表帧图像之中的时间顺序关系的模式来布局所选择的代表帧图像的布局图像。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种图像处理设备，该图像处理设备用于产生这样的图像，在该图像中布局有根据运动图像文件所提取出的多个帧图像。
背景技术
传统地，提出了能够打印表示由多个帧图像构造的运动图像的打印设备。例如，打印设备从运动图像提取指定数目的帧图像、将所提取的帧图像布局在单页的布置中以及打印出所布局的帧图像。特开日本专利申请公布No.2001-78127公开了一种打印设备，该打印设备每隔通过使构成运动图像的帧图像的总数目除以要布局在单页上的帧图像数目所确定的间隔，从运动图像文件提取帧图像。利用该构造，等间隔地按时间顺序提取帧图像，使得用户很容易领会运动图像的流。
在上述打印设备中，从运动图像所提取出的一些帧图像可能彼此相似。然而，在有些情况下，布局相似的帧图像既不是有利的又不是有效的。例如，假定运动图像包含特定事件的短场景。根据场景的转换，构成短场景的帧图像根本不能从运动图像中提取出并且不能被布局以打印。如果是这种情况，那么用户难以识别出运动图像与什么有关。
发明内容
考虑到上述情况，本发明的目的是提供一种图像处理设备，该图像处理设备能够产生使用户能够很容易识别出运动图像的流及实质的图像。本发明还提供一种便于用户对运动图像的流及内容进行理解的图像处理方法。
为了获得上述及其他目的，提供一种包括被构造成执行下述指令的处理器的图像处理设备，所述指令使处理器提供包括设置单元、选择单元、布局图像产生单元的功能单元。设置单元对由彼此相继按时间顺序排列的多个帧图像构造的运动图像中的多个提取目标范围进行设置，每个提取目标范围由从构成运动图像的多个帧图像之中选择出来的并且彼此相继按时间顺序排列的一组帧图像所构造，并且将所述多个提取目标范围设置成使得在提取目标范围之中不存在被共享的公共帧图像。选择单元从提取目标范围中的帧图像组之中选择代表帧图像，该代表帧图像是这样一种帧图像，该帧图像与另一代表帧图像的差分在属于提取目标范围的各帧图像与另一代表帧图像的各差分之中是最大的，所述另一代表帧图像选择自所述各提取目标范围之中的、按时间顺序定位的相邻于从中选择所述代表帧图像的所述提取目标范围的一个提取目标范围。布局图像产生单元产生布局图像，在该布局图像中，按照表示代表帧图像之中的时间顺序关系的模式来布局被选的代表帧图像。
根据另一方面，本发明提供一种图像处理方法，该图像处理方法包括：对由彼此相继按时间顺序排列的多个帧图像构造的运动图像中的多个提取目标范围进行设置，每个提取目标范围由从构成了运动图像的多个帧图像之中选择出来的并且彼此相继按时间顺序排列的一组帧图像所构造，并且将所述多个提取目标范围设置成在提取目标范围之中不不存在被共享的公共帧图像；从提取目标范围中的帧图像组之中选择代表帧图像，该代表帧图像是这样一种帧图像，该帧图像与另一代表帧图像的差分在属于提取目标范围的各帧图像与另一代表帧图像的各差分之中是最大的，所述另一代表帧图像选择自所述各提取目标范围之中的、按时间顺序定位的相邻于从中选择所述代表帧图像的所述提取目标范围的一个提取目标范围；以及产生布局图像，在该布局图像中，按照表示代表帧图像之中的时间顺序关系的模式布局所选的代表帧图像。
附图说明
在附图中：
图1是对包括CPU和内部存储器(RAM)的多功能设备的电构造进行说明的框图；
图2A是用于说明如何从运动图像文件确定出基准帧图像的视图；
图2B是用于说明如何在提取目标范围中选择代表帧图像的视图；
图3A是用于从概念上说明RAM的输入图像信息存储区域的视图；
图3B是用于从概念上说明RAM的运动图像信息存储区的视图；
图4A是用于从概念上说明RAM的基准帧图像信息存储区的视图；
图4B是用于从概念上说明RAM的提取帧图像信息存储区的视图；
图5A是用于从概念上说明布局多个帧图像的布局图像的视图；
图5B是用于概念上说明RAM的帧差分信息存储区的视图；
图6是多功能设备的CPU所执行的介质图像打印处理的流程图；
图7是在图6的介质图像打印处理期间所执行的打印图像选择处理的流程图；
图8是在图7的打印图像选择处理期间所执行的输出图像产生处理的流程图；
图9是在图8的输出图像产生处理期间所执行的代表帧选择处理的流程图；以及
图10是直方图产生处理的流程图。
具体实施方式
首先，参考图1对根据本发明实施例的多功能设备10(以下简称为“MFD 10”)的一般构造进行描述。
MFD 10提供有包括打印机功能、扫描仪功能以及彩色复印机功能的各种功能。如图1所示，MFD 10提供有通过信号线彼此互连的CPU11、ROM 12、内部存储器(RAM)13、扫描单元14、打印单元15、LCD单元16、输入单元17以及介质卡插槽18。
CPU 11执行MFD 10的所有计算。ROM 12预存储有CPU 11执行的、以便实现随后描述的处理(图6至9所示)的程序。RAM 13临时存储由CPU 11所执行的计算结果、输入数据等等。随后将对RAM 13的细节进行描述。
打印单元15打印向其发布了打印命令的图像数据。打印单元15能够利用青色、洋红、黄色以及黑色这四色的墨粉或墨水来打印彩色图像。
LCD单元16在小型彩色液晶显示器上显示图像(包括用于消息的字符串的图像)。
输入单元17具有用户能够按压的各种操作键并且根据所按压的键来输入数据。更具体地说，输入单元17包括用于向上、向下、向左、向右移动指针的向上键、向下键、向左键和向右键；以及用于接受选择的OK键(未示出所有键)。
介质卡插槽18接收插入到其中的诸如SD卡以及压缩快闪卡(便携式非易失性存储介质)的介质卡。MFD 10还具有用于从在介质卡插槽18中插入的介质卡直接读取图像文件并且打印由图像文件所表示的图像的直接打印功能。
这里所讨论的图像文件包括表示静止图像的静止图像文件以及表示运动图像的且由多个帧图像构造的运动图像文件。当要打印的图像文件是静止图像文件时，MFD 10在单页上产生由静止图像文件所表示的静止图像。当要打印的图像文件是运动图像文件时，MFD 10从构成由运动图像文件所表示的运动图像的多个帧图像提取指定数目的帧图像(在本实施例中是九个)，并且产生且打印具有按时间顺序排列的顺序而布局在单页上的提取帧图像的图像(称为″布局图像″；参见图5A)。
更具体地说，如图2A所示，本实施例的MFD 10首先确定九个帧图像，其包括第一图像(第一帧)、最后图像(最后帧)以及通过将运动图像文件中的帧的总数目分成八个等间隔来平均分布在其之间的七个图像(七个帧)。如果无法将帧的总数目分成正好相同量的八个划分，那么通过将帧的总数目分成八个近似等间隔来获得七个图像。将所提取的九个帧图像称为基准帧图像REF(0)-REF(8)(用作基准点)。换句话说，在本实施例中选择运动图像文件中的基本上等间隔地按时间顺序排列设置的九个帧图像作为基准帧图像REF(0)-REF(8)。
MFD 10进一步为九个基准帧图像REF(0)-REF(8)的每一个指定被称为″提取目标范围ETR(0)-ETR(8)″的帧图像的范围。每个提取目标范围ETR(N)(其中，N＝0-8)包括：相应的基准帧图像REF(N)；以及与相应的基准帧图像REF(N)在按时间顺序排列上相连续的多个连续帧图像(被称为″相邻帧图像″)。确定提取目标范围，使得任何两个相邻提取目标范围ETR(N-1)和ETR(N)彼此不共享任何公共帧图像。换句话说，任何两个相邻提取目标范围彼此不重叠。应该注意的是，就第一提取目标范围ETR(0)而言，仅将按时间顺序排列设置在基准帧图像REF(0)之后的并且与基准帧图像REF(0)相连续的那些帧图像选择为相邻帧图像；对于最后提取目标范围ETR(8)而言，仅将按时间顺序排列设置在基准帧图像REF(8)之前的并且与基准帧图像REF(8)相连续的那些帧图像选择为相邻帧图像；以及对于其余的提取目标范围ETR(1)-ETR(7)而言，将按时间顺序排列设置在各个基准帧图像(1)-REF(7)之前的并且与基准帧图像REF(1)-REF(7)相连续的以及按时间顺序排列设置在各个基准帧图像(1)-REF(7)之后的并且与基准帧图像REF(1)-REF(7)相连续的那些帧图像选择为相邻帧图像。
从每个提取目标范围(N)(其中N＝0-8)中选择单个帧图像作为代表帧图像REP(N)(其中N＝0-8)，然后实际上将该代表帧图像REP(N)布局在布局图像(参见图5A)中。更具体地说，如图2B所示，MFD 10为除了第一提取目标范围ETR(0)之外的每个提取目标范围ETR(N)计算与下述代表帧图像REP(N-1)的差分，所述代表帧图像REP(N-1)是已从按时间顺序排列设置在紧接在当前所处理的提取目标范围ETR(N)之前的提取目标范围ETR(N-1)中选择出来。将其差分在存在于提取目标范围ETR(N)中的所有帧图像之中最大的帧图像确定为对象提取目标范围ETR(N)的代表帧图像REP(N)。换句话说，MFD 10选择提取目标范围ETR(N)中的所有帧图像之中的具有与从提取目标范围ETR(N-1)所选择出来的代表帧图像的最大差分的一个帧图像作为提取目标范围ETR(N)(其中N＝1-8)的代表帧图像REP(N)。对于第一提取目标范围ETR(0)，因为不存在要比较的代表帧图像REP(N-1)，因此将提取目标范围ETR(0)(即第一帧图像)中的第一基准帧图像REF(0)确定为代表帧图像REP(0)。
MFD 10在LCD单元16上显示预览屏幕(未显示)，这能够使用户从在介质卡上存储的多个图像文件之中选择要打印的图像文件，并且打印由所选图像文件所表示的图像。
接下来，参考图1和3A至5B来描述RAM 13的存储区。
如图1所示，RAM 13提供有用于存储不同类型数据的各种存储区。该存储区包括输入图像信息存储区31、运动图像信息存储区32、基准帧图像信息存储区33、代表帧图像信息存储区34、帧差分信息存储区35、输出图像数据存储区36、预览图像数据存储区37、帧图像数据存储区38、打印数据存储区39以及临时变量存储区40。
输入图像信息存储区31用于存储与介质卡插槽18中插入的介质卡上存储的图像文件有关的信息。更具体地说，如图3A所示，将输入图像信息存储区31分成输入图像ID存储区51、输入图像文件名存储区52以及输入图像文件大小存储区53。
输入图像ID存储区51用于存储介质卡上储存的图像文件的ID。基于在介质卡上存储的图像文件的数目从0开始连续地分配ID(以下简称为″输入图像ID″)。按照从介质卡读出文件这样的顺序，将输入图像ID分配给从介质卡读出的图像文件。
输入图像文件名存储区52用于存储图像文件的文件名。具体地说，输入图像文件名存储区52是256字节的区域，并且区域的每个字节所占的区域能够存储一个字符的数据或者没有字符的数据。输入图像文件大小存储区53用于存储表示图像文件的文件大小的数值(在该示例中，以千字节为单位的值)。
运动图像信息存储区32用于临时存储所处理的运动图像文件的从介质卡所读取的信息。具体地说，如图3B所示，运动图像信息存储区32提供有格式类型存储区61、编解码器类型存储区62、水平大小存储区63、垂直大小存储区64以及总帧数目存储区65。
格式类型存储区61存储所处理的运动图像文件的文件格式类型的数据。在本实施例中，格式类型存储区61可以存储预先指定给三个文件格式之一的值0、1、2中的一个：0用于AVI格式、1用于MOV格式以及2用于MPEG格式。
编解码器类型存储区62存储所处理的运动图像文件的编解码器类型的数据。在本实施例中，编解码器类型存储区62可以存储预先指定给三类编解码器之一的值0、1、2中的一个：0用于Motion JPEG编解码器、1用于MPEG1编解码器以及2用于DivX编解码器。
水平大小存储区63存储表示构成所处理的运动图像文件(帧图像)的每个帧图像中的水平方向上的像素数目的数字数据。
垂直大小存储区64存储表示构成所处理的运动图像文件(帧图像)的每个帧图像中的垂直方向上的像素数目的数字数据。
总帧数目存储区65存储表示构成所处理的运动图像文件的总数目(帧数目)的数字数据。
基准帧图像信息存储区33用于存储与基准帧图像REF(0)-REF(8)有关的信息。具体地说，如图4A所示，基准帧图像信息存储区33提供有基准帧信息控制号存储区71、基准帧号存储区72、ETR起始帧号存储区73以及ETR结束帧号存储区74。
基准帧信息控制号存储区71预存储用于对与九个基准帧图像REF(0)-REF(8)(控制号(N)，其中N＝0-8)中的每一个有关的信息进行控制的数目0至8中的一个。
基准帧号存储区72用于存储下述数字数据，所述数字数据表示每个基准帧图像REF(N)在运动图像文件内所处的位置，也就是说每个基准帧图像REF(N)的帧号，其中N＝0-8。向运动图像文件的第一帧分配帧号0。
ETR起始帧号存储区73用于对每个控制号(N)(即，每个提取目标范围ETR(N))存储作为存在于提取目标范围ETR(N)中的帧图像的帧号之中最小的帧号(称为″ETR起始帧号″)。
ETR结束帧号存储区74用于对每个控制号(N)(即，每个提取目标范围ETR(N))存储作为存在于提取目标范围中的帧图像的帧号之中最大的帧号(称为″ETR结束帧号″)。
代表帧图像信息存储区34用于存储与所有九个代表帧图像REP(0)-REP(8)有关的信息。具体地说，如图4B所示，代表帧图像信息存储区34提供有代表帧信息控制ID存储区81以及代表帧号存储区82。
代表帧信息控制ID存储区81预存储用于对与九个代表帧图像REP(0)-REP(8)中的每一个有关的信息进行控制的数目0至8中的一个(控制号(N))。这些数目(0-8的控制号(N))分别与预分配给图5A所示的布局图像中的各个布局位置的数目(0)-(8)相对应。
代表帧号存储区82存储下述数字数据，该数字数据标识出代表帧图像REP(0)-REP(8)在运动图像文件内所处的位置(即，代表帧图像REP(0)-REP(8)的帧号)。
帧差分信息存储区35用于存储提取目标范围ETR(N)(第N提取目标范围)中的帧图像与已从提取目标范围ETR(N-1)(与提取目标范围ETR(N)在按时间顺序排列上设置成相邻的且在提取目标范围ETR(N)之前的第(N-1)提取目标范围或者″在前提取目标范围ETR(N-1)″)选择出来的代表帧图像REP(N-1)之间的差分。更具体地说，如图5B所示，帧差分信息存储区35提供有可能的ETR帧数目存储区91、帧差分存储区92、相应的帧号存储区93。
可能的ETR帧数目存储区91用于存储表示在所处理的一个提取目标范围ETR(N)中可能包括的多少帧图像的数字数据(称为″可能的ETR帧数目″)。如随后所述的，基于该可能的ETR帧数目来确定多少帧图像实际上包括在提取目标范围之内，但是其可以等于或者不等于可能的ETR帧数目。
帧差分存储区92用于临时存储提取目标范围ETR(N)中的帧图像与从在前提取目标范围ETR(N-1)中选择出来的代表帧图像REP(N-1)(″称为在前代表帧图像REP(N-1)″)之间的差分的绝对值之和。
相应的帧号存储区93用于临时存储下述数字数据，该数字数据表示帧图像被设置在运动图像文件内的位置(帧号)，所述帧图像的与在前代表帧图像REP(N-1)的差分被存储在帧差分存储区92中。
输出图像数据存储区36用于临时存储输出图像数据(表示打印图像的已解码图像数据)。对于运动图像文件而言，输出图像是在单页的相应布局位置处连续布局从运动图像文件所提取出的九个代表帧图像REP(0)-REP(8)的布局图像(参见图5A)。对于静止图像文件而言，输出图像是在单页上布局的由静止图像文件所表示的一个静止图像。
预览图像数据存储区37用于临时存储通过将在输出图像数据存储区36中存储的输出图像数据转换成(放大或缩小)预定预览图像大小所产生的预览图像。
帧图像数据存储区38用于临时存储从所处理的运动图像文件所提取出的帧图像数据。根据运动图像文件的类型，以压缩状态且以运动图像文件所固有的格式(例如，JPEG格式或MPEG格式)存储帧图像数据。
打印数据存储区39用于临时存储：对其执行打印处理以产生打印数据的中间处理数据(栅格化数据)；以及所产生的打印数据(栅格化数据)。
临时变量存储区40用于临时存储诸如预览ID计数器、代表帧计数器、基准帧计数器、差分帧计数器以及差分计数器的计数器。如随后所描述的，在由CPU 11所执行的各种处理期间使用这些计数器。
接下来，参考图6至9，对MFD 10的CPU 11所执行的根据本实施例的处理进行详细地描述。
MFP 10的CPU 11执行图6所示的介质图像打印处理。介质图像打印处理包括打印图像选择处理(图7)，在该打印图像选择处理期间执行输出图像产生处理(图8)。输出图像产生处理进一步包括代表帧选择处理(图9)。
在将存储图像文件的介质卡插入到介质卡插槽18中的同时，当用户对输入单元17执行操作以选择图像打印模式时，CPU执行图6的介质图像打印处理。
参考图6的流程图，对由CPU 11所执行的介质图像打印处理进行描述。
在S101中，在介质图像打印处理的开始，CPU 11执行介质信息提取处理。具体地说，CPU 11读取在介质卡中存储的每个图像文件的信息(文件名和文件大小)并且连续地将所读取的信息与表示读取图像文件的顺序的输入图像ID相关联地存储在输入图像信息存储区31的输入图像文件名存储区52和输入图像文件大小存储区53中。将从0开始的输入图像ID分别存储在输入图像ID存储区51中。
在S102中，CPU 11执行打印图像选择处理。在打印图像选择处理期间，CPU 11在LCD单元16上显示至少一个预览图像，以能够使用户捕获在介质卡上存储的图像文件如何看起来像是在实际打印时，并且提示用户以选择实际上应打印哪个图像文件。
参考图7中的流程图，对S102的打印图像选择处理进行描述。
在S201中，在打印图像选择处理的开始，CPU 11从在介质卡中存储的图像文件中确定要在LCD单元16上显示的一个图像文件。更具体地说，向在临时变量存储区40中预存储的预览ID计数器赋予初始值0。CPU 11将其输入图像ID(存储在输入图像ID存储区51中)与预览ID计数器的值相对应的图像文件确定为将在LCD单元16上显示其预览图像的目标图像文件。根据输入单元17上的向上、向下、向左、向右键的用户操作，能够将在LCD单元16上所示出的预览图像切换到另一图像文件的另一预览图像，并且将按压OK键时显示其预览图像的一个图像文件确定为要打印的目标图像文件。
在S202中，CPU 11执行输出图像产生处理。在输出图像产生处理期间，CPU 11产生在S201中所确定的图像文件的输出图像数据(已解码的打印图像数据)，并且将输出图像数据存储在输出图像数据存储区36中。如果所选择的图像文件是运动图像文件，那么输出图像数据表示图5A所示的布局图像数据。然而，如果所选择的图像文件是静止图像文件，那么输出图像数据是单页上的由静止图像文件所表示的静止图像。
参考图8中的流程图，对S202的输出图像产生处理进行描述。
在S301中，在输出图像产生处理的开始，CPU 11读取(取回)在LCD单元16上显示其预览图像的目标图像文件的输入图像ID。更具体地说，CPU 11参考等于预览ID计数器的当前值的输入图像ID并且读出输入图像ID。
在S302中，CPU 11随后通过参考目标图像文件中的标头数据来确定是将在S301中所确定的目标图像文件的类型分类为静止图像文件还是运动图像文件。具体地说，CPU 11参考与输入图像信息存储区31中的目标图像文件的输入图像ID相关联地存储在输入图像文件名存储区52中的文件名。通过利用该文件名，CPU 11直接访问在介质卡上存储的目标图像文件并且参考其中的标头数据。
如果CPU 11在S302中确定出图像文件是运动图像文件，那么在S303中CPU 11执行从运动图像文件提取运动图像参数的处理。在该处理中，CPU 11获取运动图像文件的格式类型数据、编解码器类型数据、水平大小数据、垂直大小数据以及总帧数目数据。CPU 11将这些数据分别存储在运动图像信息存储区32的格式类型存储区61、编解码器类型存储区62、水平大小存储区63、垂直大小存储区64以及总帧数目存储区65中(参见图3B)。如果此时用于不同运动图像文件的数据已被存储在运动图像信息存储区32中，那么在存储用于当前处理的运动图像文件的数据之前CPU 11首先删除现有数据(盖写现有数据)。
在S304中，CPU 11执行代表帧选择处理。在代表帧选择处理期间，CPU 11从运动图像文件中的帧图像之中选择九个代表帧图像REP(0)-REP(8)。向九个代表帧图像REP(0)-REP(8)分配从0开始至8的控制号(N)，并且将各个代表帧图像REP(0)-REP(8)的帧号与控制号相关联地存储在代表帧图像信息存储区34的代表帧号存储区82中(参见图4B)。随后参考图9，对提取帧选择处理的细节进行描述。
CPU 11连续地执行(重复)S305-S309的处理，以将在S304中所选择的九个代表帧图像REP(0)-REP(8)布局到布局图像上。
具体地说，在第一次执行S305-S309的循环之前，向预存储在临时变量存储区40中的代表帧计数器赋予初始值0。CPU 11对其控制号(N)与代表帧计数器的当前值(N)一致的代表帧图像REP(N)连续地执行S305-S309的处理。当S309的处理结束(S309：否)时，CPU11通过使代表帧计数器的值加一(1)而成为(N+1)并且返回到S305以对其余的代表帧图像REP(N+1)的下一个执行S305-S309的处理。
更具体地说，在S305中，CPU 11执行从运动图像文件提取其帧号与在代表帧号存储区82中存储的代表帧图像的帧号相同的帧图像数据的处理。也就是说，CPU 11提取其控制号(N)等于代表帧计数器的当前值(N)的代表帧图像REP(N)的帧图像数据。
在S306中，CPU 11将在S305中所提取的帧图像数据(压缩状态)存储在帧图像数据存储区38中。
在S307中，CPU 11对在帧图像数据存储区38中存储的帧图像数据执行扩展(解码)处理并且将该帧图像数据转换成其中像素计算是可以的格式(诸如将用于每个像素的RGB值表示为从0到255的数值的图像数据)。
在S308中，CPU 11将已解码的帧图像数据布局在其布局位置号与代表帧计数器的当前值(N)相对应的布局位置处并且将其存储在输出图像数据存储区36中。
在S309中，CPU11确定是否已将所有九个代表帧图像REP(0)-REP(8)(具有0-8的控制号)布局在输出图像数据存储区36中。具体地说，当代表帧计数器到达8时，CPU11确定已在输出图像数据存储区36中布局了所有代表帧图像。
当确定仍然保持要布局在输出图像数据存储区36中的代表帧图像(S309：否)时，CPU 11使代表帧计数器加一(1)并且返回到S305，用于对下一代表帧图像的数据执行S305-S309的处理。
当确定已将所有代表帧图像的数据布局在输出图像数据存储区36中时(S309：是)，CPU 11结束输出图像产生处理。此时，在输出图像数据存储区36中存储的图像数据(即，布局图像)是用于运动图像文件的输出图像数据。
另一方面，如果CPU 11在S302中确定目标图像文件是静止图像文件，那么在S310中，CPU 11对静止图像文件执行扩展(解码)处理以将静止图像文件中的图像数据转换成其中像素计算是可以的格式。
在S311中，CPU 11将在S310中所扩展的图像数据存储在输出图像数据存储区36中，并且随后结束当前输出图像产生处理。换句话说，对于静止图像文件而言，与运动图像文件不一样，将单个静止图像布局在输出图像数据存储区36中。此时，在输出图像数据存储区36中存储的图像数据(表示静止图像的像素数据)是用于静止图像文件的输出图像数据。
当输出图像产生处理完成时，CPU11行进到打印图像选择处理的S203(图7)。
在S203中，CPU11利用众所周知的最近邻法将输出图像数据放大或缩小成预定大小的预览图像(在本实施例中，160×120像素的固定大小)，并且将所放大的/缩小的数据(预览图像数据)存储在预览图像数据存储区37中。
在S204中，CPU 11在输入单元17上显示由在预览图像数据存储区37中存储的预览图像数据所表示的图像(预览图像)。
在S205中，CPU 11根据用户对键的操作来接受来自输入单元17的输入。在S206中，CPU 11确定所按压的键是OK键还是诸如向上键、向下键、向左键、或者向右键的另一键。
当所按压的键是除了OK键之外的键时，CPU11行进到S207，在S207中，更新预览ID计数器的值。
更具体地说，当所按压的键是向下键或向右键时，在S207中，CPU11使预览ID计数器加一(1)，以便将当前所显示的图像文件的预览图像切换到其输入图像ID比当前显示其预览图像的图像文件的输入图像ID大一(1)的、图像文件的另一预览图像。另一方面，如果按压了向上键或向左键，那么在S207中CPU11使预览ID计数器减一(1)以便将当前显示的图像文件的预览图像切换到其输入图像ID比当前显示其预览图像的图像文件的输入图像ID小一(1)的图像文件的另一预览图像。按照这种方式，将当前在LCD单元16上显示的预览图像变成表示另一图像文件的另一预览图像。然后，CPU 11返回到S201。
然而，如果作为上述加1或减1的结果而使预览ID计数器的值超过了″在介质卡上存储的图像文件的数目-1″，那么CPU 11保持预览ID计数器的值而无需执行任何计算。此时，在LCD单元16上示出的预览图像不改变。在这里，CPU 11可以返返回到S205而不是S201。
如果CPU11确定在S206中按压了OK键，这意味着将当前在LCD单元16上显示的预览图像选择为要打印的图像文件(打印目标)，那么CPU 11终止S102的打印图像选择处理并且行进到介质图像打印处理S103(图6)。
在S103中，CPU 11执行图像打印处理，以打印用于在S102中所选择的图像文件的输出图像。在图像打印处理中，CPU11逐行地将现在存储在输出图像数据存储区36中的输出图像数据拷贝到打印数据存储区39、对所拷贝的输出图像数据执行颜色转换(从RGB到CMYK)和二进制转换、并且将所转换的输出数据输出到打印单元15。然后，打印单元15根据二进制数据执行打印。随后，CPU 11终止介质图像打印处理。
接下来，参考图9中的流程图，对S304的代表帧选择处理进行描述。在该处理期间，从目标运动图像文件中的帧图像之中选择九个代表帧图像，以实际地布局在由运动图像文件所表示的运动图像的布局图像中。
在S401中，在代表帧选择处理的开始，CPU 11计算目标运动图像文件中的每个提取目标范围ETR(N)中应该包括多少个帧图像(可能的ETR帧数目)。在本实施例中，将可能的ETR帧数目设置为等于1(基准帧图像的数目)与用于目标运动图像文件的FPS的值(每秒帧数)的和。FPS表示在运动图像文件中每一秒重放多少个帧图像的数目。换句话说，将可能的ETR帧数目设置成使得存在于每个提取目标范围(即，属于提取目标范围ETR(N)的除了基准帧图像REF(N)之外的帧图像的数目)中的相邻帧图像的数目等于每一秒所重放的帧图像的数目。
在S402中，CPU将在S401中所计算的可能的ETR帧数目(即，FPS+1)存储在帧差分信息存储区35的可能的ETR帧数目存储区91中(参见图5B，例如其中将31的值存储为可能的ETR帧数目)。
在S403中，CPU 11计算九个基准帧图像REF(0)-REF(8)的帧号(称为″基准帧号″)。在本实施例中，选择九个基准帧图像REF(0)-REF(8)以包括：第一帧图像、最后帧图像以及平均地分布在其之间的七个帧图像，所述七个帧图像是通过将运动图像文件中的帧的总数目划分成八个等间隔而得到的。更具体地说，运动图像文件中的每隔一定数目的帧图像设置的帧图像被选择作为基准帧图像REF(0)-REF(8)，该数目等于通过使“帧图像的总数目-1”除以要提取的帧图像的数目-1而获得的值(在本实施例中，9-1＝8)。在通过使“帧图像的总数目-1”除以“要提取的帧图像的数目-1”而获得的值不是整数的情况下，将接近导出值的整数(例如，通过舍入小数点之后的导出值而获得的整数)可以设定为用于确定基准帧图像的数目。
在S404中，CPU 11将在S403中所计算的基准帧号存储在基准帧图像信息存储区33的基准帧号存储区72中(图4A)。具体地说，与基准帧信息控制号存储区71的控制号(N)(N＝0-8)相对应地连续存储基准帧号(图4A)，使得将较小基准帧号存储在分配有较小控制号(N)的基准帧号存储区72的子区域中。
在S405中，CPU 11通过执行以下过程[1]和[2]得到用于九个基准帧图像REF(0)-REF(8)每一个的ETR起始帧号(在相应的提取目标范围中的最小帧号)以及ETR结束帧号(在相应的提取目标范围中的最大帧号)。
[1]计算ETR起始帧号。
首先，基于基准帧号(N)，CPU11计算在提取目标范围ETR(N)中的基准帧图像REF(N)之前按时间顺序排列地存在多少个相邻帧图像(称为″在前相邻帧数目″)。更具体地说，值A或者值B无论哪个在删减小数点后时均更小，CPU 11确定以下的值A或者值B作为提取目标范围ETR(N)的在前相邻帧数目。
(值A)＝(可能的ETR帧数目-1)/2
(值B)＝(当前(第N)基准帧号-在前(第(N-1)基准帧号-1)/2
值B是为了提取目标范围ETR(N)不具有与在前提取目标范围ETR(N-1)的任何重叠所设置的极限值。换句话说，虽然值A(每0.5秒的帧图像数目)通常小于值B，但是存在值A超过值B的情况；例如，当由运动图像文件所表示的整个运动图像的重放时间的长度极其短时。因此，将值A和值B中的较小一个确定为在前相邻帧数目以便避免在前提取目标范围ETR(N-1)与提取目标范围ETR(N)之间任何复制。该规则还应用于接下来所描述的″随后相邻帧数目″。
然后，CPU11通过使在前相邻帧数目减去基准帧号来计算ETR起始帧号(即ETR起始帧号＝基准帧号-在前相邻帧数目)。
[2]计算ETR结束帧号
首先，基于基准帧号(N)，CPU 11计算在提取目标范围ETR(N)中的基准帧图像REF(N)之后按时间顺序排列地存在多少个相邻帧图像(称为″随后相邻帧数目″)。具体地说，值C和值D无论哪个在删减小数点后时更小，将以下值C或者以下值D确定为提取目标范围ETR(N)的随后相邻帧数目。
(值C)＝(可能的ETR帧数目-1)/2
(值D)＝(下一个(第N+i)基准帧号-当前(第(N)基准帧号-1)/2
与值B相似，值D是为了提取目标范围ETR(N)不具有与下一提取目标范围ETR(N+1)的任何重叠所设置的极限值。
然后，CPU11通过使随后相邻帧数目加上基准帧号来计算ETR结束帧号(即，ETR结束帧号＝基准帧号+随后相邻帧数目)。
应该注意的是，对于第一基准帧图像REF(0)而言，CPU 11仅计算ETR结束帧号，同时将ETR起始帧号设置为等于相应的基准帧号(第一帧图像的帧号，即0)。类似地，对于最后基准帧图像REF(8)而言，CPU 11仅计算ETR起始帧号，同时将ETR结束帧号设置为等于相应的基准帧号(最后帧图像的帧号)。
在S406中，CPU 11将九个基准帧图像REF(0)-REF(8)中的每一个的、计算的ETR起始帧号和ETR结束帧号分别存储在基准帧图像信息存储区33的ETR起始帧号存储区73和ETR结束帧号存储区74中(参见图4A)。
在S407中，CPU11将与基准帧信息控制号存储区71中的控制号(N)0相对应地存储在基准帧图像信息存储区33的基准帧号存储区72中的第一基准帧号(第一帧图像的帧号)被存储在与代表帧信息控制ID存储区81中的控制号(N)0相对应的代表帧图像信息存储区34的代表帧号存储区82中。按照这种方式，将第一基准帧图像REF(0)(第一帧图像)设置为首先从所有代表帧图像REP(0)-REP(8)之中选择出来的第一代表帧图像REP(0)。因此，很容易确定第一代表帧图像REP(0)。
然后，对具有1到8的控制号(N)且存储在基准帧图像信息存储区33中的其余基准帧图像REF(1)-REF(8)连续地执行从S408至S417的处理。
更具体地说，向预存储在临时变量存储区40中的基准帧计数器赋予初始值1。对其控制号(N)与基准帧计数器的值相一致的基准帧图像REF(N)连续地执行S408-S417的处理。当CPU 11从S417返回到S408时使基准帧计数器的值加一(1)。
在S408中，CPU11确定下述的一个帧图像(称为″差分计算帧″)，所述一个帧图像与已从紧接在当前处理的提取目标范围ETR(N)之前的在前提取目标范围ETR(N-1)中所选择出来的在前代表帧图像REP(N-1)的差分要被计算。在前代表帧图像REP(N-1)具有等于代表帧图像信息存储区34中的″当前基准帧计数器(N)-1″的值。在初始值为0的情况下，差分帧计数器被预存储在临时变量存储区40中。CPU 11通过使差分帧计数器的当前值加上ETR起始帧号来确定差分计算帧的帧号。
在S409中，CPU 11将预存储在临时变量存储区40中的差分计数器初始化为零(0)。
从S410至S412，CPU 11计算差分计算帧与在前代表帧图像REP(N-1)之间的差分的总和。更具体地说，CPU11对这两个帧图像数据执行扩展(解码)处理，并且计算就R、G、B而言的所有坐标的差分的绝对值(差分绝对值)，并且对所有像素的差分绝对值求和以获得两个帧图像之间的总差分。具体地说，CPU 11对一个像素计算差分绝对值(RGB像素值)的和，使所计算的差分绝对值加上差分计数器的当前值(S411)，并且重复处理S410和S411以直至累加在差分计算帧之中包含的所有像素的、在R、G、B方面的差分绝对值(S412)。
在S413中，CPU 11确定差分计数器的值(在前代表帧图像REP(N-1)与差分计算帧之间的差分)是否大于当前存储在帧图像差分信息存储区35的帧差分存储区92中的值。应该注意的是，当开始代表帧选择处理时，将0存储在帧差分存储区92中，作为初始值。
当CPU11确定差分计数器的值大于在帧差分存储区92中存储的值时(S413：是)，那么在S414中，CPU11通过盖写现有数据，将差分计数器的值和差分计算帧的帧号分别存储在帧差分存储区92和相应的帧号存储区93中，并且行进到S415。
当差分计数器的值小于或等于在帧差分存储区92中存储的值时(S413：否)，CPU 11跳到S415。
在S415中，CPU 11确定是否已对在当前处理的提取目标范围ETR(N)中包含的所有帧图像计算了差分。具体地说，当ETR起始帧号与差分帧计数器的值(即，差分计算帧的帧号)的和到达ETR结束帧号时，在S415中CPU 11确定为“是”。
当确定仍然存在还没有计算其与在前代表帧图像REP(N-1)的差分的任何帧图像时(S415：否)，CPU 11使差分帧计数器加一(1)，并且返回到S408。
当已对当前提取目标范围ETR(N)中的所有帧图像计算了差分时(S415：是)，在S416中，CPU 11将帧图像差分信息存储区35的相应的帧号存储区93的值存储在代表帧图像信息存储区34中的其相应控制号(N)与基准帧计数器(N)的当前值相对应的代表帧号存储区82中。也就是说，选择当前提取目标范围ETR(N)中的所有帧图像之中的、其与在前代表帧图像REP(N-1)的差分最大的帧图像，作为当前处理的提取目标范围ETR(N)的代表帧图像REP(N)，并且将所选择的帧图像的帧号(代表帧图像REP(N)的帧号)存储在代表帧号存储区82中。
在S417中，CPU 11对具有基准帧图像信息存储区33中的1-8的控制号(N)的所有基准帧图像REF(1)-REF(8)来确定是否已从相应的提取目标范围ETR(N)中选择了代表帧图像REP(N)。
当仍然存在还没有从相应的提取目标范围ETR(N)为其选择出相应的代表帧图像REP(N)的任何基准帧图像时(S417：否)，CPU 11使基准帧计数器加一(1)并且返回到S408。此时，还对帧差分存储区92进行初始化以具有值0。
另一方面，当已对基准帧图像信息存储区33中的具有1-8的控制号(N)的所有基准帧图像REF(1)-REF(8)选择了代表帧图像REP(1)-REP(8)时(S417：是)，CPU 11终止代表帧选择处理并且行进到输出图像产生处理的S305(图8)以基于所选的九个代表帧图像REP(0)-REP(8)产生输出图像。
如上所述，相对于构成了运动图像的所有帧图像，本实施例的MFD10指定九个提取目标范围ETR(0)-ETR(8)，使得提取目标范围彼此不重叠(S401-S406)；从每个提取目标范围REP(N)选择一个代表帧图像REP(N)(S407-S417)；以及产生按时间顺序在单页上布局了所有所选代表帧图像REP(0)-REP(8)的布局图像。
更具体地说，MFD 10通过将运动图像文件中的帧的总数目划分成八个等间隔而将第一帧图像、最后帧图像以及均匀分布在其之间的七个帧图像标识为九个基准帧图像REF(0)-REF(8)(S401-S404)；以及确定九个提取目标范围ETR(0)-ETR(8)，使得每个基准帧图像REF(N)被包括在九个提取目标范围ETR(N)中的一个中(S405、S406)。
MFD 10首先从提取目标范围ETR(0)中选择第一帧作为第一代表帧图像REP(0)，而不考虑第一帧与任何其他代表帧图像REP(1)-REP(8)如何不同(S407)。另一方面，MFD 10从提取目标范围ETR(1)-ETR(8)的每一个选择具有与如下的在前代表帧图像REP(N-1)最大差分的一个帧图像(S408-S417)，所述在前代表帧图像REP(N-1)已从按时间顺序排列设置在提取目标范围ETR(N)之前的在前提取目标范围ETR(N-1)中选择出来。
利用该构造，将九个提取目标范围ETR(0)-ETR(8)设置为使得基本上等间隔地按时间顺序排列设置在运动图像文件中的基准帧图像REF(0)-REF(8)中的每一个被包含在提取目标范围ETR(0)-ETR(8)的每一个中。从提取目标范围ETR(0)-ETR(8)选择要被布局在布局图像上的代表帧图像REP(0)-REP(8)。因此，代表帧图像能够在时间方面均匀地从整个运动图像文件中选择出来。此外，选择每个提取目标范围ETR(N)中的帧图像之中的、与在前代表帧图像REP(N-1)的差分最大的帧图像，作为代表帧图像REP(N)。因此，代表帧图像还能够在内容方面均匀地从整个运动图像文件中选择出来。其结果是，当查看布局图像时，用户能够很容易明白运动图像在时间上如何流动以及运动图像的内容与什么有关。
具体地，本实施例的MFD 10从下述相应的提取目标范围ETR(N)确定每个代表帧图像REP(N)，所述相应的提取目标范围ETR(N)由包括有几乎按时间顺序排列设置在提取目标范围ETR(N)的中心的一个基准帧图像的多个帧图像来构造。因此，能够选择按时间顺序排列在几乎彼此相等的间隔上的代表帧图像REP(N)。
每个代表帧图像REP(N)未必正好按时间顺序排列设置在相应的提取目标范围ETR(N)的中心处，但是按时间顺序排列设置在靠近相应的提取目标范围ETR(N)的中心。
此外，在本实施例的MFD 10中，在一个提取目标范围ETR(N)中包括的帧图像的数目(可能的ETR帧数目)随着运动图像在每个时间单位具有更大数目的要被重放的帧图像而增大(FPS)。如果将可能的ETR帧数目设置为特定的固定数目，那么与提取目标范围ETR(N)相对应的时间段对于不同FPS值所限定的各个运动图像而可能不同。与此相反，利用本实施例的构造，能够为各个运动图像的提取目标范围ETR(N)设置固定时间段，即使运动图像的FPS值彼此不同。
虽然参考其实施例对本发明进行了详细地描述，但是对于本领域普通技术人员来说，在不脱离本发明的精神的情况下，可对其中做出各种变化和修改。
例如，在本实施例中所有像素位置的像素值中的差分绝对值之和用作表示帧图像之间的变化量的差分。然而，可以采用能够反映出两个帧图像不同到什么程度的任何值，作为表示两个帧图像之间的变化量的″差分″。
此外，代替两个帧图像中的像素值之间的差分绝对值之和，两个帧图像之间的运动矢量的大小是通过众所周知的光流法来计算的并且用于确定帧图像之间的差分。
此外，因为首先选择的第一代表帧图像REP(0)不能与任何其他代表帧图像相比较，因此在本实施例中选择第一基准帧图像REF(0)作为代表帧图像REP(0)(S407)。然而，本发明并不局限于该构造。
例如，可以从第一提取目标范围ETR(0)中选择第一代表帧图像REP(0)，使得对在提取目标范围ETR(0)中包括的每个帧图像来计算像素值的离差(dispersion)；以及将提取目标范围ETR(0)中的所有帧图像之中的具有最大像素值离差的帧图像确定为第一代表帧图像REP(0)。例如，能够从以下表达式(1)来计算每个帧图像中的像素值的离差。
Dfs = Σ j = 0 2 Σ i = 0 p - 1 { E ( i ) - i } 2 3 × p ……表达式(1)
在该表达式(1)中，Dfs表示离差(采样方差)，p表示帧图像中的像素总数目，i表示像素值，并且E(i)表示帧图像中的像素值的平均值(算术平均值)。j表示色平面(R、G或B平面)。在这里，在分母中像素数目p乘以3，因为对R、G以及B平面的每一个，计算平均像素值与每个像素值之间的差分。
按照这种方式，就首先选择的代表帧图像REP(0)而言，可以选择在第一提取目标范围ETR(0)中包括的帧图像之中的其像素值的离差最大的帧图像。该构造便于防止不适宜捕获运动图像的内容的这样的帧图像(诸如，太黑图像或者猛烈抖动的图像)被选择为第一提取目标范围ETR(0)的代表帧图像REP(0)。
仍可替选地，可以通过以下步骤选择第一代表帧图像REP(0)：首先计算存在于第一提取目标范围ETR(0)中的每个帧图像中的像素值的直方图分布；然后，选择第一提取目标范围ETR(0)中的所有帧图像之中的具有最大直方图分布范围的一个帧图像。
具体地说，图10示出用于产生一个帧图像中的像素值的直方图的处理的流程图(直方图产生处理)。在开始直方图产生处理时，在S501中，CPU 11首先创建多个强度计数器，该强度计数器的总数目等于表示就每个色平面而言每个像素值可能拥有的强度的数值的总数目。例如，如果用每一个色平面的每个像素的八位来表示一个帧图像，那么每个像素值能够可能拥有0-255的数字值中的一个，作为该像素值的强度。在这种情况下，准备255个强度计数器。向这255个强度计数器连续地分配从0开始至225的计数器号。赋予每个强度计数器初始值为0。在S502中，CPU11使其计数器号与当前像素所拥有的数值(强度)相对应的一个强度计数器的值加一(1)。在S503中，CPU11确定是否已对就R、G以及B平面而言的当前像素的强度进行了计数。如果还留有还未对其进行计数当前像素的强度的任何色平面(S503：否)，那么CPU 11返回到S502。当所有R、G、B平面已经进行了用于每个像素的强度(S503：是)时，CPU11然后在S504中确定是否已对所有像素的强度进行了计数。如果仍没有对所有像素的强度进行计数(S504：否)，那么CPU 11返回到S502并且重复S502-S504的处理。当已对一个帧图像中的所有像素的强度进行了计数时，CPU11终止用于对象帧图像的直方图产生处理。按照这种方式，根据一个帧图像中的像素值，通过使强度计数器的值加1，能够对一个帧图像产生直方图信息。
随后，如下计算一个帧图像中的像素值的直方图分布的范围：
(直方图分布的范围)＝(其值大于零的强度计数器的计数器号之中的最大计数器号)-(其值大于零的强度计数器的计数器号之中的最小计数器号)
对存在于第一提取目标范围ETR(0)中的所有帧图像执行产生像素值的直方图分布并且计算直方图分布的范围的上述处理。然后，从第一提取目标范围ETR(0)中的所有帧图像之中，选择具有最大直方图分布范围的一个帧图像作为代表帧图像REP(0)。
利用该构造，可选择在强度分布方面很平衡的帧图像作为第一代表REP(0)。此外，正象利用离差计算进行选择的情况一样，几乎不能够将不适当的帧图像选择为第一代表帧图像REP(0)。
此外，在本实施例的MFD 10中，按照从运动图像中的所有提取目标范围ETR(0)-ETR(8)之中的按时间顺序排列设置为最早的第一提取目标范围ETR(0)开始的以时间顺序排列地连续地执行选择代表帧图像REP(0)-REP(8)。然而，相反地，按照从运动文件中的所有提取目标范围ETR(0)-ETR(8)之中的按时间顺序排列设置在最后的最后提取目标范围ETR(8)开始的反向时间顺序，可以连续地执行选择代表帧图像REP(0)-REP(8)。或者，首先执行从按时间顺序排列设置在运动图像中间的提取目标范围ETR(N)中选择代表REP(0)-REP(8)。在这种情况下，按照首先选择从按时间顺序排列设置在运动图像中间的中间提取目标范围ETR(N)中选择一个代表帧图像REP(N)这样的顺序，选择代表REP(0)-REP(8)。然后，按照下述顺序连续地选择其他代表帧图像，所述顺序是与设置得更远离中间提取目标范围ETR(N)的另一提取目标范围相比更早地选择靠近中间提取目标范围ETR(N)的提取目标范围位置，并且彼此交替地选择按时间顺序排列设置在中间提取目标范围ETR(N)之前的提取目标范围以及按时间顺序排列在中间提取目标范围ETR(N)之后的提取目标范围。更具体地说，在首先选择代表帧图像REP(N)之后，从按时间顺序排列设置在中间提取目标范围ETR(N)前边的提取目标范围ETR(N-1)中选择代表帧图像REP(N-1)，然后从按时间顺序排列设置在中间提取目标范围ETR(N)后边的提取目标范围ETR(N+1)中选择代表帧图像REP(N+1)，接下来从按时间顺序排列设置在提取目标范围ETR(N-1)前边的提取目标范围ETR(N-2)中选择代表帧图像REP(N-2)，并且随后从按时间顺序排列设置在提取目标范围ETR(N+1)后边的提取目标范围ETR(N+2)中选择代表帧图像REP(N+2)等。
此外，在本实施例中，在确定提取目标范围ETR(0)-ETR(8)之前选择基准帧图像REF(0)-REF(8)，然后参考基准帧图像REF(0)-REF(8)来设置提取目标范围ETR(0)-ETR(8)，使得每个基准帧图像REF(N)按时间顺序排列设置在相应的提取目标范围ETR(N)的中心。然而，可以确定提取目标范围ETR(0)-ETR(8)，而不需要确定基准帧图像REF(0)-REF(8)。
此外，根据上述实施例的MFD 10从运动图像文件中识别出九个代表帧图像REP(0)-REP(8)，但是本发明不局限于该构造。例如，从运动图像文件所提取出的代表帧图像的数目可以不局限于九个，而是可以大于或小于九个，并且还可以不必固定为任何特定数目。提示用户以指定要提取多少帧图像。
此外，本发明应用于根据本实施例的作为图像处理设备示例的MFD 10，但是本发明也可以应用于除了多功能设备之外的、诸如不具有扫描功能的打印机的打印设备。本发明还可以应用于例如不将图像打印到诸如个人计算机的信息处理设备的设备。

Claims (11)

1.一种图像处理设备，包括：
存储器，所述存储器被构造成存储计算机可读指令；
处理器，所述处理器被构造成执行使该处理器执行以下操作的指令：
从由彼此相继按时间顺序排列的多个帧图像构造的运动图像中标识出多个基准帧图像，所述基准帧图像包括在所述运动图像中的位于所述运动图像的开始处的第一帧图像、位于所述运动图像的结尾处的最后帧图像、以及以基本上等间隔的方式分布在所述第一帧图像与所述最后帧图像之间的至少一个中间帧图像，
对所述运动图像中的多个提取目标范围进行设置，每个提取目标范围由从构成所述运动图像的多个帧图像之中选择的并且彼此相继按时间顺序排列的一组帧图像所构造，并且将所述多个提取目标范围设置成使得在所述提取目标范围之中不存在被共享的公共帧图像，以及使得每个基准帧图像被包含在每个提取目标范围中，所述中间帧图像被标识为基本上按时间顺序定位在相应的提取目标范围中的所述一组帧图像的中心处的基准帧图像；
从每个提取目标范围中的所述一组帧图像之中选择代表帧图像，所述代表帧图像是这样一种帧图像，该帧图像与另一代表帧图像的差分在属于所述提取目标范围的各帧图像与所述另一代表帧图像的各差分之中是最大的，所述另一代表帧图像选择自所述各提取目标范围之中的、按时间顺序定位的相邻于从中选择所述代表帧图像的所述提取目标范围的一个提取目标范围；以及
产生布局图像，在该布局图像中，按照表示所述代表帧图像之中的时间顺序关系的模式来布局被选择的代表帧图像。
2.根据权利要求1所述的图像处理设备，其中，
被标识为基准帧图像的所述第一帧图像被定位在相应的提取目标范围的开始处，并且被标识为基准帧图像的所述最后帧图像被定位在相应的提取目标范围的结尾处。
3.根据权利要求1所述的图像处理设备，其中，
从中选择所述代表帧图像的提取目标范围被按时间顺序定位在从中选择所述另一代表帧图像的提取目标范围之后。
4.根据权利要求1所述的图像处理设备，其中，
从中选择所述代表帧图像的提取目标范围被按时间顺序定位在从中选择所述另一代表帧图像的提取目标范围之前。
5.根据权利要求1所述的图像处理设备，其中，
所述选择是从每个提取目标范围来选择代表帧图像，以使得首先从一个提取目标范围选择一个代表帧图像，而无关于在该代表帧图像和相邻于该一个提取目标范围而按时间顺序定位的一提取目标范围中选择出来的另一代表帧图像之间的差分，以及，基于与已从相邻于所述相应的提取目标范围而按时间顺序定位的一提取目标范围中选择出来的另一代表帧图像之间的差分，从相应的提取目标范围中选择除了首先选择的所述代表帧图像之外的其余的每个代表帧图像。
6.根据权利要求5所述的图像处理设备，其中，
首先选择的所述代表帧图像是在所述一个提取目标范围中包括的所述基准帧图像。
7.根据权利要求5所述的图像处理设备，其中，
首先选择的所述代表帧图像是这样一种帧图像，在所述一个提取目标范围中的各帧图像之中，该帧图像的像素值的离差是最大的。
8.根据权利要求5所述的图像处理设备，其中，
首先选择的所述代表帧图像是这样一种帧图像，在所述一个提取目标范围中的各帧图像之中，该帧图像的像素值的直方图分布的范围是最大的。
9.根据权利要求1所述的图像处理设备，其中，
所述设置是对每个提取目标范围进行设置，以使得在每个提取目标范围中包括的帧图像的数目随着运动图像在每单位时间具有更大数目的帧图像而增大。
10.一种图像处理方法，包括：
从由彼此相继按时间顺序排列的多个帧图像构造的运动图像中标识出多个基准帧图像，所述基准帧图像包括在所述运动图像中的位于所述运动图像的开始处的第一帧图像、位于所述运动图像的结尾处的最后帧图像、以及以基本上等间隔的方式分布在所述第一帧图像与所述最后帧图像之间的至少一个中间帧图像，
对所述运动图像中的多个提取目标范围进行设置，每个提取目标范围由从构成所述运动图像的多个帧图像之中选择出来的并且彼此相继按时间顺序排列的一组帧图像所构造，并且将所述多个提取目标范围设置成使得在所述提取目标范围之中不存在被共享的公共帧图像，以及使得每个基准帧图像被包含在每个提取目标范围中，所述中间帧图像被标识为基本上按时间顺序定位在相应的提取目标范围中的所述一组帧图像的中心处的基准帧图像；
从每个提取目标范围中的帧图像组之中选择代表帧图像，所述代表帧图像是这样一种帧图像，该帧图像与另一代表帧图像的差分在属于所述提取目标范围的各帧图像与所述另一代表帧图像的各差分之中是最大的，所述另一代表帧图像选择自所述各提取目标范围之中的、按时间顺序定位的相邻于从中选择所述代表帧图像的所述提取目标范围的一个提取目标范围；以及
产生布局图像，在该布局图像中，按照表明所述各代表帧图像之中的时间顺序关系的模式来布局被选择的代表帧图像。
11.根据权利要求10所述的图像处理方法，其中，
被标识为基准帧图像的所述第一帧图像被定位在相应的提取目标范围的开始处，并且被标识为基准帧图像的所述最后帧图像被定位在相应的提取目标范围的结尾处。
CN201110008090.5A 2010-01-12 2011-01-12 图像处理设备和图像处理方法 Active CN102131026B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010004211A JP2011146799A (ja) 2010-01-12 2010-01-12 画像処理装置及び画像処理プログラム
JP2010-004211 2010-01-12

Publications (2)

Publication Number Publication Date
CN102131026A CN102131026A (zh) 2011-07-20
CN102131026B true CN102131026B (zh) 2014-02-05

Family

ID=44258555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110008090.5A Active CN102131026B (zh) 2010-01-12 2011-01-12 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (1) US8634590B2 (zh)
JP (1) JP2011146799A (zh)
CN (1) CN102131026B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134796A1 (en) * 2011-03-25 2012-10-04 Exxonmobil Upstream Research Company Differential infrared imager for gas plume detection
JP5794215B2 (ja) * 2012-09-20 2015-10-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5959392B2 (ja) * 2012-09-27 2016-08-02 京セラドキュメントソリューションズ株式会社 画像形成装置
KR102107678B1 (ko) * 2013-07-03 2020-05-28 삼성전자주식회사 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9471969B2 (en) 2014-06-23 2016-10-18 Exxonmobil Upstream Research Company Methods for differential image quality enhancement for a multiple detector system, systems and use thereof
CN104503720B (zh) * 2014-12-19 2018-02-09 天脉聚源(北京)传媒科技有限公司 一种展示立体图像的方法及装置
CN104581436B (zh) * 2015-01-28 2017-12-05 青岛海信宽带多媒体技术有限公司 一种视频帧定位方法及装置
JP7007249B2 (ja) * 2018-09-28 2022-01-24 富士フイルム株式会社 画像処理装置，画像処理方法および画像処理プログラム
CN110781710B (zh) * 2018-12-17 2020-08-28 北京嘀嘀无限科技发展有限公司 一种目标对象聚类方法及装置
CN111246249A (zh) * 2020-01-18 2020-06-05 江苏提米智能科技有限公司 一种图像编码方法、编码装置、解码方法、解码装置及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111410A (en) * 1989-06-23 1992-05-05 Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho Motion analyzing/advising system
JPH09261570A (ja) 1996-03-19 1997-10-03 Oki Electric Ind Co Ltd 動画像の概要表示方法および装置
JPH09312818A (ja) 1996-05-22 1997-12-02 Hitachi Ltd 動画提示方法
JP4081736B2 (ja) 1999-09-03 2008-04-30 セイコーエプソン株式会社 動画像プリンタ、動画像プリント方法、及び、動画像印刷プログラムを記録したコンピュータ読み取り可能な記録媒体
DE10235657A1 (de) * 2002-08-02 2004-02-12 Leica Microsystems Heidelberg Gmbh Verfahren, Anordnung und Software zur Optimierung der Bildqualität von mit einem Mikroskop aufgenommenen beweglichen Objekten
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
JP4653939B2 (ja) * 2003-02-13 2011-03-16 富士フイルム株式会社 画像再生装置
JP3936666B2 (ja) * 2003-02-20 2007-06-27 日本電信電話株式会社 動画像中の代表画像抽出装置，動画像中の代表画像抽出方法，動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体
JP4250619B2 (ja) * 2005-06-23 2009-04-08 株式会社東芝 代表画像抽出装置及びその方法
US8938153B2 (en) * 2006-02-08 2015-01-20 Nec Corporation Representative image or representative image group display system, representative image or representative image group display method, and program therefor
US7940963B2 (en) * 2006-12-27 2011-05-10 Fujifilm Corporation Monitoring system, monitoring method, and program
US8218025B2 (en) * 2007-02-15 2012-07-10 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer program product
JP2009071809A (ja) * 2007-08-20 2009-04-02 Panasonic Corp 映像表示装置ならびに補間画像生成回路および方法
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2010011441A (ja) * 2008-05-26 2010-01-14 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
JP5094606B2 (ja) * 2008-07-15 2012-12-12 キヤノン株式会社 像振れ補正装置およびそれを備えた光学機器、撮像装置、像振れ補正装置の制御方法
JP4930615B2 (ja) * 2010-03-19 2012-05-16 ブラザー工業株式会社 出力装置及びプログラム

Also Published As

Publication number Publication date
CN102131026A (zh) 2011-07-20
US20110170741A1 (en) 2011-07-14
US8634590B2 (en) 2014-01-21
JP2011146799A (ja) 2011-07-28

Similar Documents

Publication Publication Date Title
CN102131026B (zh) 图像处理设备和图像处理方法
JP4757120B2 (ja) 画像処理装置及びその制御方法
CN101753757B (zh) 打印设备和打印方法
JP4572948B2 (ja) 画像処理装置
US8466929B2 (en) Image processor
CN102131019B (zh) 图像处理装置
JP2015002545A (ja) 画像処理システム、電子ペーパー端末およびその残像低減プログラム
US9171385B2 (en) Image processing apparatus capable of determining color amount, image processing method, and program
CN101873397A (zh) 图像处理装置及其控制方法
CN102196128B (zh) 输出装置
JP4702389B2 (ja) 画像処理装置
JP5343739B2 (ja) 出力装置及びプログラム
JP4697943B2 (ja) 記録装置
JP4962384B2 (ja) 画像処理装置
JP2015115817A (ja) 画像処理装置、画像処理方法、プログラム
JP4623120B2 (ja) 画像処理装置
US20120026552A1 (en) Image processing apparatus and method for controlling the same
JP2007203704A (ja) 印刷装置及び表示方法
US7884859B2 (en) Digital camera
JP2015220606A (ja) 画像処理装置及び画像処理装置の制御方法
JP5983128B2 (ja) 画像表示制御装置
JP2005103836A (ja) 画像印刷制御装置及びプログラム
JP2007129442A (ja) 画像処理装置及び画像処理システム
JP2006115287A (ja) 撮影／印刷システム
JP2005077904A (ja) 画像表示システム、方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant