CN104821001A - 内容管理系统、管理内容生成方法、管理内容再生方法、程序以及记录介质 - Google Patents
内容管理系统、管理内容生成方法、管理内容再生方法、程序以及记录介质 Download PDFInfo
- Publication number
- CN104821001A CN104821001A CN201510050189.XA CN201510050189A CN104821001A CN 104821001 A CN104821001 A CN 104821001A CN 201510050189 A CN201510050189 A CN 201510050189A CN 104821001 A CN104821001 A CN 104821001A
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- rest
- managing
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 78
- 230000008569 process Effects 0.000 claims description 37
- 230000008929 regeneration Effects 0.000 claims description 30
- 238000011069 regeneration method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 26
- 238000009418 renovation Methods 0.000 claims description 14
- 241001269238 Data Species 0.000 claims description 9
- 239000003550 marker Substances 0.000 abstract 2
- 230000033001 locomotion Effects 0.000 description 53
- 238000007726 management method Methods 0.000 description 53
- 230000009471 action Effects 0.000 description 51
- 238000011156 evaluation Methods 0.000 description 50
- 238000007639 printing Methods 0.000 description 31
- 238000013138 pruning Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 239000000203 mixture Substances 0.000 description 23
- 238000001514 detection method Methods 0.000 description 22
- 238000013075 data extraction Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 18
- 230000001815 facial effect Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 15
- 230000001172 regenerating effect Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 238000010276 construction Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 7
- 244000141353 Prunus domestica Species 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101100223811 Caenorhabditis elegans dsc-1 gene Proteins 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
- H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
- H04N1/00453—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
- H04N1/00461—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/00466—Display of information to the user, e.g. menus displaying finishing information, e.g. position of punch holes or staple or orientation references
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00474—Output means outputting a plurality of functional options, e.g. scan, copy or print
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00482—Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
在本发明的内容管理系统中,静止图像生成部基于动态图像数据生成至少1个静止图像数据。静止图像选择部使用户在所生成的至少1个静止图像数据中,选择1个静止图像数据。管理标记登记部将所选择的静止图像数据或者基于所选择的静止图像数据的信息作为管理标记而与动态图像数据相关联地登记。访问密钥发出部发出用于访问动态图像数据的访问密钥。管理图像生成部生成具有静止图像数据和访问密钥的管理图像数据。
Description
技术领域
本发明涉及一种对静止图像以及动态图像等内容进行管理的内容管理系统、管理内容生成方法、管理内容再生方法、程序以及记录介质。
背景技术
当前,已知有利用增强现实(Augmented Reality:AR)技术构建的系统,其中,该增强现实技术通过用智能手机等信息终端对具有规定标记的打印物等进行拍摄(捕获),从而将拍摄得到的打印物等显示在信息终端的显示部上,在信息终端的显示部上显示的打印物等的显示部分中,对规定的动画、音乐等内容进行再生。
此外,在专利文献1(日本特开2006-127476号公报)中,在对图像库进行管理的方法中公开有:索引打印品,其具有多个图像和与图像相对应的存储器标签;以及读取/写入装置,其从存储器标签读取信息、或向存储器标签写入信息。
在专利文献2(日本特开2007-189324号公报)中,公开有从动态图像数据中提取静止图像数据的静止图像提取系统,在专利文献3(日本特开平9-22469号公报)中,公开有从动态图像数据生成数据量较小的标准图像数据的图像处理装置。
上述利用了AR技术形成的系统,以利用促销物等广告为重点,普通用户利用AR技术制作内容(AR内容)的尝试还没有得到广泛普及。
此外,例如对在专利文献1中公开的索引打印品以及读取/写入装置、在专利文献2中公开的静止图像提取系统或在专利文献3中公开的图像处理装置进行利用,或许能够将静止图像和动态图像进行组合而生成AR内容,但在AR内容的生成过程中,需要从动态图像数据对静止图像数据的提取、标记的生成、静止图像数据和动态图像数据的关联等复杂的一系列的处理,在AR内容的生成中的这些一系列的处理妨碍了普通用户对AR技术的利用。
发明内容
本发明的目的在于提供一种内容管理系统、管理内容生成方法、管理内容再生方法、程序以及记录介质,其无需使用户进行管理用标记的明确的作成或与管理用标记对应的内容的明确的登记等复杂的一系列的处理,就能够在短时间内简单地利用AR技术生成内容,并进行再生、管理。
为了解决上述课题,本发明提供一种内容管理系统,其特征在于,具有:静止图像生成部,其基于动态图像数据生成至少1个静止图像数据;静止图像选择部,其使用户在利用静止图像生成部所生成的至少1个静止图像数据中,选择1个静止图像数据;管理标记登记部,其将在静止图像选择部中所选择的静止图像数据或者基于所选择的静止图像数据的信息,作为管理标记而与动态图像数据相关联地登记;存储部,其对动态图像数据进行存储;访问密钥发出部,其发出用于对在存储部中存储的动态图像数据进行访问的访问密钥;以及管理图像生成部,其生成具有静止图像数据和访问密钥的管理图像数据。
此外,本发明提供一种内容管理系统,其对由管理图像和与管理图像相关联的动态图像数据构成的管理内容进行管理,该内容管理系统的特征在于,具有:
静止图像生成部,其基于动态图像数据生成至少2个静止图像数据;
静止图像选择部,其使用户在利用静止图像生成部所生成的至少2个静止图像数据中,选择大于或等于2个静止图像数据而作为输出静止图像数据;
场景判断部,其分别针对大于或等于2个输出静止图像数据,对包含与输出静止图像数据相对应的输出静止图像在内的、与动态图像数据相对应的动态图像的场景进行判断;
管理标记登记部,其分别将大于或等于2个的输出静止图像数据、或者与大于或等于2个的输出静止图像数据相对应的大于或等于2张的所述输出静止图像各自的图像特征量,作为管理标记而与和大于或等于2张的输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记;
存储部,其对动态图像数据进行存储;
访问密钥发出部,其发出用于对在存储部中存储的动态图像数据进行访问的访问密钥;以及
管理图像生成部,其生成包含至少2个输出静止图像数据和访问密钥的管理图像数据。
此外,本发明提供一种管理内容生成方法,其是由管理图像和与管理图像相关联的动态图像数据构成的管理内容的生成方法,其特征在于,基于动态图像数据生成至少1个静止图像数据;使用户在所生成的至少1个静止图像数据中,选择1个静止图像数据;将所选择的静止图像数据或者基于所选择的静止图像数据的信息作为管理标记而与动态图像数据相关联地登记;基于来自用户的指示,发出能够对动态图像数据进行访问的访问密钥;以及生成具有静止图像数据和访问密钥的管理图像。
此外,本发明提供一种管理内容再生方法,其对利用上述的管理内容生成方法所生成的管理内容进行再生,其中,对管理图像进行拍摄,生成拍摄图像数据;从基于拍摄图像数据的拍摄图像读取管理标记;输入在管理图像中记载的访问密钥;利用访问密钥和管理标记,对与管理图像相对应的动态图像数据进行检索;以及基于检索到的动态图像数据对动态图像进行再生。
此外,本发明提供一种管理内容再生方法,其对利用上述的管理内容生成方法所生成的管理内容进行再生,其中,对管理图像进行拍摄,生成拍摄图像数据;从基于拍摄图像数据的拍摄图像读取管理标记;输入在管理图像中记载的访问密钥;利用访问密钥和管理标记,对与管理图像相对应的动态图像数据进行检索;以及基于检索到的动态图像数据对动态图像进行再生。
此外,本发明提供一种管理内容的生成方法,其是由管理图像和与管理图像相关联的动态图像数据构成的管理内容的生成方法,其特征在于,包含以下步骤:
静止图像生成部基于动态图像数据生成至少2个静止图像数据;
静止图像选择部使用户在利用静止图像生成部所生成的至少2个静止图像数据中,选择大于或等于2个静止图像数据而作为输出静止图像数据;
场景判断部分别针对大于或等于2个输出静止图像数据,对包含与输出静止图像数据相对应的输出静止图像在内的、与动态图像数据相对应的动态图像的场景进行判断;
管理标记登记部分别将大于或等于2个的输出静止图像数据,或者分别将与大于或等于2个的输出静止图像数据相对应的大于或等于2张的输出静止图像的图像特征量,作为管理标记而与和大于或等于2张的输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记;
访问密钥发出部发出用于对在存储部中存储的动态图像数据进行访问的访问密钥;以及
管理图像生成部生成包含至少2个输出静止图像数据和访问密钥的管理图像数据。
此外,本发明提供一种管理内容再生方法,其对利用上述记载的管理内容生成方法生成的管理内容进行再生,其特征在于,包含以下步骤:
拍摄部对与管理图像数据相对应的管理图像的打印品进行拍摄,生成拍摄图像数据;
管理标记读取部从与拍摄图像数据相对应的拍摄图像读取管理标记;
操作输入部接收从用户输入的在管理图像的打印品中记载的访问密钥;
图像数据检索部基于管理标记和经由操作输入部输入的访问密钥,对在存储部中存储的动态图像数据进行检索;以及
在通过拍摄部,从在管理图像的打印品中所包含的输出静止图像中,对1张输出静止图像进行了拍摄的情况下,显示控制部控制为,从通过图像数据检索部检索到的动态图像数据中,将与通过管理标记读取部从拍摄得到的1张输出静止图像读取出的管理标记相关联的动态图像数据所对应的动态图像的场景在显示部上进行再生。
此外,本发明提供一种管理内容的生成方法,其是由管理图像和与管理图像相关联的动态图像数据构成的管理内容的生成方法,其特征在于,包含以下步骤:
静止图像生成部基于动态图像数据生成至少2个静止图像数据;
静止图像选择部使用户在利用静止图像生成部所生成的至少2个静止图像数据中,选择1个静止图像数据或者大于或等于2个静止图像数据而作为输出静止图像数据;
场景判断部针对1个输出静止图像数据或者分别针对大于或等于2个输出静止图像数据,对包含与输出静止图像数据相对应的输出静止图像在内的动态图像的场景进行判断;
静止图像生成部、静止图像选择部、以及场景判断部分别针对多个动态图像数据反复进行处理;
管理标记登记部,将从分别与多个动态图像数据相对应的输出静止图像数据中,至少分别选择1个输出静止图像数据而得到的多个第1输出静止图像数据的每一个,或者分别将与多个第1输出静止图像数据相对应的多张第1输出静止图像的图像特征量,作为第1管理标记而与和多张第1输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记,并且,分别针对多个动态图像数据,将输出静止图像数据作为第2输出静止图像数据,将1个第2输出静止图像数据或者分别将大于或等于2个的第2输出静止图像数据,或者将与1个第2输出静止图像数据或者分别与大于或等于2个的第2输出静止图像数据相对应的第2输出静止图像的图像特征量,作为第2管理标记而与和1张所述第2输出静止图像或者分别和大于或等于2张的所述第2输出静止图像相对应的动态图像的场景的动态图像数据相关联地登记;
访问密钥发出部发出用于对在存储部中存储的动态图像数据进行访问的访问密钥;以及
管理图像生成部生成第1管理图像数据以及第2管理图像数据,其中,该第1管理图像数据包含至少2个第1输出静止图像数据和访问密钥,该第2管理图像数据分别针对多个动态图像数据,包含至少1个第2输出静止图像数据。
此外,本发明提供一种管理内容再生方法,其对利用上述记载的管理内容生成方法所生成的管理内容进行再生,其特征在于,包含以下步骤:
拍摄部对与第1管理图像数据相对应的第1管理图像的打印品进行拍摄,生成拍摄图像数据;
管理标记读取部从与拍摄图像数据相对应的拍摄图像读取第1管理标记;
操作输入部接收从用户输入的在管理图像的打印品中记载的访问密钥;
图像数据检索部基于管理标记和经由操作输入部输入的访问密钥,对在存储部中存储的动态图像数据进行检索;
在通过拍摄部,从在第1管理图像的打印品中所包含的第1输出静止图像中,对1张第1输出静止图像进行了拍摄的情况下,显示控制部控制为,从通过图像数据检索部检索到的动态图像数据中,将与通过管理标记读取部从拍摄得到的1张输出静止图像读取出的第1管理标记相关联的动态图像数据所对应的第2管理图像在显示部上进行显示;
经由操作输入部输入下述指示,该指示用于从在显示部上显示出的第2管理图像中所包含的第2输出静止图像中,选择1张第2输出静止图像;
在根据经由操作输入部输入的指示,从在显示部中显示的第2管理图像中所包含的第2输出静止图像中选择了1张第2输出静止图像的情况下,显示控制部控制为,从通过图像数据检索部检索到的动态图像数据中,将与通过管理标记读取部从选择出的1张第2输出静止图像读取出的第2管理标记相关联的动态图像数据所对应的动态图像的场景在显示部上进行再生。
此外,本发明提供一种计算机可读取的记录介质,其记录有下述程序,该程序用于使计算机执行上述记载的管理内容生成方法的各个步骤。
根据本发明,用户无需进行复杂的处理,就能够在短时间内简单地利用AR技术生成内容,此外,能够简单地对利用了AR技术生成的内容进行再生。此外,根据本发明,能够大幅降低用户花费在内容管理上的工作量。
此外,根据本发明,由于能够使在管理图像的打印品中所包含的各个输出静止图像和与各个动态图像相对应的场景相关联,因此能够将在管理图像的打印品中所包含的输出静止图像作为与各个动态图像相对应的场景的索引进行使用,通过对在管理图像的打印品中所包含的期望的输出静止图像进行拍摄,从而能够对动态图像的期望的场景进行再生。
此外,根据本发明,由于能够将多个动态图像汇总在一张第1管理图像的打印品上,因此用户通过浏览第1管理图像的打印品,从而能够瞬间掌握多个动态图像的内容的摘要。
附图说明
图1是表示本发明的一个实施方式所涉及的内容管理系统的整体结构的概略图。
图2是表示图1的内容管理系统中的信息终端1的详细结构的框图。
图3是表示图1的内容管理系统中的图像服务器2的详细结构的框图。
图4是表示管理打印品P的一个例子的图。
图5是说明图4的管理打印品P的生成方法的流程图。
图6的(A)~(E)是说明生成图4的管理打印品P时的用户动作的说明图。
图7的(A)~(C)是说明生成管理打印品P时的自动修剪的说明图。
图8是基于管理打印品P对所对应的动态图像进行再生的情况下的流程图。
图9是对具有由用户修剪后的静止图像的管理打印品P、以及进行再生的动态图像的关系进行说明的说明图。
图10是表示本发明的其它实施方式所涉及的图像服务器的详细结构的框图。
图11是表示对动态图像的场景进行分割的情况的概念图。
图12是表示本发明的图像处理装置的结构的一个实施方式的框图。
图13的(A)~(C)的左侧是表示关注人物的运动轨迹的一个例子的概念图,右侧是表示关注人物的动作履历图像的一个例子的概念图。
在图14中,(A)是表示向左旋转90°后的静止图像的一个例子的概念图,(B)是表示使(A)所示的静止图像向右旋转90°而对上下进行校正后的静止图像的一个例子的概念图。
图15是表示图12所示的图像处理装置的动作的一个例子的流程图。
图16是表示从动态图像提取所有帧的静止图像的情况的一个例子的概念图。
图17是表示将分别从图16所示的所有帧的静止图像检测出的人物的区域用框包围后的情况的一个例子的概念图。
图18是表示从动态图像提取出的所有帧的静止图像各自的综合评价值的一个例子的曲线图。
图19是表示从图16所示的所有帧的静止图像中,对综合评价大于或等于阈值的静止图像附加星号的情况的一个例子的概念图。
图20是表示从在管理图像的打印品中所包含的输出静止图像中对1张输出静止图像进行拍摄的情况的概念图。
图21是表示从在管理图像的打印品中所包含的输出静止图像中同时对2张输出静止图像进行拍摄的情况的概念图。
图22是表示从在第1管理图像的打印品中所包含的第1输出静止图像中对1张第1输出静止图像进行拍摄,然后从显示于显示部上的第2管理图像中所包含的第2输出静止图像中选择1张第2输出静止图像的情况的概念图。
具体实施方式
以下,基于附图所示的优选实施方式,详细地说明本发明所涉及的内容管理系统、管理内容生成方法、管理内容再生方法、程序以及记录介质。
图1是表示本发明的一个实施方式所涉及的内容管理系统的整体结构的概略图,图2是表示图1所示的信息终端1的详细结构的说明图,图3是表示图1所示的图像服务器2的详细结构的说明图,图4是表示图1所示的内容管理打印品(以下,称为管理打印品)P的详细结构的说明图。
本发明的一个实施方式所涉及的内容管理系统,对由管理图像和与所述管理图像相关联的动态图像数据构成的管理内容进行管理,如图1所示,具有:至少1个信息终端1、图像服务器2、将信息终端1和图像服务器2彼此连接的通信线路3、与通信线路3连接的打印机4、以及由打印机4输出的管理打印品P。
信息终端1例如是智能手机、平板PC、笔记本PC等,通过有线或无线与通信线路3连接。
此外,图像服务器2例如是与通信线路3连接的网络服务器,基于来自信息终端1的指示进行多种数据处理。
通信线路3例如是互联网线路,将信息终端1和图像服务器2之间彼此连接,能够进行双向的通信。
此外,打印机4例如是与通信线路3连接的网络打印机,基于来自信息终端1等的输出指示而从图像服务器2获取图像数据,并基于输出指示和图像数据对管理打印品P进行印刷。另外,也可以取代打印机4,而使基于图像数据将图像显示在画面上的显示装置与通信线路3连接,此外,也可以是打印机4和显示装置分别与通信线路3连接。
管理打印品P是将作为内容管理标记(以下,称为管理标记)而登记的静止图像、以及具有访问密钥的内容管理图像(以下,称为管理图像)作为图像商品印刷在规定的介质上的打印品。在此,图像商品是指照片书、数码相机打印品、明信片或拼贴画等,有偿或免费均可。
图2是表示图1所示的内容管理系统的信息终端1的详细结构的框图。
如图2所示,信息终端1具有拍摄部11、以及从拍摄部11依次连接的管理标记读取部12和终端数据接收/发送部13。此外,信息终端1具有与拍摄部11和管理标记读取部12连接的显示控制部14,具有与显示控制部14连接的显示部15。此外,信息终端1具有与拍摄部11、管理标记读取部12、终端数据接收/发送部13、以及显示控制部14分别连接的终端控制部16,在终端控制部16上连接动作输入部17。此外,在信息终端1中,也可以是显示部15和动作输入部17作为触摸屏18而一体地形成。
拍摄部11具有未图示的光学镜头等拍摄光学系统、以及CCD传感器或CMOS传感器等未图示的拍摄元件,基于用户的指示进行拍摄,并输出拍摄图像数据。另外,本实施方式的拍摄部11对管理打印品P的静止图像I进行拍摄(捕获),并输出包含静止图像I的拍摄图像数据。
管理标记读取部12从基于拍摄图像数据的拍摄图像,检测出静止图像I,基于规定的算法从静止图像I读取管理标记,并输出管理标记。此处,管理标记是指利用规定的算法从静止图像I读取的静止图像I的特征量,例如列举出反映在静止图像I中的拍摄对象的边缘信息等。
终端数据接收/发送部13经由通信线路3向图像服务器2、打印机4等发送数据,此外,经由通信线路3从图像服务器2、打印机4等接收数据。作为接收/发送的数据,可以列举出:静止图像数据以及动态图像数据、在信息终端1的动作输入部17中输入的来自用户的指示、以及来自信息终端1和图像服务器2的响应等。
显示控制部14基于终端控制部16的指示而控制显示部15,使显示部15显示静止图像或动态图像、在规定的操作输入中使用的图像。
此处,显示控制部14在使显示部15再生动态图像的情况下,可以使用AR技术进行再生(AR再生),也可以不使用AR技术进行再生(通常再生)。显示控制部14在使动态图像进行AR再生的情况下,进行控制以使得将拍摄(捕获)得到的管理打印品P显示在显示部15中,在显示于显示部15中的管理打印品P的静止图像I的显示部分中,使动态图像再生。此外,显示控制部14在使动态图像进行通常再生的情况下,进行控制以使得在显示部15的整个面或任意大小的窗口中再生动态图像。
显示部15例如由液晶显示器或有机EL显示器等构成,根据来自显示控制部14的指示,对基于静止图像数据的静止图像、基于动态图像数据的动态图像、以及在规定的操作输入中使用的图像等进行显示。
终端控制部16基于用户的指示或在未图示的存储器中记录的规定的程序等,控制信息终端1的各部分。
操作输入部17例如由按钮、键盘、鼠标等构成,将用户的输入作为输入信号而向终端控制部16输出。另外,上述的显示部15和操作输入部17也可以利用触摸屏而作为一体地构成,在本实施方式中,显示部15和操作输入部17由触摸屏18构成。在此情况下,操作输入部17由在液晶显示器等上显示出的操作图像、以及在显示部15的上侧设置的触摸传感器构成。
图3是表示图1所示的内容管理系统的图像服务器2的详细结构的框图。
如图3所示,图像服务器2具有:服务器数据接收/发送部21、以及从服务器数据接收/发送部21依次连接的静止图像生成部22、静止图像选择部23、静止图像编辑部24、管理标记登记部25、以及数据存储部26,服务器数据接收/发送部21和静止图像选择部23彼此连接,服务器数据接收/发送部21与数据存储部26连接。此外,图像服务器2具有:访问密钥发出部27,其与数据存储部26连接;管理图像生成部28,其与静止图像编辑部24和访问密钥发出部27连接、且与数据存储部26连接;管理图像修剪部29,其与管理图像生成部28连接、且与服务器数据接收/发送部连接;以及图像数据检索部30,其与服务器数据接收/发送部21和数据存储部26彼此连接。此外,图像服务器2具有服务器控制部31,其分别与服务器数据接收/发送部21、静止图像选择部23、静止图像编辑部24、管理标记登记部25、访问密钥发出部27、管理图像生成部28、管理图像修剪部29以及图像数据检索部30连接。
服务器数据接收/发送部21经由通信线路3从信息终端1等接收数据,经由通信线路3向信息终端1或打印机4等发送数据。作为被接收/发送的数据,与上述同样地,可以列举出:静止图像数据以及动态图像数据、在信息终端1的操作输入部17中输入的来自用户的指示、以及来自信息终端1和图像服务器2的响应等。
静止图像生成部22从基于动态图像数据的动态图像生成至少1个静止图像,并输出至少1个静止图像数据。另外,如果不是在动态图像时间很短等条件下,则通常生成多个静止图像,输出多个静止图像数据。静止图像生成部22中的静止图像的生成通过下述过程形成,即,例如对构成动态图像的各帧的静止图像进行解析,检测出静止图像的色调、亮度、模糊或抖动等,例如提取出与色调、亮度发生较大程度变化前后的帧对应的静止图像、或通过适当曝光而没有产生模糊的静止图像、或没有产生抖动的静止图像。此外,也可以在动态图像中检测人物面部的大小或朝向、面部的表情(笑脸、哭脸等),并基于这些提取出静止图像。此外,在动态图像中附加有语音的情况下,也可以从语音变大的时刻(时间码)前后的动态图像提取出静止图像。在上述的方法中,能够通过从动态图像提取出静止图像,从而将动态图像的代表性的场景作为静止图像提取。
静止图像选择部23使用户从由静止图像生成部22生成的至少1个静止图像数据中选择1个静止图像数据,例如,生成至少1个静止图像数据的缩略图像数据,并将缩略图像数据从服务器数据接收/发送部21发送至信息终端1,在信息终端1的显示部15上显示至少1个静止图像的缩略图像,使用户进行选择。在信息终端1中被选择出的缩略图像的信息从信息终端1的终端数据接收/发送部13经由图像服务器2的服务器数据接收/发送部21,向静止图像选择部23发送。静止图像选择部23基于所选择的缩略图像的信息,从至少1个静止图像数据中选择1个静止图像数据,将所选择的静止图像数据作为选择静止图像数据而输出。另外,也可以不发送缩略图像数据,而将静止图像数据本身发送至信息终端1。
静止图像编辑部24针对基于从静止图像选择部23输出的选择静止图像数据而得到的选择静止图像,基于用户的指示,进行背景框架的设定、色彩校正等图像校正、修剪、放大·缩小、旋转等编辑处理,例如,将选择静止图像数据经由服务器数据接收/发送部21向信息终端1发送,在信息终端1的显示部15上显示选择静止图像,使用户输入对选择静止图像的编辑处理。从用户向操作输入部17输入的背景框架、图像校正、修剪、放大·缩小、旋转等编辑处理的信息从信息终端1的终端数据接收/发送部13经由图像服务器2的服务器数据接收/发送部21,向静止图像编辑部24发送。静止图像编辑部24基于所输入的编辑处理的信息进行选择静止图像的编辑处理,并作为编辑静止图像数据输出。另外,也可以不在静止图像编辑部24中进行选择静止图像的编辑处理,而在信息终端1中进行选择静止图像的编辑处理,生成编辑静止图像数据,从信息终端1将编辑静止图像数据向图像服务器2发送。此外,静止图像编辑部24中的静止图像的编辑处理不是必须的,也可以将不进行任何编辑处理所获取到的静止图像数据直接输出。
管理标记登记部25将基于从静止图像编辑部24输出的编辑静止图像数据的编辑静止图像作为管理标记进行登记。例如,管理标记登记部25基于规定的算法对编辑静止图像进行解析,计算出编辑静止图像内的边缘的信息或边缘的位置信息等特征量,将该特征量作为编辑静止图像的管理标记,与所对应的动态图像数据相关联地登记。通过将管理标记与动态图像数据相关联地登记,从而能够将管理标记作为检索条件对在数据存储部26中存储的动态图像数据进行检索。
数据存储部26存储静止图像数据、动态图像数据以及与它们相关联的信息等,例如,由HDD或SSD等大容量的记录介质构成。动态图像数据、管理图像数据等与管理标记相关联,并存储至数据存储部26中。
访问密钥发出部27接受管理图像的输出指示而发出访问密钥,并输出访问密钥。此处,访问密钥是用于对在数据存储部26中存储的相对应的动态图像数据进行访问的信息,例如,利用由数字或字母等组成的规定的字符串构成。由信息终端1的管理标记读取部12进行的管理标记的读取,是基于由拍摄部11拍摄得到的拍摄图像而进行的,可以想到,根据拍摄条件等的不同,也会存在管理标记未被充分读取的情况、或者错误地读取管理标记的情况。因此,通过利用访问密钥对作为检索对象的动态图像数据预先进行限定,从而能够防止利用管理标记进行的动态图像数据的误检测。另外,访问密钥是由上传动态图像数据的用户唯一决定的,利用访问密钥,将根据管理标记被检索的动态图像数据的范围限定在由一个用户上传的动态图像数据的范围内。
此外,访问密钥发出部27例如也可以将具有上述规定字符串的信息的条形码或二维码等图像数据作为访问密钥而输出。作为管理图像的输出指示,可以列举出用户对印刷有管理图像的管理打印品的订购等。
管理图像生成部28基于从静止图像编辑部24输出的编辑静止图像数据、以及从访问密钥发出部27输出的访问密钥,生成管理图像,并输出管理图像数据。管理图像数据与所对应的动态图像数据相同地,与管理标记相关联,而存储至数据存储部26中。另外,管理标记也可以存储在与数据存储部26不同的存储部中。例如,考虑下述结构,即,在与数据存储部26不同的存储部中,管理标记和针对动态图像数据的访问信息相关联地存储,利用管理标记获取针对动态图像数据的访问信息,并基于获取到的访问信息访问在数据存储部26中存储的动态图像数据。
管理图像修剪部29接受管理图像的输出指示,与其输出介质相对应地进行管理图像的自动修剪,而生成修剪后的管理图像,并输出修剪后的管理图像数据。另外,作为输出介质,可以列举出例如L、2L、DSC、KG等尺寸的照片打印品、或具有规定的框架大小的照片书等。
图像数据检索部30基于管理标记和访问密钥对数据存储部26进行检索,获取与管理图像相关联的动态图像数据。图像数据检索部30基于访问密钥对要进行检索的动态图像数据的范围进行限定,在限定后的动态图像数据的范围内基于管理标记对动态图像数据进行检索,确定动态图像数据,从而能够防止动态图像数据的误检测,并缩短向动态图像数据的访问时间。
服务器控制部31基于来自信息终端1的用户的指示或者在未图示的存储器中记录的规定的程序等,对图像服务器2的各部分进行控制。
图4是表示管理打印品P的一个例子的概念图。管理打印品P是将具有静止图像I和访问密钥K的管理图像作为图像商品而印刷在规定的介质上而得到的,其中,该静止图像I从动态图像生成,与动态图像相关联。
此外,静止图像I如上所述,是由用户选择,且由用户编辑处理过的编辑完成静止图像,访问密钥K如上所述,是用于访问与静止图像I相关联的动态图像数据的信息,此处由10位的字符串构成。
下面,对在图1的内容管理系统中,用于生成管理打印品P的动作进行说明。图5是输出管理打印品P的动作的流程图,图6(A)~(E)是主要表示出在输出管理打印品P时,显示在信息终端1的触摸屏18上的操作画面的画面转换的说明图。
首先,作为步骤S11,从信息终端1向图像服务器2上传(发送)动态图像数据。用户对在信息终端1的显示部15上显示的图6(A)所示的操作画面进行确认,对触摸屏18进行操作,对在信息终端1的未图示的存储器中存储的动态图像数据的发送进行指示。终端控制部16接受来自用户的动态图像数据的发送指示而对终端数据接收/发送部13进行控制,将在未图示的存储器中存储的动态图像数据从终端数据接收/发送部13经由通信线路3向图像服务器2发送。
如果将动态图像数据向图像服务器2发送,则图像服务器2的服务器数据接收/发送部21接收动态图像数据,将动态图像数据向数据存储部26存储,并且将动态图像数据向静止图像生成部22输出。
作为步骤S12,静止图像生成部22基于获取到的动态图像数据,生成至少1个静止图像数据,并将至少1个静止图像数据向静止图像选择部23输出。此处,作为动态图像的代表图像,例如,将山的图像、汽车的图像、船的图像、父子的图像等作为静止图像而生成,并作为静止图像数据而输出。
静止图像选择部23获取上述的多个静止图像数据,生成与多个静止图像数据对应的多个缩略图像数据,并将多个缩略图像数据经由服务器数据接收/发送部21而向信息终端1发送。信息终端1利用终端数据接收/发送部13接收多个缩略图像数据,并将多个缩略图像经由显示控制部14可选择地显示在触摸屏18上。图6(B)是在触摸屏18上可选择地显示的缩略图像的一览。作为缩略图像,显示出山的图像(5张)、汽车的图像(2张)、船的图像(1张)、父子的图像(1张)。
作为步骤S13,用户对触摸屏18进行动作,并选择在触摸屏18上显示的缩略图像中的1个,从而在从动态图像生成的多个静止图像中,选择1个静止图像。由用户选择出的静止图像的信息经由终端控制部16从终端数据接收/发送部13向图像服务器2发送。图像服务器2的服务器数据接收/发送部21接收所选择的静止图像的信息,并向静止图像选择部23输出。此外,静止图像选择部23基于所选择的静止图像的信息,选择至少1个静止图像中的1个静止图像,并将所选择的静止图像的图像数据作为选择静止图像数据而向静止图像编辑部24输出。
此处,选择上述的父子的图像,并将父子的图像的静止图像数据作为选择静止图像数据输出。
静止图像编辑部24将从静止图像选择部23输出的选择静止图像数据经由服务器数据接收/发送部21向信息终端1发送。信息终端1利用终端数据接收/发送部13接收选择静止图像数据,并将基于选择静止图像数据的选择静止图像经由显示控制部14可编辑地显示在触摸屏18上。
作为步骤S14,用户对触摸屏18进行动作,对在触摸屏18上所显示的选择静止图像进行编辑,生成编辑图像数据。作为由用户进行的编辑处理,可以列举出:例如如图6(C)所示,对成为选择静止图像的背景的背景框架进行选择;或如图6(D)所示,针对选择静止图像进行的图像校正、修剪、放大·缩小、旋转等处理。与选择静止图像对应的编辑处理的信息经由终端控制部16从终端数据接收/发送部13向图像服务器2发送。图像服务器2的服务器数据接收/发送部21接收编辑处理的信息,并将编辑处理的信息向静止图像编辑部24输出。此外,静止图像编辑部24基于编辑处理的信息对选择静止图像进行编辑,并将进行编辑处理后的选择静止图像的图像数据作为编辑静止图像数据而分别向管理标记登记部25以及管理图像生成部28输出。
此外,管理标记登记部25获取编辑静止图像数据,作为步骤S15,将基于编辑静止图像数据的编辑静止图像作为管理标记而进行登记。具体而言,基于规定的算法,对编辑静止图像进行图像解析,从而计算出编辑静止图像的图像特征量,将计算出的图像特征量作为管理标记,与在数据存储部26中存储的相对应的动态图像数据进行关联。通过将管理标记和动态图像数据相关联地存储至数据存储部26中,从而用户能够基于管理标记对动态图像数据进行检索。
然后,作为步骤S16,用户对信息终端1的触摸屏18进行操作,从而输出管理打印品P的输出指示。具体而言,如图6(E)所示,由用户设定管理打印品P的打印品尺寸、打印品张数等,给出输出指示。
如果给出输出指示,则终端数据接收/发送部13向图像服务器2发送管理打印品P的输出指示,图像服务器2的服务器数据接收/发送部21从信息终端1接收管理打印品P的输出指示,并将输出指示向服务器控制部31输出。
服务器控制部31向访问密钥发出部27做出针对与管理打印品P相对应的动态图像数据的访问密钥的发出指示。作为步骤S17,访问密钥发出部27基于访问密钥的发出指示,发出针对动态图像数据的访问密钥,向管理图像生成部28输出访问密钥。
此外,作为步骤S18,管理图像生成部28从访问密钥发出部27获取访问密钥,此外,从静止图像编辑部24或数据存储部26获取编辑静止图像数据,生成显示有编辑静止图像和访问密钥的管理图像,并将管理图像数据向数据存储部26以及管理图像修剪部29输出。另外,在数据存储部26中,管理图像数据与动态图像数据等相关联地存储。
此外,作为步骤S19,管理图像修剪部29基于从服务器控制部31获取的管理打印品P的输出指示,对基于管理图像数据的管理图像进行规定的修剪处理,并输出修剪完成管理图像数据。
另外,如表1所示,打印品图像的尺寸和宽高比的关系处在1:1.34~1:1.50的范围内。
【表1】
尺寸名称 | 宽高比 |
L | 1:1.43 |
DSC | 1:1.34 |
KG | 1:1.49 |
2L | 1:1.40 |
照片书框架A | 1:1.34 |
照片书框架B | 1:1.41 |
照片书框架C | 1:1.50 |
而且,为了将管理图像打印在这些任意尺寸的介质上,均能够以不切掉管理标记即编辑完成静止图像或访问密钥的方式打印管理图像,由管理图像生成部28生成的管理图像PI,如图7(A)所示,取上下3.0%、左右2.3%的余量,设定编辑静止图像以及访问密钥的配置区域A,管理图像PI的宽高比设定为1:1.49。
例如,在将管理图像PI印刷在DSC尺寸的介质上的情况下,如图7(B)所示,管理图像修剪部29根据具有DSC尺寸的宽高比的框架F-DSC对管理图像PI进行修剪,此外,例如在将管理图像PI印刷在KG尺寸的介质上的情况下,如图7(C)所示,管理图像修剪部29根据具有KG尺寸的宽高比的框架F-KG对管理图像PI进行修剪。利用管理图像修剪部29进行修剪后的修剪完成管理图像作为修剪完成管理图像数据而向服务器数据接收/发送部21输出。
服务器数据接收/发送部21从管理图像修剪部29获取修剪完成管理图像数据,并基于服务器控制部31的指示,向经由通信线路3所连接的打印机4发送管理打印品的输出指示和修剪完成管理图像数据。
打印机4从图像服务器2接收修剪完成管理图像数据和管理打印品P的输出指示,作为步骤S20,将基于修剪完成管理图像数据的管理图像打印在与输出指示对应的规定尺寸的介质上。
如上所述,用户仅通过上传动态图像数据,选择基于动态图像数据而自动生成的至少1个静止图像,并进行静止图像的输出指示(此处,仅需要进行对印刷有静止图像的图像商品的订购),就能够在短时间内简单地生成基于动态图像和静止图像的管理内容。
下面,说明在图1的内容管理系统中,用于基于管理打印品P对管理内容进行再生的动作。图8是表示管理内容的再生流程的流程图。
作为步骤S21,用户对在管理打印品P上所印刷的访问密钥K进行确认,从信息终端1的触摸屏18输入访问密钥K。
然后,作为步骤S22,用户对信息终端1进行操作,通过拍摄部11对管理打印品P进行拍摄(捕获)。拍摄(捕获)得到的管理打印品P显示在信息终端1的触摸屏18上。
如果对管理打印品P的静止图像部分进行拍摄,则作为步骤S23,信息终端1的管理标记读取部12基于规定的算法,对基于从拍摄部11输出的拍摄图像数据的拍摄图像进行图像解析,并从反映在拍摄图像中的静止图像I读取出管理标记。
作为后续的步骤S24,信息终端1将上述的访问密钥K和上述的管理标记向图像服务器2发送,图像服务器2接收从信息终端1所发送的访问密钥K和管理标记,利用图像数据检索部30,基于访问密钥K和管理标记对在数据存储部26中存储的多个动态图像数据进行检索。具体而言,图像数据检索部30根据访问密钥K,对作为检索对象的多个动态图像数据进行限定,在由管理标记限定出的范围内进行动态图像数据的检索。
检索出的动态图像数据经由服务器数据接收/发送部21向信息终端1发送,信息终端1在终端数据接收/发送部13中,接收动态图像数据。
最后,作为步骤S25,信息终端1在显示于触摸屏18上的管理打印品P的静止图像I的显示部分中,基于动态图像数据而再生动态图像。
如上所述,用户仅通过在信息终端1中,输入在管理打印品P上所记载的访问密钥K,并对管理打印品P进行拍摄,就能够进行与在管理打印品P上印刷的静止图像相对应的动态图像的再生。
另外,如图4所示的访问密钥K是10位的数字,但也可以将访问密钥K设为二维码或条形码等,并从信息终端1的拍摄图像读取二维码或条形码等,从而省略由用户进行的访问密钥K的输入。
此外,在上述的一个实施方式所涉及的内容管理系统中,进行背景框架的设定、色彩校正等图像校正、修剪、放大·缩小、旋转等基于所选择的静止图像数据的选择静止图像的编辑处理,但上述的编辑处理不是必须的处理,也可以是静止图像编辑部24不进行任何编辑处理,而将选择静止图像数据分别向管理标记登记部25以及管理图像生成部28输出,此外,本发明的内容管理系统也可以不具有静止图像编辑部24自身。
此外,也可以是与静止图像选择部23中的静止图像的选择、或者静止图像编辑部24中的静止图像的编辑处理相关联地,信息终端1进行与这些静止图像的选择或静止图像的编辑处理相对应的动态图像的再生。
具体而言,如图9所示,也可以在选择出的静止图像S中,在对由虚线围成的部分进行修剪,制作出管理打印品P的情况下,静止图像选择部23预先记录与所选择的静止图像对应的动态图像的帧的时间码,在利用信息终端1对相对应的动态图像进行再生时,显示控制部14基于上述时间码,从与所选择的静止图像相同的帧起进行动态图像的再生。
此外,也可以是静止图像编辑部24进一步预先记录已进行修剪后的虚线T的信息,在利用信息终端1对相对应的动态图像进行再生时,显示控制部14基于上述的时间码和上述的修剪的信息,以与所选择的静止图像相同的帧,且将修剪后的虚线T的范围进行放大而进行动态图像的再生。
并且,也可以对修剪后的范围进行图像解析,以追随反映在修剪后的范围中的人物、动物、交通工具等的运动的方式进行动态图像的再生。具体而言,也可以以将上述的人物等位于显示画面的中心的方式修剪动态图像并进行再生。
此外,在上述的实施方式所涉及的内容管理系统中,对作为客户侧的信息终端1和作为服务器侧的图像服务器2分配功能而进行了说明,但例如也可以是在信息终端1中不设置管理标记读取部12,而从信息终端1将拍摄图像数据向图像服务器2发送,图像服务器2的管理标记登记部25作为管理标记读取部12,从基于拍摄图像数据的拍摄图像读取管理标记,此外,例如也可以是在图像服务器2中,不设置静止图像编辑部24,而从图像服务器2将选择静止图像数据向信息终端1发送,在信息终端1中进行选择静止图像的编辑处理。信息终端1以及图像服务器2的各部分的结构也可以配置在信息终端1以及图像服务器2中的某一者中。
上述的管理标记是静止图像自身或能够利用规定的算法从静止图像中提取的静止图像的特征量,但并不限定于此,只要是能够确定出与静止图像相关联的动态图像数据的存储场所或大小的信息即可,任何信息都可以。
此外,关于上述的管理标记,在上述的实施方式中将管理标记存储在存储部等中,但也可以不存储管理标记自身,而是对例如用户所选择的静止图像是从动态图像的哪一个帧中提取出的、是以哪一个尺寸进行提取的、或者管理标记是如何生成的、或者是如何确定出的等与管理标记的生成、提取相关联的信息进行存储。这是由于管理标记自身能够基于这些与管理标记的生成、提取相关联的信息而适当地生成。
上述的访问密钥由规定的字符串或具有规定的字符串信息的条形码或二维码构成,但并不限定于这些结构,例如也可以是将IC标签预先嵌入图像商品中,向IC标签输入访问密钥的信息,利用信息终端读取IC标签,从而进行访问密钥的输入,此外,也可以作为电子水印而预先将访问密钥的信息嵌入管理图像中,利用信息终端读取电子水印,从而进行访问密钥的输入。针对向管理图像的访问密钥的嵌入或对来自管理图像的访问密钥的获取,能够利用各种公知的技术,也可以设为无法被用户识别的结构,或者不易被用户识别的结构。
此外,上述的访问密钥是由上传动态图像数据的用户唯一决定的密钥,但并不限定于此,例如也可以以动态图像数据的管理文件夹为单位发出访问密钥,此外,例如也可以以与动态图像数据相关联的SNS上的社群为单位等发出访问密钥。在本发明的内容管理系统中,能够与内容的管理范围或管理方法相对应而选择性地发出访问密钥。
此外,也可以是上述的动态图像以及静止图像不仅包含2D的内容,还包含3D的内容。
此外,本发明所涉及的内容管理系统从利用具有访问密钥和静止图像的管理图像对动态图像数据进行管理这样的观点出发,也是有用的。
用户无需知晓动态图像数据的存储目的地等,就能够从具有管理图像的管理打印品迅速地访问相对应的动态图像数据。并且,如上所述,如果管理图像和动态图像数据的时间码进行了关联,则用户无需操作动态图像,就能够瞬间调用与反映在管理打印品中的管理图像相对应的场景。
下面,对下述内容管理系统进行说明,该内容管理系统生成包含从动态图像自动提取出的多张静止图像的静止图像数据在内的管理图像数据,对在管理图像的打印品中所包含的静止图像进行拍摄,而对相对应的动态图像的场景进行再生。
本实施方式的内容管理系统的结构除了图像服务器2之外,与图1~3所示的内容管理系统相同,因此以下,对本实施方式的图像服务器进行说明。
图10是表示本发明的其他实施方式所涉及的图像服务器的详细结构的框图。该图所示的本实施方式的图像服务器32在图3所示的图像服务器2中,取代静止图像生成部22以及静止图像选择部23而具有静止图像提取部33。此外,图像服务器32在图3所示的图像服务器2中,还具有图像评价部34、场景判断部35、重要场景判定部36、以及打印控制部37。
静止图像提取部33从动态图像数据提取多个帧的静止图像数据,并从提取出的多个帧的静止图像数据中,自动地提取出与最佳镜头的场景(适当地表现出在动态图像中所拍摄到的人物的动作的场景)相对应的1张或者大于或等于2张的静止图像的静止图像数据。静止图像提取部33的详细内容在后面叙述。
然后,图像评价部34对通过静止图像提取部33自动提取出的与1个静止图像数据相对应的静止图像、或者与大于或等于2个的静止图像数据相对应的多张静止图像分别进行评价,并计算出评价值。
图像评价部34例如能够基于在静止图像中所包含的人物的面部、静止图像的模糊、抖动、色彩、亮度中的至少一者,对静止图像进行评价。例如,在人物的面部的位置处在静止图像的中央部,人物的面部大小大于或等于阈值,模糊、抖动的程度小于阈值,色彩或亮度处在一定范围内等情况下,将评价值计算得较高。
然后,场景判断部35针对由静止图像提取部33提取出的1个静止图像数据、或者大于或等于2个的静止图像数据,分别对包含与静止图像数据相对应的静止图像在内的动态图像的场景进行判断。
场景判断部35例如如图11所示,在按照动态图像中的拍摄日期时间的顺序,相邻的2张静止图像之间的色彩的变化量超过阈值的情况下,判断为动态图像的场景已发生变化,在色彩的变化量超过阈值的相邻2张静止图像之间对动态图像的场景进行分割。由此,能够将动态图像分割为多个场景。
在该图所示的例子中,从动态图像提取出的多张静止图像随着从左向右,并且从上向下,按照拍摄日期时间依次从旧到新的顺序排列,分割出的各个动态图像的场景由不同的框包围而进行表示。
而且,从分割出的动态图像的多个场景中,判断出包含与由静止图像提取部33提取出的1个静止图像数据、或者大于或等于2个的静止图像数据分别相对应的静止图像在内的动态图像的场景。
然后,重要场景判定部36对通过场景判断部35判断出的动态图像的场景的重要程度进行判定。
重要场景判定部36例如能够基于动态图像的场景的长度(拍摄时间)、动态图像的场景的出现频度(场景的相似度)、再生次数等,计算出动态图像的场景的重要程度。例如,动态图像的场景的长度越长,动态图像的场景的出现频度越高,判定为重要程度较高。此外,再生次数越多的动态图像的场景,判定为重要程度越高。
然后,打印控制部37与在管理图像数据中所包含的静止图像数据的数量相对应地,对与管理图像数据相对应的管理图像被印刷的打印品的尺寸进行控制。
例如,在管理图像数据中所包含的静止图像数据的数量越多,打印控制部37能够将管理图像被印刷的打印品的尺寸控制得越大。
下面,对静止图像提取部33进行说明。
图12是表示静止图像提取部的结构的一个实施方式的框图。该图所示的静止图像提取部33从动态图像自动检测出最佳镜头的场景,并输出与最佳镜头的场景相对应的静止图像的静止图像数据,具有:关注人物登记部38、静止图像数据提取部39、关注人物检测部40、运动轨迹检测部41、动作分析部42、重要程度判定部43、构图分析部44、图像质量判定部45、静止图像数据输出部46、以及上下校正部47。
关注人物登记部38在与动态图像数据相对应的动态图像中所拍摄的人物中,将作为处理对象的关注人物作为登记人物进行登记。
关注人物登记部38例如能够在动态图像中所拍摄的人物中,将由用户指定出的人物作为登记人物进行登记。此外,关注人物登记部38能够预先对登记人物的图像(用于确定关注人物的面部图像等)进行登记。
然后,静止图像数据提取部39相当于图3所示的静止图像生成部22,从动态图像数据提取出多个帧的静止图像数据。
静止图像数据提取部39例如能够提取出动态图像数据的所有帧(各个帧)的静止图像数据。但是,本发明并不限定于此,也可以每隔一定数量的帧、例如每隔2个帧提取1个帧的静止图像数据。此外,也可以只提取与动态图像数据相对应的动态图像的任意区间的帧的静止图像数据。
然后,关注人物检测部40,分别在与由静止图像数据提取部39从动态图像数据提取出的多个帧的静止图像数据相对应的多张静止图像中,检测出作为处理对象的人物即关注人物。
关注人物检测部40例如分别在多张静止图像中,检测有无人物,并将检测出的人物的图像与例如在关注人物登记部38中所登记的登记人物的图像进行比较(对面部图像等进行比较),从而能够从检测出的人物中,将与登记人物一致或相似的人物(相似度大于或等于阈值的人物)确定为关注人物。
或者,关注人物检测部40分别从多张静止图像中提取人物的面部,对提取出的人物的面部的面部图像进行中心人物判定,从而能够从提取出面部的人物中,将通过中心人物判定而判定为中心人物的人物确定为关注人物。
在中心人物判定中,例如对多张面部图像进行相同人物判定处理,将多张面部图像分类为由相同人物的面部图像构成的图像组。然后,将被分类至图像组的人物中的出现次数大于或等于1次的人物确定为主人公,将除了主人公之外的人物中的与主人公关联性高的出现次数大于或等于1次的人物判定为重要人物。
此外,能够基于在关注人物登记部38中登记的各个登记人物的面部图像,确定与各个图像组对应的人物。
例如,能够将面部图像的检测数量最多的人物确定为主人公,或者能够将除了主人公之外的人物中的与主人公一起被拍摄到的静止图像的数量较多的人物判定为重要人物。
此外,也可以计算出在同一个静止图像中所拍摄到的主人公的面部图像和除了主人公之外的人物的面部图像之间的距离,将面部图像之间的距离较近的人物判定为重要人物。
也可以基于拍摄到主人公的静止图像的拍摄日期时间信息和拍摄到除了主人公之外的人物的静止图像的拍摄日期时间信息的差异、以及拍摄到主人公的静止图像的拍摄位置信息和拍摄到除了主人公之外的人物的静止图像的拍摄位置信息的差异的一者或两者,判定重要人物。
此外,关注人物检测部40能够检测出静止图像中的关注人物的位置、关注人物的大小、关注人物的区域、关注人物的上半身的区域、关注人物的面部的位置、关注人物的面部的大小、关注人物的面部区域、关注人物的面部的朝向等。
另外,静止图像中的关注人物的检测方法、关注人物的面部的检测方法等是公知的,因此,此处省略详细的说明,但其具体的检测方法不受任何限定。此外,关注人物的检测方法也不受任何限定。
然后,运动轨迹检测部41基于利用关注人物检测部40得到的多张静止图像中的关注人物的检测结果,对与动态图像数据相对应的动态图像中的关注人物的运动进行追踪,检测关注人物的运动轨迹。此外,运动轨迹检测部41通过检测关注人物的运动轨迹,从而能够检测关注人物的运动轨迹的长度或关注人物的移动模式等。
此处,关注人物的运动轨迹例如如图13(A)~(C)的左侧所示,能够使用将感兴趣区域(ROI:Region of Interest)、即关注人物的面部区域移动形成的轨迹表示为线状的形式。此外,作为关注人物的运动轨迹,也可以如该图(A)~(C)的右侧所示,使用动作履历图像(MHI:Motion History Image)。动作履历图像例如每隔一定时间对关注人物的动作的履历以改变色彩的方式进行表示。通过利用动作履历图像,从而能够知道动作履历图像中的关注人物的位置、关注人物的大小、关注人物的移动部位、关注人物的移动方向等。
运动轨迹检测部41例如基于关注人物的面部区域,对当前帧的静止图像中的关注人物的面部区域、与其下一帧的静止图像中的与关注人物的面部区域相当的任意位置的检测区域进行比较,基于当前帧的静止图像中的与关注人物的面部区域的相似度大于或等于阈值的、下一帧的静止图像中的检测区域的位置,对当前帧的静止图像中的关注人物的面部区域移动至其下一帧的静止图像的哪个位置的检测区域进行检测,从而能够追踪动态图像中的关注人物的运动。
此处,只检测关注人物的面部区域,由于静止图像中的关注人物的位置、关注人物的大小等随着时间的推移发生变化,因此有时追踪关注人物的运动变得困难。在此情况下,在关注人物的面部区域的基础上,将关注人物的上半身的区域分割成一定数量的区域,例如4个区域,针对合计5个区域的每一个,通过同样地对关注人物的运动进行追踪,从而能够使追踪的成功率提高。
此外,在计算当前帧的静止图像中的关注人物的面部区域、与其下一帧的静止图像中的检测区域的相似度的情况下,在下一帧的静止图像中,为了对与当前帧的静止图像中的关注人物的面部区域相对应的位置的检测区域进行检测,需要对多个位置的检测区域依次重复下述操作,即,计算在任意位置的检测区域内所包含的全部像素的亮度值的总和。因此,用于针对每个帧计算亮度值的总和的计算量变得庞大。
在此情况下,生成下一帧(即,各个帧)的静止图像的积分图像,通过利用所生成的积分图像计算亮度值的总和,从而能够削减其计算量,使处理高速化。积分图像例如是下述图像,即,如果静止图像的像素的座标随着从静止图像的左向右,且从上向下而变大,则各个座标的像素是具有从左上的像素到各个座标的像素为止的亮度值的积分值的像素。
另外,利用积分图像,计算在与关注人物的面部区域相当的区域内所包含的所有像素的亮度值的总和的方法是公知的,因此此处省略其详细的说明。此外,在对关注人物的运动进行追踪的情况下,为了达到削减计算量、使处理高速化的目的,并不限定于利用积分图像,例如能够利用平均位移(Mean Shift)法等各种方法。由于平均位移法也是公知的,因此省略其详细的说明。
然后,动作分析部42基于通过运动轨迹检测部41检测出的关注人物的运动轨迹,例如面部区域等的感兴趣区域的运动轨迹,对动态图像中的关注人物的动作进行分析,分别针对多张静止图像,基于分析出的关注人物的动作,计算与关注人物的动作相对应的评价值。
动作分析部42例如预先定义针对关注人物的动作的运动轨迹,例如关注人物跑动时的运动轨迹,从通过运动轨迹检测部41检测出的关注人物的运动轨迹中,对与预先定义出的运动轨迹相似的部分进行检测,从而对关注人物的动作进行分析。而且,在关注人物的动作是跑动动作的情况下,评价值是多少,能够与关注人物的动作的种类相对应地,计算针对关注人物的动作的评价值。
此外,动作分析部42能够作为关注人物的运动轨迹而基于图13(A)~(C)的右侧所示的动作履历图像,对关注人物的动作进行分析,并计算针对关注人物的动作的评价值。
动作分析部42通过基于动作履历图像对关注人物的动作进行分析,从而能够识别出下述情况,即,如图13(A)的右侧所示,关注人物在该图的中,从右侧向左侧跑动;如该图(B)的右侧所示,关注人物在静止的状态下,仅右手移动;以及如该图(C)的右侧所示,关注人物拾取掉落到地面上的物体等。此外,能够基于关注人物是否运动、在何位置、向何方运动等,计算针对关注人物的动作的评价值。
然后,重要程度判定部43基于关注人物的运动轨迹的长度、静止图像中的关注人物的位置、静止图像中的关注人物的大小中的至少一者,分别对多张静止图像的重要程度进行判定,分别针对多张静止图像,基于判定出的重要程度,计算重要程度的评价值。
例如,在关注人物的运动轨迹较长的情况下(在长度大于或等于阈值的情况下),能够推测出拍摄者对该关注人物的感兴趣程度较高。因此,重要程度判定部43在动态图像中,将与关注人物的运动轨迹较长的场景相对应的静止图像的重要程度判定得较高。此外,将关注人物拍摄在中央部的静止图像、或将关注人物拍摄得较大(关注人物的大小大于或等于阈值)的静止图像的重要程度判定得较高。而且,重要程度越高,重要程度的评价值计算得越高。
然后,构图分析部44基于静止图像中的关注人物的位置、静止图像中的关注人物的大小、关注人物的移动模式中的至少一者,分析多张静止图像各自的构图的优劣,分别针对于多张静止图像,基于分析出的构图的优劣,计算构图的评价值。
构图分析部44例如分析出:将关注人物拍摄在中央部的静止图像、将关注人物拍摄得较大(关注人物的大小大于或等于阈值)的静止图像的构图,优于没有将关注人物拍摄在中央部的静止图像、没有将关注人物拍摄得较大的静止图像的构图。而且,能够将分析为较优的静止图像的构图的评价值计算得高于没有被分析为较优的静止图像的构图的评价值。
此外,构图分析部44预先对关注人物的移动模式,例如关注人物从动态图像的左端移动至右端的移动模式进行定义,从通过运动轨迹检测部41检测出的关注人物的运动轨迹中,对关注人物按照预先定义出的移动模式进行移动的部分进行检测。而且,与关注人物按照预先定义出的移动模式进行移动的部分对应的静止图像的构图分析为较优,能够将分析为较优的静止图像的构图的评价值计算得高于没有被分析为较优的静止图像的构图的评价值。
然后,图像质量判定部45基于静止图像中的关注人物的区域、例如面部区域等感兴趣区域,分别对多张静止图像的图像质量进行判定,分别针对多张静止图像,基于判定出的图像质量,计算图像质量的评价值。
从动态图像提取出的静止图像根据动态图像数据的压缩方式的不同,图像质量有时较优,有时较差。此外,由于散焦、手抖动等,有时在静止图像中发生模糊或抖动,或有时亮度、色彩、对比度等不恰当。但是,即使在背景等的图像质量较差的情况下,在感兴趣区域即关注人物的面部区域或身体区域的图像质量较优的情况下,图像质量判定部45也判定为其静止图像的图像质量较优。而且,对于已判定为图像质量较优的静止图像,图像质量越优,能够将图像质量的评价值计算得越高。
然后,静止图像数据输出部46从通过静止图像数据提取部39从动态图像数据提取出的多个帧的静止图像数据中,作为与最佳镜头的场景相对应的静止图像的静止图像数据,输出针对关注人物的动作的评价值,或者针对关注人物的动作的评价值、和重要程度的评价值、构图的评价值、以及图像质量的评价值中的至少1个评价值的综合评价值大于或等于阈值的静止图像的静止图像数据。
最后,上下校正部47基于通过关注人物检测部40检测出的关注人物的面部的朝向,对与从静止图像数据输出部46输出的静止图像数据对应的静止图像的上下进行校正,以使得与从静止图像数据输出部46输出的静止图像数据对应的静止图像的上下与拍摄动态图像时的拍摄装置的上下相同。
图14(A)是表示向左旋转90°后的静止图像的一个例子的概念图。如上所述的静止图像是通过在拍摄动态图像时,使拍摄装置向右旋转90°进行拍摄而得到的。上下校正部47通过以使静止图像的上下与拍摄动态图像时的拍摄装置的上下相同的方式,使该图(A)所示的静止图像向右旋转90°,从而如该图(B)所示,能够对静止图像的上下进行校正。
另外,关注人物检测部40在关注人物登记部38中登记有大于或等于二个人物的情况下,能够从多张静止图像中,分别对大于或等于二个关注人物进行检测,并依次确定检测出的关注人物是谁。此外,在此情况下,运动轨迹检测部41、动作分析部42、重要程度判定部43、构图分析部44、图像质量判定部45、静止图像数据输出部46、上下校正部47分别依次对该大于或等于二个关注人物进行处理。
下面,参照图15所示的流程图,对图12所示的静止图像提取部33的动作进行说明。
如图14的流程图所示,首先,通过关注人物登记部38,将在动态图像中所拍摄到的人物中的例如由用户所指定的人物作为关注人物进行登记(步骤S1)。
然后,通过静止图像数据提取部39,例如从动态图像数据提取所有帧的静止图像数据(步骤S2)。即,如图16所示,从动态图像提取所有帧的静止图像。
另外,也可以在从动态图像数据提取出静止图像数据后,进行关注人物的登记。
然后,通过关注人物检测部40,分别从由静止图像数据提取部39提取出的所有帧的静止图像中,检测在关注人物登记部38中所登记的关注人物(步骤S3)。由此,分别在所有帧的静止图像中,确定出关注人物,并且如图17中由框进行包围所示,分别对所有帧的静止图像的关注人物的位置、关注人物的大小、关注人物的区域等进行检测。
然后,通过运动轨迹检测部41,基于所有帧的静止图像中的关注人物的检测结果,对动态图像中的关注人物的运动、例如在图17中由框包围而示出的感兴趣区域的运动进行追踪,而检测关注人物的运动轨迹(步骤S4)。由此,能够得到例如如图13(A)~(C)的左侧所示,作为关注人物的运动轨迹,将面部区域等感兴趣区域移动形成的轨迹表示为线状的轨迹,或如该图(A)~(C)的右侧所示的动作履历图像。
然后,通过动作分析部42,基于由运动轨迹检测部41检测出的关注人物的运动轨迹,对动态图像中的关注人物的动作进行分析。然后,分别针对所有帧的静止图像,基于分析出的关注人物的动作,计算针对关注人物的动作的评价值(步骤S5-1)。
此外,通过重要程度判定部43,基于关注人物的运动轨迹的长度、静止图像中的关注人物的位置、关注人物的大小,分别对所有静止图像的重要程度进行判定。然后,分别针对所有帧的静止图像,基于判定出的重要程度,计算重要程度的评价值(步骤S5-2)。
此外,通过构图分析部44,基于静止图像中的关注人物的位置、关注人物的大小、关注人物的移动模式,分别对所有静止图像的构图的优劣进行分析。并且,分别针对所有帧的静止图像,基于分析出的构图的优劣,计算构图的评价值(步骤S5-3)。
此外,通过图像质量判定部45,基于静止图像中的关注人物的区域,分别对所有帧的静止图像的图像质量进行判定。并且,关于分别针对所有静止图像所判定出的图像质量,在本实施方式的情况下,与模糊、抖动的程度相对应地,计算图像质量的评价值(步骤S5-4)。
例如,进行图14中用框包围而示出的感兴趣区域的模糊、抖动的判定,模糊、抖动的程度越大,将图像质量的评价值计算得越低。
另外,计算针对关注人物的动作的评价值、重要程度的评价值、构图的评价值、图像质量的评价值的顺序不受任何限定,能够以任意顺序进行计算。此外,也能够并行地、即同时计算这些评价值。
然后,通过静止图像数据输出部46,从由静止图像数据提取部39从动态图像数据提取出的所有帧的静止图像数据中,如图18所示,作为与最佳镜头的场景相对应的静止图像的静止图像数据,输出针对关注人物的动作的评价值、重要程度的评价值、构图的评价值、图像质量的评价值的综合评价值(各评价值的相加值等)大于或等于阈值的1张以上的静止图像的静止图像数据(步骤S6)。
此处,图18是表示从动态图像提取出的所有帧的静止图像各自的综合评价值的一个例子的曲线图。该图的纵轴表示各个静止图像的综合评价值,横轴表示时间(帧)。如该图所示,从所有静止图像中的通过关注人物检测部40检测出关注人物、且通过运动轨迹检测部41检测出关注人物的运动轨迹的静止图像中,如在图19中附加星号所示,输出综合评价值大于或等于阈值的静止图像的静止图像数据。
然后,在最后,通过上下校正部47,基于由关注人物检测部40检测出的关注人物的面部的朝向,以静止图像的上下与拍摄动态图像时的拍摄装置的上下相同的方式,对静止图像的上下进行校正(步骤S7)。
如上所述,在静止图像提取部33中,例如基于包含动态图像中的针对关注人物的动作的评价值、静止图像的重要程度的评价值、构图的评价值以及图像质量的评价值在内的综合评价值,能够从动态图像中自动地检测最佳镜头的场景,在从自动态图像数据提取出的所有帧的静止图像数据中,提取与最佳镜头的场景相对应的静止图像的静止图像数据。
下面,对在本实施方式的内容管理系统中,生成管理图像数据的情况下的动作进行说明。
如前述所示,通过静止图像提取部33,从经由自动态图像数据提取出的多个帧的静止图像数据中,使1个或者大于或等于2个的静止图像数据作为输出静止图像数据进行输出。
然后,通过场景判断部35,针对由静止图像提取部33提取出的1个输出静止图像数据或者大于或等于2个的输出静止图像数据,分别对包含与输出静止图像数据相对应的输出静止图像在内的动态图像的场景进行判断。
然后,通过管理标记登记部25,将1个输出静止图像数据或者大于或等于2个的输出静止图像数据,或者将与1个输出静止图像数据相对应的1张输出静止图像或者与大于或等于2个的输出静止图像数据相对应的大于或等于2张的输出静止图像各自的图像特征量,分别作为管理标记而与和1张输出静止图像或者和大于或等于2张的输出静止图像分别对应的动态图像的场景下的动态图像数据相关联地登记。
而且,通过管理图像生成部28,生成包含至少1个输出静止图像数据的管理图像数据。
下面,对在本实施方式的内容管理系统中,对管理图像的打印品进行拍摄,对动态图像的场景进行再生的情况下的动作进行说明。
通过拍摄部11,对与管理图像数据相对应的管理图像的打印品进行拍摄而生成拍摄图像数据。
然后,通过管理标记读取部12,从与拍摄图像数据相对应的拍摄图像读取管理标记。
此处,例如如图20所示,在通过拍摄部11,从管理图像的打印品所包含的5张输出静止图像中,对右上的1张输出静止图像进行了拍摄的情况下,显示控制部14控制为,将与通过管理标记读取部12从拍摄得到的1张输出静止图像读取出的管理标记相关联的动态图像数据所对应的动态图像的场景在显示部15上进行再生。由此,与拍摄得到的1张输出静止图像相关联的动态图像的场景在显示部15上进行再生。
此外,通过拍摄部11,从管理图像的打印品所包含的5张输出静止图像中,对其他的1张输出静止图像进行拍摄的情况下的动作也是同样的。
如果与拍摄得到的1张输出静止图像对应的动态图像的场景的再生结束,则例如动态图像的再生结束。换言之,与拍摄得到的1张输出静止图像的下一个拍摄日期时间的输出静止图像相对应的动态图像的场景不会连续地再生。
如上所述,在本实施方式的内容管理系统中,在管理图像的打印品中所包含的各个输出静止图像与和各个动态图像对应的场景相关联。因此,能够将在管理图像的打印品中所包含的输出静止图像作为与各个动态图像对应的场景的索引进行使用,通过对在管理图像的打印品中所包含的期望的输出静止图像进行拍摄,从而能够对动态图像的期望的场景进行再生。
此处,优选与动态图像中所包含的场景的数量相对应地,对管理图像的打印品的尺寸进行控制。
例如,在1分钟左右的动态图像的情况下,动态图像中的场景是1~数个场景,只要能够对包含数张输出静止图像在内的管理图像的打印品进行印刷,就能够实现目的。因此,不需要较大尺寸的打印品,例如为L尺寸的打印品等即可。
另一方面,在动态图像的再生时间较长的情况下,也有时会大于或等于数十个场景。如果在如上所述的情况下,在L尺寸的管理图像的打印品中,堆入与所有场景对应的输出静止图像,则在管理图像的打印品中所包含的输出静止图像的尺寸变小,用户通过信息终端1,对作为处理对象的输出静止图像进行拍摄变得困难。因此,优选推荐例如比L尺寸大的尺寸的打印品。
与此相对,在管理图像数据中所包含的输出静止图像数据的数量越多,打印控制部37能够将管理图像被印刷的打印品的尺寸控制得越大。换言之,打印控制部37与在管理图像数据中所包含的输出静止图像数据的数量相对应,以在管理图像的打印品中所包含的输出静止图像的尺寸大于或等于阈值的方式,将管理图像被印刷的打印品的尺寸设为较大。
但是,用户在希望得到如L尺寸等那样的恒定尺寸的管理图像的打印品的情况下,同样地,优选以在管理图像的打印品中所包含的输出静止图像的尺寸大于或等于阈值的方式,对在管理图像数据中所包含的输出静止图像数据的数量进行削减。
如上所述,在假设将管理图像印刷在恒定尺寸的印刷品上的情况下,在管理图像的打印品中所包含的输出静止图像的尺寸小于阈值时,管理图像生成部28能够从输出静止图像数据中选择在恒定尺寸的管理图像的打印品中所包含的输出静止图像的尺寸大于或等于阈值的数量的输出静止图像数据,并生成包含所选择数量的输出静止图像数据在内的管理图像数据。
此外,例如如图21所示,在通过拍摄部11,从管理图像的打印品所包含的5张输出静止图像中同时对右侧的2张输出静止图像进行拍摄的情况下,显示控制部14能够控制为,将分别与同时拍摄到的2张输出静止图像相对应的动态图像的场景同时在显示部15上进行再生。
此外,通过拍摄部11,从管理图像的打印品所包含的5张输出静止图像中同时对大于或等于3张的输出静止图像进行拍摄的情况下的动作也是相同的。
但是,在同时对多个动态图像的场景进行再生的情况下,由于各动态图像的再生时间不同,所以结束时间也不同。
在使用AR技术,将拍摄得到的管理图像的打印品显示在显示部15上,并在显示于显示部15上的管理图像的打印品的输出静止图像的显示部分中对动态图像的场景进行AR再生的情况下,由于与管理图像的打印品的输出静止图像的显示部分的关联是重要的,因此不优选对再生时的布局进行变更。因此,在AR再生的情况下,优选显示控制部14控制为在动态图像的场景的再生已结束的输出静止图像的显示部分中不显示任何内容。
与此相对,在不使用AR技术,在显示部15的整个面或者任意尺寸的窗口内对动态图像的场景进行通常再生的情况下,优选对管理图像的打印品的输出静止图像的显示部分再次布局。因此,在通常再生的情况下,优选显示控制部14控制为将动态图像的场景的再生已结束的输出静止图像的显示部分设为不显示,将动态图像的场景的再生仍未结束的输出静止图像的显示部分扩大至已设为不显示的输出静止图像的显示部分而进行再生。
此外,显示控制部14能够控制为,即使在AR再生以及通常再生的某一者中,在动态图像的场景的再生已结束的输出静止图像的显示部分中,例如基于动态图像的场景的动画内容,也显示与再生已结束的动态图像的场景有关联的广告。例如,在拍摄有儿童的动态图像的场景的再生已结束的情况下,在其输出静止图像的显示部分中,显示与儿童相关的玩具的广告。
如上所述,通过在动态图像的场景的再生已结束的输出静止图像的显示部分中显示广告,从而在再生仍未结束的动态图像的场景正在进行再生的期间显示广告。用户在再生仍未结束的动态图像的场景正在进行再生的期间,必然能看到同时被显示的广告,因此与只显示广告的情况相比,能够提高广告的浏览率。
另外,广告的图像数据(动态图像或静止图像)能够预先存储在数据存储部26中。
或者,显示控制部14,在将分别与同时被拍摄的2张输出静止图像相对应的动态图像的场景同时在显示部15上进行再生的情况下,能够控制为,在通过重要场景判定部36而判定为重要程度小于阈值的动态图像的场景被再生的输出静止图像的显示部分中对广告进行再生,或者对通过重要场景判定部36判定为重要程度大于或等于阈值的任意的动态图像的场景进行再生。
下面,对使用多个动态图像数据,生成管理图像数据的情况下的动作进行说明。
在此情况下,静止图像数据提取部、关注人物检测部、运动轨迹检测部、动作分析部、静止图像数据输出部、以及场景判断部35如前述所示,分别针对多个动态图像数据,反复进行与处理1个动态图像数据的情况相同的处理。
即,从静止图像提取部33,从分别针对多个动态图像数据而从动态图像数据提取出的多个帧的静止图像数据中,将1个或者大于或等于2个的静止图像数据作为输出静止图像数据进行输出。
此外,通过场景判断部35,针对与多个动态图像数据分别对应的1个输出静止图像数据或大于或等于2个的输出静止图像数据的每一个,对包含与输出静止图像数据相对应的输出静止图像在内的动态图像的场景进行判断。
然后,通过管理标记登记部25,将从分别与多个动态图像数据相对应的输出静止图像数据中至少分别选择1个输出静止图像数据而得到的多个第1输出静止图像数据的每一个,或者与多个第1输出静止图像数据相对应的多张第1输出静止图像的每一个的图像特征量作为第1管理标记,与和多张第1输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记。
此外,通过管理标记登记部25,分别针对多个动态图像数据,将输出静止图像数据作为第2输出静止图像数据,将1个第2输出静止图像数据或者分别将大于或等于2个的第2输出静止图像数据,或者将与1个第2输出静止图像数据或者分别与大于或等于2个的第2输出静止图像数据相对应的第2输出静止图像的图像特征量,作为第2管理标记,与和1张第2输出静止图像或者分别和大于或等于2张的第2输出静止图像相对应的动态图像的场景的动态图像数据相关联地登记。
而且,通过管理图像生成部28生成第1管理图像数据以及第2管理图像数据,其中,该第1管理图像数据包含至少2个第1输出静止图像数据,该第2管理图像数据分别针对多个动态图像数据,包含至少1个第2输出静止图像数据。
在使用5个动态图像数据生成管理图像数据的情况下,例如从分别与5个动态图像数据相对应的输出静止图像数据选择1个输出静止图像数据,生成包含合计5个第1输出静止图像数据的第1管理图像数据。此外,分别针对5个动态图像数据,将输出静止图像数据作为第2输出静止图像数据,生成包含至少1个第2静止图像数据的第2管理图像数据。
下面,对与使用多个动态图像数据生成的第1管理图像数据相对应的第1管理图像的打印品进行拍摄,对动态图像的场景进行再生的情况下的动作进行说明。
通过拍摄部11对与第1管理图像数据相对应的第1管理图像的打印品进行拍摄,生成拍摄图像数据。
然后,通过管理标记读取部12,从与拍摄图像数据对应的拍摄图像读取第1管理标记。
此处,例如如图22上侧所示,在通过拍摄部11,从在第1管理图像的打印品中包含的5张第1输出静止图像中对左下的1张第1输出静止图像进行拍摄的情况下,显示控制部14控制为将与通过管理标记读取部12从拍摄得到的1张第1输出静止图像读取出的第1管理标记相关联的动态图像数据所对应的第2管理图像显示在显示部15上。由此,如该图下侧所示,将与拍摄得到的1张第1输出静止图像相对应的第2管理图像显示在显示部15上。
此外,通过拍摄部11,从在第1管理图像的打印品中所包含的5张第1输出静止图像中对其他的1张第1输出静止图像进行拍摄的情况下的动作也是同样的。
然后,通过用户,经由动作输入部17输入从在显示部15上显示的第2管理图像中所包含的第2输出静止图像中,选择该图下侧的右下方的1张第2输出静止图像的指示。
在根据经由动作输入部17输入的指示,从在显示部15中显示出的第2管理图像中所包含的6张第2输出静止图像中选择该图下侧的右下方的1张第2输出静止图像的情况下,显示控制部14控制为,将与通过管理标记读取部12从选择出的1张第2输出静止图像读取出的第2管理标记相关联的动态图像数据所对应的动态图像的场景在显示部15上进行再生。由此,将与选择出的1张第2输出静止图像相关联的动态图像的场景在显示部15上进行再生。
此外,根据经由动作输入部17输入的指示,从在第2管理图像中所包含的6张第2输出静止图像中选择其他的1张第2输出静止图像的情况下的动作也是同样的。
例如,在对儿童运动会的动态图像进行拍摄的情况下,分别针对竞走、投球赛等事件拍摄动态图像,因此作为运动会的动态图像,拍摄由每个事件的动态图像构成的多个动态图像。在本实施方式的内容管理系统中,由于能够将多个动态图像汇总在1张第1管理图像的打印品中,因此用户通过对第1管理图像的打印品进行浏览,从而能够瞬间掌握在运动会等中所拍摄的多个动态图像的内容的摘要。
此处,在将多个动态图像汇总在1张第1管理图像的打印品中的情况下,优选管理图像生成部28与在第1管理图像数据中所包含的第1输出静止图像数据所对应的第1输出静止图像的拍摄日期时间相对应地,改变第1输出静止图像的显示颜色。例如,拍摄日期时间由新变得越旧,越变更为深棕色或单一色。
由此,用户能够知晓在第1管理图像的打印品中所包含的多个第1输出静止图像的拍摄顺序、即多个动态图像的拍摄顺序。
此外,在与动态图像对应的第1输出静止图像是多张的情况下,作为在第1管理图像中所包含的第1输出静止图像,例如,可以使用与动态图像相对应的多张第1输出静止图像中的起始图像,即,多张第1输出静止图像中的拍摄日期时间最旧的图像,但优选从与动态图像相对应的多张第1输出静止图像中使用最优的图像。
在此情况下,管理标记登记部25能够从分别与多个动态图像数据对应的输出静止图像数据中,分别选择1个由图像评价部34评价出的评价值最高的输出静止图像,而得到多个第1输出静止图像数据。
由此,用户通过看到在第1管理图像中所包含的第1输出静止图像,从而能够容易想起与第1输出静止图像相关联的动态图像。
此外,优选显示控制部14控制为,与和在显示部15上显示出的第2管理图像中所包含的第2输出静止图像对应的动态图像的场景的再生次数相对应地,改变第2输出静止图像的显示颜色。例如,与再生次数较多的动态图像的场景相对应的第2输出静止图像仍然保持原有的颜色,与再生次数较少的动态图像的场景相对应的第2输出静止图像变更为深棕色、单一色等。
由此,用户通过看到在第2管理图像中所包含的第2输出静止图像的显示颜色,从而能够知晓再生次数较多的动态图像的场景,即用户喜好的动态图像的场景。
另外,在上述各实施方式中,在将动态图像的场景在显示部15上进行再生的情况下,显示控制部14可以使动态图像的场景进行AR再生,也可以进行通常再生。
此外,在上述各实施方式中,生成包含访问密钥的管理图像数据不是必须的,并不限定于此,也可以生成至少1个输出静止图像数据、以及包含访问密钥的管理图像数据,在检索与输出静止图像相关联的动态图像的场景时进行利用。
此外,在图1~3所示的实施方式中,通过静止图像选择部,使用户从由静止图像生成部生成的静止图像数据中选择1个静止图像数据,也可以取代之,而通过静止图像提取部33,从动态图像数据提取多个帧的静止图像数据,并从提取出的多个帧的静止图像数据中自动地提取与最佳镜头的场景相对应的1张静止图像的静止图像数据。在此情况下,可以使用访问密钥,也可以不使用访问密钥。
本发明的装置可以由专用的硬件构成装置所具有的各个构成要素,也可以由被程序化的计算机构成各个构成要素。
本发明的方法例如能够通过用于使计算机执行该各个步骤的程序来实施。此外,也能够提供一种记录有该程序的计算机可读取的记录介质。
以上,对本发明的内容管理系统、以及管理内容生成方法以及管理内容再生方法进行了详细说明,但本发明并不限定于上述实施方式,可以在不超出本发明的要旨的范围内,进行各种改良或变更。
Claims (15)
1.一种内容管理系统,其特征在于,具有:
静止图像生成部,其基于动态图像数据生成至少1个静止图像数据;
静止图像选择部,其使用户在利用所述静止图像生成部所生成的所述至少1个静止图像数据中,选择1个静止图像数据;
管理标记登记部,其将在所述静止图像选择部中所选择的所述静止图像数据或者基于所述静止图像数据的信息,作为管理标记而与所述动态图像数据相关联地登记;
存储部,其对所述动态图像数据进行存储;
访问密钥发出部,其发出用于对在所述存储部中存储的所述动态图像数据进行访问的访问密钥;以及
管理图像生成部,其生成具有所述静止图像数据和所述访问密钥的管理图像数据。
2.根据权利要求1所述的内容管理系统,其特征在于,
还具有显示装置或打印机,所述显示装置将基于所述管理图像数据的管理图像作为图像商品进行显示,所述打印机将基于所述管理图像数据的管理图像作为图像商品进行印刷。
3.根据权利要求2所述的内容管理系统,其特征在于,
还具有静止图像编辑部,其对基于在所述静止图像选择部中所选择的所述静止图像数据的静止图像实施编辑处理,生成编辑静止图像数据,
所述管理标记登记部将所述编辑静止图像数据或者基于所述编辑静止图像数据的信息,作为管理标记而与所述动态图像数据相关联地登记。
4.根据权利要求2所述的内容管理系统,其特征在于,具有:
拍摄部,其对所述图像商品所具有的所述管理图像进行拍摄,并生成拍摄图像数据;
管理标记读取部,其从基于所述拍摄图像数据的拍摄图像读取所述管理标记;
输入部,其输入在所述图像商品所具有的所述管理图像中所记载的所述访问密钥;
图像数据检索部,其基于所述管理标记和所述访问密钥,对在所述存储部中存储的所述动态图像数据进行检索;以及
显示部,其对基于在所述图像数据检索部中检索出的所述动态图像数据的动态图像进行再生。
5.根据权利要求3所述的内容管理系统,其特征在于,具有:
拍摄部,其对所述图像商品所具有的所述管理图像进行拍摄,并生成拍摄图像数据;
管理标记读取部,其从基于所述拍摄图像数据的拍摄图像读取所述管理标记;
输入部,其输入在所述图像商品所具有的所述管理图像中所记载的所述访问密钥;
图像数据检索部,其基于所述管理标记和所述访问密钥,对在所述存储部中存储的所述动态图像数据进行检索;以及
显示部,其对基于在所述图像数据检索部中检索出的所述动态图像数据的动态图像进行再生。
6.一种内容管理系统,其对由管理图像和与所述管理图像相关联的动态图像数据构成的管理内容进行管理,
该内容管理系统的特征在于,具有:
静止图像生成部,其基于动态图像数据生成至少2个静止图像数据;
静止图像选择部,其使用户在利用所述静止图像生成部所生成的所述至少2个静止图像数据中,选择大于或等于2个静止图像数据而作为输出静止图像数据;
场景判断部,其分别针对大于或等于2个所述输出静止图像数据,对包含与所述输出静止图像数据相对应的输出静止图像在内的、与所述动态图像数据相对应的动态图像的场景进行判断;
管理标记登记部,其分别将所述大于或等于2个的输出静止图像数据、或者与所述大于或等于2个的输出静止图像数据相对应的大于或等于2张的所述输出静止图像各自的图像特征量,作为管理标记而与和所述大于或等于2张的输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记;
存储部,其对所述动态图像数据进行存储;
访问密钥发出部,其发出用于对在所述存储部中存储的所述动态图像数据进行访问的访问密钥;以及
管理图像生成部,其生成包含至少2个所述输出静止图像数据和所述访问密钥的管理图像数据。
7.根据权利要求6所述的内容管理系统,其中,还具有:
拍摄部,其对与所述管理图像数据相对应的管理图像的打印品进行拍摄,生成拍摄图像数据;
管理标记读取部,其从与所述拍摄图像数据相对应的拍摄图像读取所述管理标记;
操作输入部,其接收从用户输入的在所述管理图像的打印品中记载的访问密钥;
图像数据检索部,其基于所述管理标记和经由所述操作输入部输入的访问密钥,对在所述存储部中存储的所述动态图像数据进行检索;
显示部,其对所述动态图像进行再生;以及
显示控制部,其控制所述显示部中的所述动态图像的再生,
在通过所述拍摄部,从在所述管理图像的打印品中所包含的输出静止图像中,对1张输出静止图像进行了拍摄的情况下,所述显示控制部控制为,从通过所述图像数据检索部检索到的动态图像数据中,将与通过所述管理标记读取部从所述拍摄得到的1张输出静止图像读取出的管理标记相关联的动态图像数据所对应的动态图像的场景,在所述显示部上进行再生。
8.根据权利要求6所述的内容管理系统,其中,
所述静止图像生成部、所述静止图像选择部、以及所述场景判断部分别对多个所述动态图像数据反复进行处理,
所述管理标记登记部,将从分别与所述多个动态图像数据相对应的输出静止图像数据中至少分别选择1个所述输出静止图像数据而得到的多个第1输出静止图像数据的每一个,或者与多个所述第1输出静止图像数据相对应的多张第1输出静止图像各自的图像特征量,作为第1管理标记而与和所述多张第1输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记,并且,分别针对所述多个动态图像数据,将所述输出静止图像数据作为第2输出静止图像数据,将1个所述第2输出静止图像数据或者分别将大于或等于2个的所述第2输出静止图像数据,或者与所述1个第2输出静止图像数据或者所述大于或等于2个的第2输出静止图像数据分别相对应的第2输出静止图像各自的图像特征量,作为第2管理标记而与和1张所述第2输出静止图像或者大于或等于2张的所述第2输出静止图像分别相对应的动态图像的场景的动态图像数据相关联地登记,
所述管理图像生成部生成第1管理图像数据以及第2管理图像数据,其中,该第1管理图像数据包含至少2个所述第1输出静止图像数据和所述访问密钥,该第2管理图像数据分别针对所述多个动态图像数据,包含至少1个所述第2输出静止图像数据。
9.根据权利要求8所述的内容管理系统,其中,还具有:
拍摄部,其对与所述第1管理图像数据相对应的第1管理图像的打印品进行拍摄,生成拍摄图像数据;
管理标记读取部,其从与所述拍摄图像数据相对应的拍摄图像读取所述第1管理标记;
操作输入部,其接收从用户输入的在所述管理图像的打印品中记载的访问密钥;
图像数据检索部,其基于所述管理标记和经由所述操作输入部输入的访问密钥,对在所述存储部中存储的所述动态图像数据进行检索;
显示部,其对所述动态图像进行再生;以及
显示控制部,其控制所述显示部中的所述动态图像的再生,
在通过所述拍摄部,从在所述第1管理图像的打印品中所包含的第1输出静止图像中,对1张第1输出静止图像进行了拍摄的情况下,所述显示控制部控制为,从通过所述图像数据检索部检索到的动态图像数据中,将与通过所述管理标记读取部从所述拍摄得到的1张输出静止图像读取出的第1管理标记相关联的动态图像数据所对应的第2管理图像,在所述显示部上进行显示,
在根据经由所述操作输入部输入的指示,从在所述显示部中显示的第2管理图像中所包含的第2输出静止图像中选择1张第2输出静止图像的情况下,所述显示控制部控制为,从通过所述图像数据检索部检索到的动态图像数据中,将与通过所述管理标记读取部从所述选择出的1张第2输出静止图像读取出的第2管理标记相关联的动态图像数据所对应的动态图像的场景在所述显示部上进行再生。
10.一种管理内容生成方法,其是由管理图像和与所述管理图像相关联的动态图像数据构成的管理内容的生成方法,
该管理内容生成方法的特征在于,
基于所述动态图像数据生成至少1个静止图像数据;
使用户在所生成的所述至少1个静止图像数据中,选择1个静止图像数据;
将所选择的所述静止图像数据或者基于所选择的所述静止图像数据的信息,作为管理标记而与所述动态图像数据相关联地登记;
基于来自用户的指示,发出能够对所述动态图像数据进行访问的访问密钥;以及
生成具有所述静止图像数据和所述访问密钥的所述管理图像。
11.一种管理内容再生方法,其对利用权利要求10所述的管理内容生成方法所生成的管理内容进行再生,其中,
对所述管理图像进行拍摄,生成拍摄图像数据;
从基于所述拍摄图像数据的拍摄图像读取所述管理标记;
输入在所述管理图像中记载的所述访问密钥;
利用所述访问密钥和所述管理标记,对与所述管理图像相对应的所述动态图像数据进行检索;以及
基于检索到的所述动态图像数据对动态图像进行再生。
12.一种管理内容生成方法,其是由管理图像和与所述管理图像相关联的动态图像数据构成的管理内容的生成方法,
该管理内容生成方法的特征在于,包含以下步骤:
静止图像生成部基于动态图像数据生成至少2个静止图像数据;
静止图像选择部使用户在利用所述静止图像生成部所生成的所述至少2个静止图像数据中,选择大于或等于2个静止图像数据而作为输出静止图像数据;
场景判断部分别针对大于或等于2个所述输出静止图像数据,对包含与所述输出静止图像数据相对应的输出静止图像在内的、与所述动态图像数据相对应的动态图像的场景进行判断;
管理标记登记部分别将所述大于或等于2个的输出静止图像数据,或者与所述大于或等于2个的输出静止图像数据相对应的大于或等于2张的所述输出静止图像各自的图像特征量,作为管理标记而与和所述大于或等于2张的输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记;
访问密钥发出部发出用于对在所述存储部中存储的所述动态图像数据进行访问的访问密钥;以及
管理图像生成部生成包含至少2个所述输出静止图像数据和所述访问密钥在内的管理图像数据。
13.一种管理内容再生方法,其对利用权利要求12所述的管理内容生成方法所生成的管理内容进行再生,
该管理内容再生方法的特征在于,包含以下步骤:
拍摄部对与所述管理图像数据相对应的管理图像的打印品进行拍摄,生成拍摄图像数据;
管理标记读取部从与所述拍摄图像数据相对应的拍摄图像读取所述管理标记;
操作输入部接收从用户输入的在所述管理图像的打印品中记载的访问密钥;
图像数据检索部基于所述管理标记和经由所述操作输入部输入的访问密钥,对在所述存储部中存储的所述动态图像数据进行检索;以及
在通过所述拍摄部,从在所述管理图像的打印品中所包含的输出静止图像中,对1张输出静止图像进行了拍摄的情况下,显示控制部控制为,从通过所述图像数据检索部检索到的动态图像数据中,将与通过所述管理标记读取部从所述拍摄得到的1张输出静止图像读取出的管理标记相关联的动态图像数据所对应的动态图像的场景,在所述显示部上进行再生。
14.一种管理内容生成方法,其是由管理图像和与所述管理图像相关联的动态图像数据构成的管理内容的生成方法,
该管理内容生成方法的特征在于,包含以下步骤:
静止图像生成部基于动态图像数据生成至少2个静止图像数据;
静止图像选择部使用户在利用所述静止图像生成部所生成的所述至少2个静止图像数据中,选择1个静止图像数据或者大于或等于2个静止图像数据而作为输出静止图像数据;
场景判断部针对所述1个输出静止图像数据或者所述大于或等于2个输出静止图像数据,分别对包含与所述输出静止图像数据相对应的输出静止图像在内的所述动态图像的场景进行判断;
所述静止图像生成部、所述静止图像选择部、以及所述场景判断部分别针对多个所述动态图像数据反复进行处理;
所述管理标记登记部,将从分别与所述多个动态图像数据相对应的输出静止图像数据中,至少分别选择1个所述输出静止图像数据而得到的多个第1输出静止图像数据的每一个,或者与多个所述第1输出静止图像数据相对应的多张第1输出静止图像各自的图像特征量,作为第1管理标记而与和所述多张第1输出静止图像分别对应的动态图像的场景的动态图像数据相关联地登记,并且,分别针对所述多个动态图像数据,将所述输出静止图像数据作为第2输出静止图像数据,将1个所述第2输出静止图像数据或者大于或等于2个的所述第2输出静止图像数据,或者与所述1个第2输出静止图像数据或者所述大于或等于2个的第2输出静止图像数据相对应的第2输出静止图像各自的图像特征量,分别作为第2管理标记而与和1张所述第2输出静止图像或者大于或等于2张的所述第2输出静止图像分别相对应的动态图像的场景的动态图像数据相关联地登记;
访问密钥发出部发出用于对在存储部中存储的所述动态图像数据进行访问的访问密钥;以及
管理图像生成部生成第1管理图像数据以及第2管理图像数据,其中,该第1管理图像数据包含至少2个所述第1输出静止图像数据和所述访问密钥,该第2管理图像数据分别针对所述多个动态图像数据,包含至少1个所述第2输出静止图像数据。
15.一种管理内容再生方法,其对利用权利要求14所述的管理内容生成方法所生成的管理内容进行再生,
该管理内容再生方法的特征在于,包含以下步骤:
拍摄部对与所述第1管理图像数据相对应的第1管理图像的打印品进行拍摄,生成拍摄图像数据;
管理标记读取部从与所述拍摄图像数据相对应的拍摄图像读取所述第1管理标记;
操作输入部接收从用户输入的在所述管理图像的打印品中记载的访问密钥;
图像数据检索部基于所述管理标记和经由所述操作输入部输入的访问密钥,对在所述存储部中存储的所述动态图像数据进行检索;
在通过所述拍摄部,从在所述第1管理图像的打印品中所包含的第1输出静止图像中,对1张第1输出静止图像进行了拍摄的情况下,所述显示控制部控制为,从通过所述图像数据检索部检索到的动态图像数据中,将与通过所述管理标记读取部从所述拍摄得到的1张输出静止图像读取出的第1管理标记相关联的动态图像数据所对应的第2管理图像在所述显示部上进行显示;
经由操作输入部输入下述指示,该指示用于从在所述显示部上显示出的第2管理图像中所包含的第2输出静止图像中,选择1张第2输出静止图像;
在根据经由所述操作输入部输入的指示,从在所述显示部中显示的第2管理图像中所包含的第2输出静止图像中选择了1张第2输出静止图像的情况下,所述显示控制部控制为,从通过所述图像数据检索部检索到的动态图像数据中,将与通过所述管理标记读取部从所述选择出的1张第2输出静止图像读取出的第2管理标记相关联的动态图像数据所对应的动态图像的场景在所述显示部上进行再生。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-020812 | 2014-02-05 | ||
JP2014020812 | 2014-02-05 | ||
JP2014186374A JP5917635B2 (ja) | 2014-02-05 | 2014-09-12 | コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体 |
JP2014-186374 | 2014-09-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104821001A true CN104821001A (zh) | 2015-08-05 |
CN104821001B CN104821001B (zh) | 2018-07-27 |
Family
ID=52462149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510050189.XA Active CN104821001B (zh) | 2014-02-05 | 2015-01-30 | 内容管理系统、管理内容生成方法以及管理内容再生方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9721613B2 (zh) |
EP (1) | EP2905782A1 (zh) |
JP (1) | JP5917635B2 (zh) |
CN (1) | CN104821001B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111835966A (zh) * | 2019-04-22 | 2020-10-27 | 夏普株式会社 | 电子设备、控制装置、记录介质以及控制方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10169659B1 (en) * | 2015-09-24 | 2019-01-01 | Amazon Technologies, Inc. | Video summarization using selected characteristics |
JP6644560B2 (ja) * | 2016-01-25 | 2020-02-12 | 株式会社フォトクリエイト | 動画像提供サーバ、動画像提供方法、及びプログラム |
KR20180042589A (ko) * | 2016-10-18 | 2018-04-26 | 디에스글로벌 (주) | 사용자 편집 이미지를 이용한 증강현실 콘텐츠 제공 방법 및 시스템 |
US11169661B2 (en) * | 2017-05-31 | 2021-11-09 | International Business Machines Corporation | Thumbnail generation for digital images |
US10916220B2 (en) | 2018-08-07 | 2021-02-09 | Apple Inc. | Detection and display of mixed 2D/3D content |
JP7183674B2 (ja) * | 2018-10-03 | 2022-12-06 | 大日本印刷株式会社 | フォトブック作製システム |
JP7358845B2 (ja) * | 2019-08-27 | 2023-10-11 | 大日本印刷株式会社 | 画像編集装置、印画物作製システム及び画像編集プログラム |
US20220076489A1 (en) * | 2020-09-08 | 2022-03-10 | Rovi Guides, Inc. | Systems and methods for generating supplemental content in an extended reality environment |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1507262A1 (en) * | 2003-08-14 | 2005-02-16 | Ricoh Company, Ltd. | Transmission of event markers to data stream recorder |
CN1701315A (zh) * | 2003-07-11 | 2005-11-23 | 日本电信电话株式会社 | 数据库访问控制方法、控制装置及代理处理服务器装置 |
CN1956090A (zh) * | 2005-10-25 | 2007-05-02 | 索尼株式会社 | 电子设备、再生管理方法、显示控制设备及显示控制方法 |
US20070101268A1 (en) * | 2005-11-01 | 2007-05-03 | Microsoft Corporation | Video booklet |
US20070106675A1 (en) * | 2005-10-25 | 2007-05-10 | Sony Corporation | Electronic apparatus, playback management method, display control apparatus, and display control method |
US20070174918A1 (en) * | 2006-01-24 | 2007-07-26 | Fuji Xerox Co., Ltd. | Document processing system, information processing unit, display medium, computer readable medium, document processing method, and computer data signal |
US20070172206A1 (en) * | 2001-06-26 | 2007-07-26 | Canon Kabushiki Kaisha | Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4174083B2 (ja) | 1995-05-01 | 2008-10-29 | キヤノン株式会社 | 画像処理方法及びその装置 |
JP4194272B2 (ja) * | 2001-12-28 | 2008-12-10 | キヤノン株式会社 | 動画像管理装置及び方法 |
GB2417117A (en) | 2004-08-13 | 2006-02-15 | Hewlett Packard Development Co | Index print with associated memory tags for storing image data |
JP4508112B2 (ja) | 2006-01-11 | 2010-07-21 | ノーリツ鋼機株式会社 | 静止画抽出システム |
-
2014
- 2014-09-12 JP JP2014186374A patent/JP5917635B2/ja active Active
-
2015
- 2015-01-29 US US14/608,212 patent/US9721613B2/en active Active
- 2015-01-30 CN CN201510050189.XA patent/CN104821001B/zh active Active
- 2015-01-30 EP EP15153314.8A patent/EP2905782A1/en not_active Ceased
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070172206A1 (en) * | 2001-06-26 | 2007-07-26 | Canon Kabushiki Kaisha | Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media |
CN1701315A (zh) * | 2003-07-11 | 2005-11-23 | 日本电信电话株式会社 | 数据库访问控制方法、控制装置及代理处理服务器装置 |
EP1507262A1 (en) * | 2003-08-14 | 2005-02-16 | Ricoh Company, Ltd. | Transmission of event markers to data stream recorder |
CN1956090A (zh) * | 2005-10-25 | 2007-05-02 | 索尼株式会社 | 电子设备、再生管理方法、显示控制设备及显示控制方法 |
US20070106675A1 (en) * | 2005-10-25 | 2007-05-10 | Sony Corporation | Electronic apparatus, playback management method, display control apparatus, and display control method |
US20070101268A1 (en) * | 2005-11-01 | 2007-05-03 | Microsoft Corporation | Video booklet |
US20070174918A1 (en) * | 2006-01-24 | 2007-07-26 | Fuji Xerox Co., Ltd. | Document processing system, information processing unit, display medium, computer readable medium, document processing method, and computer data signal |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111835966A (zh) * | 2019-04-22 | 2020-10-27 | 夏普株式会社 | 电子设备、控制装置、记录介质以及控制方法 |
US11288512B2 (en) | 2019-04-22 | 2022-03-29 | Sharp Kabushiki Kaisha | Electronic apparatus, control device, and control method |
CN114979496A (zh) * | 2019-04-22 | 2022-08-30 | 夏普株式会社 | 电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US9721613B2 (en) | 2017-08-01 |
US20150221343A1 (en) | 2015-08-06 |
CN104821001B (zh) | 2018-07-27 |
EP2905782A1 (en) | 2015-08-12 |
JP2015165379A (ja) | 2015-09-17 |
JP5917635B2 (ja) | 2016-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105430211B (zh) | 内容管理系统、管理内容生成方法以及管理内容再生方法 | |
CN104821001A (zh) | 内容管理系统、管理内容生成方法、管理内容再生方法、程序以及记录介质 | |
US9219830B1 (en) | Methods and systems for page and spread arrangement in photo-based projects | |
US7636450B1 (en) | Displaying detected objects to indicate grouping | |
JP4902270B2 (ja) | デジタル画像のコレクションの組み立て方法 | |
US8259995B1 (en) | Designating a tag icon | |
US7694885B1 (en) | Indicating a tag with visual data | |
US10089532B2 (en) | Method for output creation based on video content characteristics | |
US7813526B1 (en) | Normalizing detected objects | |
CN107862315A (zh) | 字幕提取方法、视频搜索方法、字幕分享方法及装置 | |
CN101902578A (zh) | 图像再现装置及拍摄装置 | |
KR20160087222A (ko) | 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치 | |
CN108780654A (zh) | 生成用于视频的移动缩略图 | |
US9449646B2 (en) | Methods and systems for media file management | |
CN103477317A (zh) | 内容显示处理装置、内容显示处理方法、程序以及集成电路 | |
KR20090093904A (ko) | 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템 | |
US9201947B2 (en) | Methods and systems for media file management | |
US11880918B2 (en) | Method for dynamic creation of collages from mobile video | |
WO2018192244A1 (zh) | 一种智能设备的拍摄引导方法 | |
KR20140033667A (ko) | 객체 기반 동영상 편집 장치 및 방법 | |
JP7470279B2 (ja) | 情報処理装置、画像出力プログラム、及び画像出力方法 | |
JP7429016B2 (ja) | 画像処理方法、コンピュータプログラム及び画像処理装置 | |
KR100840022B1 (ko) | 프리뷰 히스토리를 참조로 디지털 데이터에 포함된 인물을인식하는 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |