JP2017220814A

JP2017220814A - Image processing apparatus, image processing system, image processing method, and program

Info

Publication number: JP2017220814A
Application number: JP2016114356A
Authority: JP
Inventors: 片本　浩司; Koji Katamoto; 浩司片本; 中井　康博; Yasuhiro Nakai; 康博中井; 村上　光一; Koichi Murakami; 光一村上; 新居　由佳子; Yukako Arai; 由佳子新居; 康友早野; Yasutomo Hayano; 佐枝　政夫; Masao Saeda; 政夫佐枝
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2016-06-08
Filing date: 2016-06-08
Publication date: 2017-12-14
Anticipated expiration: 2036-06-08
Also published as: JP6738209B2

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus, an image processing system, an image processing method, and a program which allow easy selection of a highly relevant content image in accordance with the content of a captured image and obtaining a synthetic image of an optimal composition and impression.SOLUTION: An image processing apparatus (500) comprises: a first storage unit (501) which stores therein first image data, second image data, and association data associated with each second image data; an image extraction unit (504) which partially extracts an image out of the second image data to acquire extraction data; and an image synthesizing unit (506) which superimposes the extraction data on the first image data to generate a synthetic image.SELECTED DRAWING: Figure 6

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関し、特に画像データに関連した関連データに基づいて画像処理を行う画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing system, an image processing method, and a program, and more particularly, to an image processing apparatus, an image processing system, an image processing method, and a program that perform image processing based on related data related to image data.

コンビニエンスストア等の公共の場所に画像形成装置（代表的にはコピー機）が設置され、有料でコピーサービスが提供されている。コピーサービス以外に、可搬性メモリ等に記録された画像データのプリントサービスも提供されている。 An image forming apparatus (typically a copy machine) is installed in a public place such as a convenience store, and a copy service is provided for a fee. In addition to the copy service, a print service for image data recorded in a portable memory or the like is also provided.

近年では、画像形成装置の１種である複合機（ＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎＰｅｒｉｐｈｅｒａｌ））が設置されている場合には、コピーサービス及びプリントサービス以外に、ＭＦＰをインターネットに接続することにより、ファクシミリサービス及び通信ネットワーク（以下、単にネットワークという）対応のプリントサービス等も提供されている。さらに、ＭＦＰは、インターネットを介してコンテンツプロバイダ（ＣｏｎｔｅｎｔｓＰｒｏｖｉｄｅｒ）から提供されるコンテンツサービスの提供窓口としても使用されるようになってきた。 In recent years, when an MFP (Multi Function Peripheral), which is a kind of image forming apparatus, is installed, in addition to a copy service and a print service, by connecting the MFP to the Internet, a facsimile service and communication A print service for a network (hereinafter simply referred to as a network) is also provided. Further, the MFP has come to be used as a service provider for content services provided from a content provider via the Internet.

例えば、コンテンツプリントサービスと呼ばれるサービスが知られている。このサービスに対応するために、ＭＦＰはその内部に、ＰＣ（パーソナルコンピュータ）等で使用されるＷｅｂブラウザの機能を実現するための独自のフレームワークを備えている。コンテンツプリントサービスを提供するために、コンテンツプロバイダのサーバコンピュータ（以下、単にサーバともいう）から中継サーバを経由してＭＦＰに、ＭＦＰ内のフレームワークにて操作可能な操作画面を生成するためのデータが送信される。ＭＦＰは、受信したデータに基づいて操作画面を生成して、操作パネルに表示する。これにより、ユーザは、ＭＦＰの操作パネルに表示された操作画面を操作（例えばタッチ操作）して、サーバから提供される種々のコンテンツの中から、所望のコンテンツを選択してプリントすることができる。 For example, a service called a content print service is known. In order to cope with this service, the MFP includes a unique framework for realizing the function of a Web browser used in a PC (personal computer) or the like. Data for generating an operation screen operable by the framework in the MFP from the content provider server computer (hereinafter also simply referred to as a server) to the MFP via the relay server in order to provide the content print service Is sent. The MFP generates an operation screen based on the received data and displays it on the operation panel. As a result, the user can operate the operation screen displayed on the operation panel of the MFP (for example, touch operation) to select and print desired content from various contents provided from the server. .

このような画像形成装置として特許文献１には、デジタルカメラやスマートフォンなどで撮影された画像データを印刷する際に、コンテンツ画像と画像データを合成する画像処理機能を備えたものが提案されている。 As such an image forming apparatus, Patent Document 1 proposes an apparatus having an image processing function for synthesizing a content image and image data when printing image data captured by a digital camera or a smartphone. .

このような従来技術では、撮影された画像データに関連付けして記録されている撮影位置や撮影時間等の関連情報（例えばＥｘｉｆ：Ｅｘｃｈａｎｇｅａｂｌｅｉｍａｇｅｆｉｌｅｆｏｒｍａｔ情報）に基づいて、予め保存されているコンテンツ画像から適するものを選択し、画像データとコンテンツ画像とを並べて一つの画像を合成して印刷している。合成されるコンテンツ画像としては、撮影地点の周囲にある名所旧跡等の画像や、撮影地点の地名や施設名などがあり、これにより利用者は、印刷する店舗の所在地に関わらず撮影画像と撮影地周辺の情報を簡便に合成して印刷することができる。 In such a conventional technique, a content image stored in advance based on related information (for example, Exif: Exchangeable image file format information) such as a shooting position and a shooting time recorded in association with the shot image data. A suitable one is selected, and the image data and the content image are arranged side by side to compose and print one image. The content images to be combined include images of historical landmarks around the shooting point, place names and facility names of the shooting point, etc., so that the user can take a shot image and a shot regardless of the location of the store to be printed. The information around the ground can be easily combined and printed.

特開２０１０−１４６１８２号公報JP 2010-146182 A

しかし特許文献１の従来技術では、撮影した画像の内容は変えず撮影した画像自体とコンテンツ画像を並べて印刷するため、撮影画像の印象を変えるほどの合成画像を得るのは難しかった。また、コンテンツ画像と撮影画像とを並べて印刷するため、印刷された写真中での撮影画像が占める面積が小さくなり構図が不自然になる場合もあった。 However, in the prior art of Patent Document 1, since the captured image itself and the content image are printed side by side without changing the content of the captured image, it is difficult to obtain a composite image that changes the impression of the captured image. In addition, since the content image and the photographed image are printed side by side, the area occupied by the photographed image in the printed photograph becomes small, and the composition may be unnatural.

また、撮影画像に関連付けられたＥｘｉｆ情報に基づいてコンテンツ画像を選択するため、印刷する店舗の所在地に関わらず撮影地周辺のコンテンツ画像と撮影画像とを合成できるが、どの店舗でも同様の印刷結果が得られるため特定の店舗に出向くインセンティブが働きにくい。さらに、撮影画像のＥｘｉｆ情報等に含まれない情報ではコンテンツ画像の選択をしないので、撮影画像の内容とは関連性の低いコンテンツ画像が選択される可能性もあった。 In addition, since the content image is selected based on the Exif information associated with the photographed image, the content image around the photographing location and the photographed image can be combined regardless of the location of the store to be printed. Incentives to visit specific stores are difficult to work. Furthermore, since the content image is not selected for information that is not included in the Exif information of the captured image, a content image that is less relevant to the content of the captured image may be selected.

そこで本発明は、以上の問題に鑑みてなされたものであり、撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することを目的とする。 Accordingly, the present invention has been made in view of the above problems, and an image that can easily select a highly relevant content image in accordance with the content of a captured image and can obtain a composite image with an optimal composition and impression. It is an object to provide a processing device, an image processing system, an image processing method, and a program.

上記の課題を解決するために、本発明の画像処理装置は、第１画像データ、第２画像データ及び前記第２画像データ毎に関連付けされた関連データが記憶された第１記憶部と、前記第２画像データから画像を部分的に抽出して抽出データを取得する画像抽出部と、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成部と、を備えることを特徴とする。 In order to solve the above-described problem, an image processing apparatus according to the present invention includes a first storage unit that stores first image data, second image data, and related data associated with each second image data; An image extraction unit that partially extracts an image from the second image data to obtain extraction data; and an image synthesis unit that creates a composite image by superimposing the extraction data on the first image data. It is characterized by.

このような画像処理装置では、第２画像データから抽出データを抽出して第１画像データ上に重ね合わせて合成画像を作成するため、撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる。 In such an image processing apparatus, the extracted data is extracted from the second image data and superimposed on the first image data to create a composite image. Therefore, a highly relevant content image can be easily obtained according to the content of the captured image. And a composite image with an optimal composition and impression can be obtained.

また、本発明の一実施態様では、第２記憶部に保存された複数の候補データから、前記関連データに基づいて候補画像を選択する画像選択部を備え、選択された前記候補画像を前記第１画像データとして前記第１記憶部に記憶する。 In one embodiment of the present invention, an image selection unit that selects a candidate image from a plurality of candidate data stored in the second storage unit based on the related data is provided, and the selected candidate image is the first candidate image. One image data is stored in the first storage unit.

また、本発明の一実施態様では、当該画像処理装置の設置位置が第１位置情報として前記第１記憶部または前記第２記憶部に記憶されており、前記画像選択部は、前記第１位置情報及び／又は時間情報に基づいて前記候補画像を選択する。 In one embodiment of the present invention, the installation position of the image processing apparatus is stored as first position information in the first storage unit or the second storage unit, and the image selection unit is configured to store the first position. The candidate image is selected based on information and / or time information.

また、本発明の一実施態様では、前記第２記憶部は、ネットワークを介して接続された外部サーバである。 In one embodiment of the present invention, the second storage unit is an external server connected via a network.

また、本発明の一実施態様では、前記第２画像データを分析して特徴点を抽出する特徴分析部を備え、前記関連データには前記第２画像データの撮影位置である第２位置情報が含まれており、前記画像選択部は、前記第２位置情報及び前記特徴点に基づいて前記候補画像を選択する。 In one embodiment of the present invention, the image processing apparatus includes a feature analysis unit that analyzes the second image data and extracts feature points, and the related data includes second position information that is a shooting position of the second image data. The image selection unit selects the candidate image based on the second position information and the feature point.

また、本発明の一実施態様では、前記画像抽出部は、前記第２画像データに含まれる主役部分を前記抽出データとして背景部分から抽出する。 In one embodiment of the present invention, the image extraction unit extracts a main part included in the second image data from the background part as the extraction data.

また上記の課題を解決するために、本発明の画像処理システムは、第１画像データ、第２画像データ及び前記第２画像データ毎に関連付けされた関連データが記憶された第１記憶装置と、画像を部分的に抽出して取得する画像抽出装置と、合成画像を作成する画像合成装置と、を含み、前記第２画像データから抽出データを抽出し、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成することを特徴とする。 In order to solve the above-described problem, the image processing system of the present invention includes a first storage device that stores first image data, second image data, and related data associated with each second image data, An image extracting device that extracts and acquires an image, and an image synthesizing device that creates a composite image, extracts extracted data from the second image data, and extracts the extracted data on the first image data Are combined to create a composite image.

また上記の課題を解決するために、本発明の画像処理方法は、第１記憶部に、第１画像データ、第２画像データ及び前記第２画像データ毎に関連付けされた関連データを記憶させる記憶ステップと、前記第２画像データから画像を部分的に抽出して抽出データを取得する抽出ステップと、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成ステップと、を備えることを特徴とする。 In order to solve the above-described problem, the image processing method according to the present invention stores the first image data, the second image data, and related data associated with each second image data in the first storage unit. An extraction step for partially extracting an image from the second image data to obtain extraction data; an image synthesis step for creating a composite image by superimposing the extraction data on the first image data; It is characterized by providing.

また上記の課題を解決するために、本発明の画像処理プログラムは、第１記憶部に、第１画像データ、第２画像データ及び前記第２画像データ毎に関連付けされた関連データを記憶させる記憶ステップと、前記第２画像データから画像を部分的に抽出して抽出データを取得する抽出ステップと、前記第１画像データ上に前記抽出データを重ね合わせて合成画像を作成する画像合成ステップと、をコンピュータに実行させることを特徴とする。 In order to solve the above-described problem, the image processing program of the present invention stores the first image data, the second image data, and related data associated with each second image data in the first storage unit. An extraction step for partially extracting an image from the second image data to obtain extraction data; an image synthesis step for creating a composite image by superimposing the extraction data on the first image data; Is executed by a computer.

撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる。 A highly relevant content image can be easily selected according to the content of the photographed image, and a composite image with an optimal composition and impression can be obtained.

本発明の第１実施形態に係る画像形成装置がネットワークに接続された構成を示すブロック図である。1 is a block diagram illustrating a configuration in which an image forming apparatus according to a first embodiment of the present invention is connected to a network. 第１実施形態に係る画像形成装置１００を模式的に示す正面図である。1 is a front view schematically showing an image forming apparatus 100 according to a first embodiment. 図２に示した画像形成装置１００を構成する本体装置１１０の内部構成を示すブロック図である。FIG. 3 is a block diagram showing an internal configuration of a main body device 110 that constitutes the image forming apparatus 100 shown in FIG. 2. 図２に示した画像形成装置１００を構成する拡張装置２００の内部構成を示すブロック図である。FIG. 3 is a block diagram showing an internal configuration of an expansion device 200 that constitutes the image forming apparatus 100 shown in FIG. 2. 第１実施形態に係る画像処理方法を示す模式図である。It is a schematic diagram which shows the image processing method which concerns on 1st Embodiment. 第１実施形態に係る画像処理装置５００の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus 500 which concerns on 1st Embodiment. 第１実施形態の画像処理装置５００での画像処理方法を説明するフローチャートである。It is a flowchart explaining the image processing method in the image processing apparatus 500 of 1st Embodiment.

（第１実施形態）
本発明に係る画像処理装置、画像処理システム、画像処理方法及びプログラムの第一実施形態について、図面を用いて詳細に説明する。図１は、第１実施形態に係る画像形成装置がネットワークに接続された構成を示すブロック図である。画像形成装置１００は、ＬＡＮ等のネットワーク３１０に接続されて使用される。ネットワーク３１０は、ルータ３００を介してインターネット３１２に接続される。インターネット３１２には、第１サーバコンピュータ３２０及び第２サーバコンピュータ３２２が接続されている。このような構成により、画像形成装置１００は、ルータ３００及びインターネット３１２を介して第１サーバコンピュータ３２０及び第２サーバコンピュータ３２２にアクセスすることができる。 (First embodiment)
A first embodiment of an image processing apparatus, an image processing system, an image processing method, and a program according to the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration in which the image forming apparatus according to the first embodiment is connected to a network. The image forming apparatus 100 is used by being connected to a network 310 such as a LAN. The network 310 is connected to the Internet 312 via the router 300. A first server computer 320 and a second server computer 322 are connected to the Internet 312. With such a configuration, the image forming apparatus 100 can access the first server computer 320 and the second server computer 322 via the router 300 and the Internet 312.

インターネット３１２には、サーバコンピュータに限らず種々の装置が接続されているが、ここでは、コンテンツサービスを提供するためのサーバとして、第１サーバコンピュータ３２０及び第２サーバコンピュータ３２２のみを示している。また、ネットワーク３１０には、画像形成装置１００以外の装置が接続されていてもよい。 Various devices are connected to the Internet 312 in addition to the server computer. Here, only the first server computer 320 and the second server computer 322 are shown as servers for providing content services. In addition, a device other than the image forming apparatus 100 may be connected to the network 310.

図２は、第１実施形態に係る画像形成装置を示す正面図である。画像形成装置１００は、本体装置１１０及び拡張装置２００を含む。本体装置１１０及び拡張装置２００は相互に接続されており、データ（制御情報を含む）を交換可能である。接続方法は、シリアル接続（ＵＳＢ（登録商標）（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）等）又は通信ネットワーク接続（有線又は無線）等、任意である。 FIG. 2 is a front view showing the image forming apparatus according to the first embodiment. The image forming apparatus 100 includes a main body device 110 and an expansion device 200. The main device 110 and the expansion device 200 are connected to each other and can exchange data (including control information). The connection method is arbitrary such as serial connection (USB (registered trademark) (Universal Serial Bus) or the like) or communication network connection (wired or wireless).

本体装置１１０は、操作部１２０を介してユーザの指示を受け、その指示に応じた処理（画像形成等）を実行する。指示された処理が拡張装置２００によって実行されるべき場合には、本体装置１１０は、処理に必要なデータを拡張装置２００に送信する。拡張装置２００は、受信したデータを用いて、ユーザの指示を実行する。画像形成（以下、印刷ともいう）の指示は、印刷条件に応じて、本体装置１１０又は拡張装置２００によって実行される。本体装置１１０は、印刷結果を排紙トレイ１４０に排出する。 The main device 110 receives a user instruction via the operation unit 120 and executes processing (image formation or the like) according to the instruction. When the instructed processing is to be executed by the expansion device 200, the main body device 110 transmits data necessary for the processing to the expansion device 200. The expansion device 200 executes a user instruction using the received data. An instruction for image formation (hereinafter also referred to as printing) is executed by the main device 110 or the expansion device 200 according to printing conditions. The main body device 110 discharges the print result to the paper discharge tray 140.

拡張装置２００は、記録媒体を接続可能なメディアＩＦ部２１２を含む。拡張装置２００は、印刷結果を写真排出部２４０に排出する。画像形成装置１００によるサービスは有料であり、拡張装置２００は、課金処理を実行する。即ち、拡張装置２００は、ユーザによって、硬貨投入部２４２及び紙幣投入部２４４から投入される金を受付け、印刷料金との差額を釣銭排出部２４６に排出する。 The expansion device 200 includes a media IF unit 212 to which a recording medium can be connected. The expansion device 200 discharges the print result to the photo discharge unit 240. The service provided by the image forming apparatus 100 is charged, and the expansion apparatus 200 executes a charging process. In other words, the expansion device 200 accepts money input from the coin input unit 242 and the bill input unit 244 by the user, and discharges the difference from the printing fee to the change discharge unit 246.

図３は、図２に示した画像形成装置を構成する本体装置の内部構成を示すブロック図である。本体装置１１０は、第１制御部１１２、第１記憶部１１４、原稿読取部１１６、第１画像形成部１１８、操作部１２０、第１通信部１２６及び第２通信部１２８を含む。さらに、本体装置１１０は、これらが接続される第１バス１３２を含む。各部間のデータ交換（制御情報を含む）は、第１バス１３２を介して行なわれる。 FIG. 3 is a block diagram showing an internal configuration of the main body device constituting the image forming apparatus shown in FIG. The main device 110 includes a first control unit 112, a first storage unit 114, a document reading unit 116, a first image forming unit 118, an operation unit 120, a first communication unit 126, and a second communication unit 128. Furthermore, the main device 110 includes a first bus 132 to which these are connected. Data exchange (including control information) between the units is performed via the first bus 132.

第１制御部１１２は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。第１記憶部１１４は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、及びＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の記憶装置を含む。ＲＯＭは、不揮発性記憶装置であり、本体装置１１０の動作を制御するのに必要なプログラム及びデータを記憶している。ＨＤＤは、書換可能な不揮発性記憶装置であり、画像データ等を記憶する。ＲＡＭは、書換可能な揮発性記憶装置である。第１制御部１１２は、ＲＯＭ及びＨＤＤから、所定のプログラム及び所定のデータをＲＡＭに読出して、ＲＡＭの一部を作業エリアとして利用してプログラムを実行する。画像データに対する画像処理等もＲＡＭ上で実行される。第１制御部１１２は、ＲＯＭに記憶されたプログラムにしたがって、本体装置１１０全体を制御し、本体装置１１０のコピー機能を実現する。 The first control unit 112 is, for example, a CPU (Central Processing Unit). The first storage unit 114 includes a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a HDD (Hard Disk Drive). The ROM is a nonvolatile storage device, and stores programs and data necessary for controlling the operation of the main device 110. The HDD is a rewritable nonvolatile storage device that stores image data and the like. The RAM is a rewritable volatile storage device. The first control unit 112 reads a predetermined program and predetermined data from the ROM and HDD into the RAM, and executes the program using a part of the RAM as a work area. Image processing or the like for image data is also executed on the RAM. The first control unit 112 controls the entire main apparatus 110 according to a program stored in the ROM, and realizes a copy function of the main apparatus 110.

原稿読取部１１６は、原稿を読取るためのＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ：電荷結合素子）と、原稿台又は自動原稿送り装置（ＡＤＦ）にセットされた原稿を検知する原稿検知センサとを含み、原稿を読取って画像データを入力する。画像データは、例えば第１記憶部１１４のＲＡＭに一時的に記憶される。 The document reading unit 116 includes a CCD (Charge Coupled Device) for reading a document, and a document detection sensor that detects a document set on a document table or an automatic document feeder (ADF). Scan and input image data. The image data is temporarily stored in the RAM of the first storage unit 114, for example.

第１画像形成部１１８は、読取った画像データに対して種々の画像処理が実行されて生成された画像データを、本体装置１１０内部の給紙部（図示せず）から供給される記録紙に印刷する。本体装置１１０の給紙部には、例えばＢ５、Ｂ４、Ａ４及びＡ３の記録紙が収容されている。 The first image forming unit 118 applies image data generated by performing various image processing on the read image data to a recording sheet supplied from a sheet feeding unit (not shown) inside the main body device 110. Print. For example, B5, B4, A4, and A3 recording sheets are stored in the paper feeding unit of the main body apparatus 110.

第１通信部１２６は、本体装置１１０がネットワーク３１０又は電話回線（図示せず）を介して外部装置と通信するためのインターフェイスである。第１通信部１２６は、ネットワーク３１０に接続されたＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）を含む。また、第１通信部１２６は、電話回線に接続されたモデムを含む。 The first communication unit 126 is an interface for the main device 110 to communicate with an external device via a network 310 or a telephone line (not shown). The first communication unit 126 includes a NIC (Network Interface Card) connected to the network 310. The first communication unit 126 includes a modem connected to a telephone line.

第２通信部１２８は、第１制御部１１２の制御を受けて、拡張装置２００と通信を行なうためのインターフェイスである。 The second communication unit 128 is an interface for communicating with the expansion device 200 under the control of the first control unit 112.

操作部１２０は、液晶パネル等で構成された表示パネル１２２と、表示パネル１２２の上に配置され、タッチされた位置を検出するタッチパネル１２４とを含む。操作部１２０には、ハードウェアキーが配置されていてもよい。操作部１２０の表示パネル１２２には、ホーム画面が表示されている。ホーム画面は、画像形成装置１００が起動された直後、又は、タイムアウトが発生したとき等に表示される。ホーム画面には、画像形成装置１００が提供可能なサービスを選択するためのキー（ソフトウェアキー）が表示される。 The operation unit 120 includes a display panel 122 configured by a liquid crystal panel and the like, and a touch panel 124 that is disposed on the display panel 122 and detects a touched position. A hardware key may be arranged on the operation unit 120. A home screen is displayed on the display panel 122 of the operation unit 120. The home screen is displayed immediately after the image forming apparatus 100 is activated or when a timeout occurs. On the home screen, a key (software key) for selecting a service that the image forming apparatus 100 can provide is displayed.

操作部１２０には、表示パネル１２２外の領域に、ハードウェアキーとして、ホームキー、電源をオン／オフするための電源キー、及び、電源オンの場合に点灯するＬＥＤランプ等が配置されている。表示パネル１２２に表示される画面は、画像形成装置１００の状態に応じて種々変化（画面遷移）する。 In the operation unit 120, a home key, a power key for turning on / off the power, an LED lamp that is turned on when the power is on, and the like are arranged as hardware keys in an area outside the display panel 122. . The screen displayed on the display panel 122 changes variously (screen transition) according to the state of the image forming apparatus 100.

操作部１２０は、ユーザによる本体装置１１０に対する指示等の入力を受付ける。具体的には、表示パネル１２２に表示される画面（画像）は、第１制御部１１２の制御を受けて画面生成部（図示せず）によって生成される。ユーザは、表示パネル１２２にアイコン等の形式で表示されたキーを、表示パネル１２２に重ねられたタッチパネル１２４上で選択する（タッチパネル１２４上の該当部分にタッチする）ことによって、画像形成装置１００により提供されるサービスを選択し、機能設定及び動作指示等を行なうことができる。ユーザは、表示パネル１２２に表示される画面によって、画像形成装置１００の状態及びジョブの処理状況等の確認を行なうことができる。 The operation unit 120 accepts an input such as an instruction to the main device 110 by the user. Specifically, a screen (image) displayed on the display panel 122 is generated by a screen generation unit (not shown) under the control of the first control unit 112. The user selects a key displayed in the form of an icon or the like on the display panel 122 on the touch panel 124 overlaid on the display panel 122 (by touching a corresponding part on the touch panel 124), thereby causing the image forming apparatus 100 to It is possible to select a service to be provided, perform function setting, operation instruction, and the like. The user can check the state of the image forming apparatus 100 and the job processing status on the screen displayed on the display panel 122.

第１制御部１１２は、操作部１２０に設けられたタッチパネル１２４及びハードウェアキーに対するユーザの操作を監視すると共に、表示パネル１２２に画像形成装置１００の状態に関する情報等の、ユーザに通知すべき情報等を表示する。また、第１制御部１１２は、ユーザの操作を受けて、ユーザの指示が、拡張装置２００によって実行される必要がある場合には、拡張装置２００が処理を実行するために必要なデータを、第２通信部１２８を介して送信する。必要なデータには、拡張装置２００に対する指示コマンド、画像データ、テキストデータ、及び数値データ等が含まれる。 The first control unit 112 monitors user operations on the touch panel 124 and hardware keys provided in the operation unit 120, and information to be notified to the user, such as information on the state of the image forming apparatus 100, on the display panel 122. Etc. are displayed. In addition, when the first control unit 112 receives a user operation and the user's instruction needs to be executed by the expansion device 200, the first control unit 112 stores data necessary for the expansion device 200 to execute processing. Transmission is performed via the second communication unit 128. The necessary data includes an instruction command for the expansion device 200, image data, text data, numerical data, and the like.

図４は、図２に示した画像形成装置を構成する拡張装置の内部構成を示すブロック図である。拡張装置２００は、第２制御部２０２、第２記憶部２０４、第２画像形成部２０６、第３画像形成部２０８、第３通信部２１０、メディアＩＦ部２１２、及び貨幣処理部２１４を含む。さらに、拡張装置２００は、これらが接続される第２バス２１６を含む。各部間のデータ（制御情報を含む）交換は、第２バス２１６を介して行なわれる。 FIG. 4 is a block diagram showing the internal configuration of the expansion device that constitutes the image forming apparatus shown in FIG. The expansion device 200 includes a second control unit 202, a second storage unit 204, a second image forming unit 206, a third image forming unit 208, a third communication unit 210, a media IF unit 212, and a money processing unit 214. Furthermore, the expansion device 200 includes a second bus 216 to which these are connected. Data (including control information) is exchanged between the units via the second bus 216.

第２制御部２０２は、例えばＣＰＵである。第２記憶部２０４は、第１記憶部１１４と同様にＲＯＭ、ＲＡＭ、及びＨＤＤ等の記憶装置を含む。ＲＯＭは、拡張装置２００の動作を制御するのに必要なプログラム及びデータを記憶している。第２制御部２０２は、ＲＯＭ及びＨＤＤから、所定のプログラム及び所定のデータをＲＡＭに読出して、ＲＡＭの一部を作業エリアとして利用してプログラムを実行する。画像データに対する画像処理等もＲＡＭ上で実行される。第２制御部２０２は、ＲＯＭに記憶されたプログラムにしたがって、拡張装置２００全体を制御し、拡張装置２００の各機能を実現する。 The second control unit 202 is a CPU, for example. Similar to the first storage unit 114, the second storage unit 204 includes storage devices such as ROM, RAM, and HDD. The ROM stores programs and data necessary for controlling the operation of the expansion device 200. The second control unit 202 reads a predetermined program and predetermined data from the ROM and HDD to the RAM, and executes the program using a part of the RAM as a work area. Image processing or the like for image data is also executed on the RAM. The second control unit 202 controls the entire expansion device 200 according to a program stored in the ROM, and realizes each function of the expansion device 200.

第３通信部２１０は、第２制御部２０２の制御を受けて、本体装置１１０の第２通信部１２８と通信を行なう。第２通信部１２８と第３通信部２１０との接続方式は、例えばＵＳＢ等のシリアル接続である。 The third communication unit 210 communicates with the second communication unit 128 of the main device 110 under the control of the second control unit 202. The connection method between the second communication unit 128 and the third communication unit 210 is, for example, serial connection such as USB.

メディアＩＦ部２１２は、光ディスクを装着するためのドライブ、可搬性メモリを装着するためのソケット、有線接続手段および無線接続手段を含む。メディアＩＦ部２１２により、画像形成装置１００は、接続された可搬性メモリに対してデータの読出し及び書込みを行なうことができる。光ディスクには、ＣＤ−Ｒディスク及びＤＶＤ−ＲＡＭディスク等種々のものがある。可搬性メモリには、ＵＳＢメモリ及びフラッシュメモリカード（ＳＤメモリカード、メモリースティック（登録商標）、及びコンパクトフラッシュ（登録商標））等種々のものがある。有線接続手段には、有線ＬＡＮ接続、ＵＳＢ接続等種々のものがある。無線接続手段には、無線ＬＡＮ接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、ＮＦＣ（登録商標）（Ｎｅａｒｆｉｅｌｄｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎ）接続等種々のものがある。 The media IF unit 212 includes a drive for mounting an optical disc, a socket for mounting a portable memory, a wired connection unit, and a wireless connection unit. The media IF unit 212 allows the image forming apparatus 100 to read and write data from and to the connected portable memory. There are various types of optical disks such as CD-R disks and DVD-RAM disks. There are various portable memories such as a USB memory and a flash memory card (an SD memory card, a Memory Stick (registered trademark), and a compact flash (registered trademark)). There are various wired connection means such as wired LAN connection and USB connection. There are various wireless connection means such as wireless LAN connection, Bluetooth (registered trademark) connection, NFC (registered trademark) (Near field radio communication) connection, and the like.

メディアＩＦ部２１２は、接続されたメディアから、印刷対象として指定された画像データを読出す。読出された画像データは、第１記憶部１１４又は第２記憶部２０４に記憶される。 The media IF unit 212 reads image data designated as a print target from the connected media. The read image data is stored in the first storage unit 114 or the second storage unit 204.

第２画像形成部２０６は、第２制御部２０２の制御を受けて、メディアＩＦ部２１２から読取って記憶された画像データに後述する画像処理を施し、拡張装置２００内部の給紙部（図示せず）から供給される記録紙に印刷する。印刷された記録紙は、写真排出部２４０（図１参照）から排出される。第２画像形成部２０６は、例えば写真印刷に適した昇華型プリンタである。拡張装置２００の給紙部には、一般に写真プリントに使用されるサイズの記録紙として、例えばＬ判サイズ（８９×１２７ｍｍ）の記録紙が収容されている。 Under the control of the second control unit 202, the second image forming unit 206 performs image processing, which will be described later, on the image data read and stored from the media IF unit 212, and a paper feeding unit (not shown) inside the expansion device 200. Print on the recording paper supplied from The printed recording paper is discharged from the photo discharge unit 240 (see FIG. 1). The second image forming unit 206 is a sublimation printer suitable for photographic printing, for example. The sheet feeding unit of the expansion device 200 accommodates, for example, L size (89 × 127 mm) recording paper as recording paper of a size generally used for photographic printing.

第３画像形成部２０８は、第２制御部２０２の制御を受けて、本体装置１１０から受信した課金に関するデータを、所定の記録紙に印刷して排出する。第３画像形成部２０８は、例えば感熱式プリンタである。第３画像形成部２０８は、例えば、ロール状に巻かれた感熱紙を内蔵しており、引出した感熱紙の上に、本体装置１１０から受信した情報（テキスト）を印刷する。これによって、拡張装置２００は領収書を発行することができる。 Under the control of the second control unit 202, the third image forming unit 208 prints the data relating to charging received from the main device 110 on a predetermined recording sheet and discharges it. The third image forming unit 208 is, for example, a thermal printer. The third image forming unit 208 includes, for example, thermal paper wound in a roll shape, and prints information (text) received from the main body device 110 on the drawn thermal paper. Accordingly, the expansion device 200 can issue a receipt.

貨幣処理部２１４は、第２制御部２０２の制御を受けて、硬貨投入部２４２から投入された硬貨を、種類毎に分類して所定の格納部に搬送して収容し、投入された金額を算出する。算出結果（投入金額）は第２制御部２０２に伝送される。貨幣処理部２１４は、第２制御部２０２から指示された種類の硬貨を指示された数量、格納部から釣銭排出部２４６に搬送して排出する。 Under the control of the second control unit 202, the money processing unit 214 classifies the coins input from the coin input unit 242 for each type, conveys them to a predetermined storage unit, and stores the input money. calculate. The calculation result (input amount) is transmitted to the second control unit 202. The money handling unit 214 conveys and discharges coins of the type designated by the second control unit 202 from the designated quantity and storage unit to the change discharging unit 246.

また、貨幣処理部２１４は、第２制御部２０２の制御を受けて、紙幣投入部２４４から投入された紙幣を、種類毎に分類して所定の格納部に搬送して収容し、投入された金額を算出する。算出結果（投入金額）は第２制御部２０２に伝送される。貨幣処理部２１４は、第２制御部２０２から指示された種類の紙幣を指示された枚数、格納部から釣銭排出部２４６に搬送して排出する。 In addition, the money processing unit 214 receives the control of the second control unit 202, sorts the banknotes inserted from the banknote insertion unit 244 for each type, conveys them to a predetermined storage unit, stores them, and inputs them. Calculate the amount. The calculation result (input amount) is transmitted to the second control unit 202. The money handling unit 214 conveys and discharges the specified number of banknotes instructed from the second control unit 202 from the storage unit to the change discharging unit 246.

以下、画像形成装置１００が提供するコピーサービス、プリントサービス、スキャンサービス、ファクシミリサービス、及びコンテンツサービスについて簡単に説明し、画像処理サービスについて詳細に説明する。 Hereinafter, the copy service, print service, scan service, facsimile service, and content service provided by the image forming apparatus 100 will be briefly described, and the image processing service will be described in detail.

（コピーサービス）
コピーサービスでは、原稿読取部１１６によって読取られた原稿の画像データが、本体装置１１０の第１画像形成部１１８又は拡張装置２００の第２画像形成部２０６から複写物として出力される。 (Copy service)
In the copy service, the image data of the document read by the document reading unit 116 is output as a copy from the first image forming unit 118 of the main body device 110 or the second image forming unit 206 of the expansion device 200.

原稿読取部１１６に装備されたＣＣＤにより、読取位置にセットされた原稿の画像を電子的に読取ることができる。読取られた画像データは、第１記憶部１１４のＲＡＭ上に出力データ（印刷用データ）として完成される。 An image of the original set at the reading position can be electronically read by the CCD provided in the original reading unit 116. The read image data is completed as output data (printing data) on the RAM of the first storage unit 114.

本体装置１１０の第１画像形成部１１８で印刷する場合には、ＲＡＭ上の画像データは、画像形成のタイミングに合わせて、第１画像形成部１１８へと送信される。記録紙は、第１給紙部からピックアップローラによって引出され、複数の搬送用ローラによって、第１画像形成部１１８まで搬送される。第１画像形成部１１８では、帯電された感光体ドラムを、入力された画像データに応じて露光することにより、感光体ドラムの表面に、画像データに応じた静電潜像を形成する。感光体ドラム上の静電潜像部分にトナーを付着させた後、トナーによる画像を、転写ベルトを介して、搬送された記録紙に転写させる。その後、記録紙は加熱及び加圧され（これにより記録紙に画像が定着する）、排紙トレイ１４０に排出される。 When printing is performed by the first image forming unit 118 of the main body apparatus 110, the image data on the RAM is transmitted to the first image forming unit 118 in accordance with the timing of image formation. The recording paper is pulled out from the first paper feed unit by a pickup roller, and is conveyed to the first image forming unit 118 by a plurality of conveyance rollers. The first image forming unit 118 exposes the charged photosensitive drum according to the input image data, thereby forming an electrostatic latent image according to the image data on the surface of the photosensitive drum. After the toner is attached to the electrostatic latent image portion on the photosensitive drum, the toner image is transferred onto the conveyed recording paper via the transfer belt. Thereafter, the recording paper is heated and pressurized (this fixes the image on the recording paper), and is discharged to the paper discharge tray 140.

写真原稿等の高精細画像は、ユーザの指示を受けて拡張装置２００の第２画像形成部２０６（昇華型プリンタ）で印刷される。第２画像形成部２０６で印刷する場合には、本体装置１１０の第１記憶部１１４のＲＡＭ上の画像データは、第１通信部１２６を介して、拡張装置２００に送信される。第２制御部２０２は、受信した画像データを第２記憶部２０４のＲＡＭに記憶する。その後、第２制御部２０２は、ＲＡＭから画像データを読出し、第２画像形成部２０６を制御して、上記したように記録紙（例えばＬ判サイズ）に画像形成を実行し、写真排出部２４０から排出する。 A high-definition image such as a photographic document is printed by the second image forming unit 206 (sublimation printer) of the expansion device 200 in response to a user instruction. When printing by the second image forming unit 206, the image data on the RAM of the first storage unit 114 of the main body device 110 is transmitted to the expansion device 200 via the first communication unit 126. The second control unit 202 stores the received image data in the RAM of the second storage unit 204. Thereafter, the second control unit 202 reads the image data from the RAM, controls the second image forming unit 206, executes image formation on the recording paper (for example, L size) as described above, and the photo discharge unit 240. To discharge from.

（プリントサービス）
プリントサービスでは、第１通信部１２６を介して外部装置から受信した画像データが印刷される。第１通信部１２６は、インターネット３１２に接続されたＰＣ等の端末装置（図１において図示せず）から画像データを受信する。受信された画像データは、第１記憶部１１４に記憶される。その後、コピーサービスと同様に、ページ単位の画像データが生成され、第１画像形成部１１８又は第２画像形成部２０６で印刷される。 (Print service)
In the print service, image data received from an external device via the first communication unit 126 is printed. The first communication unit 126 receives image data from a terminal device (not shown in FIG. 1) such as a PC connected to the Internet 312. The received image data is stored in the first storage unit 114. Thereafter, similarly to the copy service, image data for each page is generated and printed by the first image forming unit 118 or the second image forming unit 206.

（スキャンサービス）
スキャンサービスでは、原稿読取部１１６により、セットされた原稿を読取り、画像データを生成し、生成された画像データを可搬性メディア等に記憶する。本体装置１１０では、原稿読取部１１６により原稿を読取って生成した画像データを、第２通信部１２８及び第３通信部２１０を介して、拡張装置２００に伝送する。拡張装置２００は、メディアＩＦ部２１２を制御して、第３通信部２１０を介して受信した画像データを、ユーザがメディアＩＦ部２１２に接続したメディアに記憶する。 (Scan service)
In the scan service, the original reading unit 116 reads a set original, generates image data, and stores the generated image data in a portable medium or the like. In main device 110, image data generated by reading a document by document reading unit 116 is transmitted to expansion device 200 via second communication unit 128 and third communication unit 210. The expansion device 200 controls the media IF unit 212 to store the image data received via the third communication unit 210 in a medium connected to the media IF unit 212 by the user.

（ファクシミリサービス）
ファクシミリサービスでは、原稿読取部１１６により読取った画像データを、外部のファクシミリ装置に送信する。原稿読取部１１６に装備されたＣＣＤにより、読取位置にセットされた原稿の画像が電子的に読取られる。読取られた画像データは、第１記憶部１１４のＲＡＭに記憶される。第１記憶部１１４に記憶された画像データは、ＦＡＸ通信用のデータ形式に変換され、ＦＡＸモデム及び電話回線網を介して外部のファクシミリ装置に送信される。 (Facsimile service)
In the facsimile service, the image data read by the document reading unit 116 is transmitted to an external facsimile apparatus. The image of the original set at the reading position is electronically read by the CCD provided in the original reading unit 116. The read image data is stored in the RAM of the first storage unit 114. The image data stored in the first storage unit 114 is converted into a data format for FAX communication, and transmitted to an external facsimile apparatus via a FAX modem and a telephone line network.

（コンテンツサービス）
コンテンツプロバイダからは、アニメ、キャラクタ及びイラスト等の画像データ、スポーツ選手の写真データ、楽譜情報、地図情報、並びに新聞情報等が提供される。コンテンツプロバイダにより、提供されるコンテンツは異なる。コンテンツは、インターネットに接続されサーバコンピュータから提供される。コンテンツサービスでは、コンテンツプロバイダによって提供されるコンテンツを印刷する。 (Content service)
The content provider provides image data such as animation, characters, and illustrations, athlete photo data, musical score information, map information, newspaper information, and the like. The content provided varies depending on the content provider. Content is provided from a server computer connected to the Internet. The content service prints content provided by a content provider.

画像形成装置１００は、ユーザによる操作部１２０の操作を受けて、第１通信部１２６を介して、所定のコンテンツプロバイダのサーバコンピュータ（例えば、第１サーバコンピュータ３２０）にアクセスし、ユーザが希望するコンテンツを取得する。取得したコンテンツ（画像データ）は、第１記憶部１１４に記憶される。その後、コピーサービスと同様に、第１画像形成部１１８又は第２画像形成部２０６により印刷される。 The image forming apparatus 100 receives the operation of the operation unit 120 by the user, accesses the server computer (for example, the first server computer 320) of a predetermined content provider via the first communication unit 126, and the user desires. Get content. The acquired content (image data) is stored in the first storage unit 114. After that, the image is printed by the first image forming unit 118 or the second image forming unit 206 as in the copy service.

（画像処理サービス）
次に本実施形態に係る画像処理サービスについて図５〜図７を用いて説明する。図５は、本実施形態の画像形成装置１００が実行する画像処理方法について説明する模式図である。図５に示すように画像形成装置１００は、利用者が撮影した撮影画像４０１から人物等を主役部分４０２として抽出し、コンテンツ画像４０３上に主役部分４０２を重ね合わせて合成画像４０４を合成する。コンテンツ画像４０３は、撮影画像４０１に関係づけられた関連データや、撮影画像４０１の内容により選択される。ここでは主役部分４０２を人物とした例を示したが、動物や物体であってもよく人物に限定されない。 (Image processing service)
Next, the image processing service according to the present embodiment will be described with reference to FIGS. FIG. 5 is a schematic diagram illustrating an image processing method executed by the image forming apparatus 100 according to the present embodiment. As shown in FIG. 5, the image forming apparatus 100 extracts a person or the like from the captured image 401 taken by the user as the main part 402 and synthesizes the composite image 404 by superimposing the main part 402 on the content image 403. The content image 403 is selected based on the related data related to the captured image 401 and the content of the captured image 401. Here, an example in which the main part 402 is a person is shown, but it may be an animal or an object, and is not limited to a person.

図６は、本実施形態に係る画像処理装置５００の構成を示すブロック図である。画像処理装置５００は、第１記憶部５０１、第２記憶部５０２、特徴分析部５０３、画像抽出部５０４、画像選択部５０５および画像合成部５０６を含んでいる。画像処理装置５００のこれらの各部は、上述した本体装置１１０、拡張装置２００、第１サーバコンピュータ３２０および第２サーバコンピュータ３２２を構成する各ハードウェアにおいて、所定の情報処理が実行されることで構成される。 FIG. 6 is a block diagram illustrating a configuration of the image processing apparatus 500 according to the present embodiment. The image processing apparatus 500 includes a first storage unit 501, a second storage unit 502, a feature analysis unit 503, an image extraction unit 504, an image selection unit 505, and an image composition unit 506. These units of the image processing apparatus 500 are configured by executing predetermined information processing in the hardware configuring the main body device 110, the expansion device 200, the first server computer 320, and the second server computer 322 described above. Is done.

第１記憶部５０１は、コンテンツ画像４０３である第１画像データと、利用者が撮影した撮影画像４０１である第２画像データと、撮影画像４０１に関連付けされた情報である関連データとが記憶される記録媒体である。本実施形態では、第１記憶部５０１として第１記憶部１１４を用いるが、第２記憶部２０４や第１サーバコンピュータ３２０上の記録媒体、第２サーバコンピュータ３２２上の記録媒体、これらを組み合わせたものを用いてもよい。関連データとしては、撮影画像４０１を撮影した際の位置情報や時間情報、露出や絞りなどの情報を含むＥｘｉｆ情報が挙げられる。 The first storage unit 501 stores first image data that is the content image 403, second image data that is the captured image 401 captured by the user, and related data that is information associated with the captured image 401. Recording medium. In the present embodiment, the first storage unit 114 is used as the first storage unit 501, but the recording medium on the second storage unit 204 or the first server computer 320, the recording medium on the second server computer 322, or a combination thereof. A thing may be used. The related data includes Exif information including position information and time information when the captured image 401 is captured, and information such as exposure and aperture.

第２記憶部５０２は、コンテンツ画像４０３として選択される複数の候補画像が記憶された記録媒体である。本実施形態では、第２記憶部５０２として第１サーバコンピュータ３２０上の記録媒体や第２サーバコンピュータ３２２上の記録媒体を用いるが、第１記憶部１１４や第２記憶部２０４を用いてもよい。それぞれの候補画像についても位置情報や季節、時刻、ランドマーク、撮影方向などのタグ情報が関連付けられて記憶されている。第２記憶部５０２には、ランドマーク情報として名所旧跡や建造物に関する画像や形状の特徴等が、位置情報と共に複数記憶されている。 The second storage unit 502 is a recording medium in which a plurality of candidate images selected as the content image 403 are stored. In the present embodiment, a recording medium on the first server computer 320 or a recording medium on the second server computer 322 is used as the second storage unit 502, but the first storage unit 114 or the second storage unit 204 may be used. . Tag information such as position information, season, time, landmark, and shooting direction is also stored in association with each candidate image. The second storage unit 502 stores, as landmark information, a plurality of landmarks and images, shape features, and the like related to landmarks, together with position information.

また、第１記憶部５０１または第２記憶部５０２には、画像形成装置１００を設置している店舗の情報を記憶しておく。記憶される店舗の情報としては、例えば店舗の位置情報や店舗名などが挙げられる。また、第１記憶部５０１または第２記憶部５０２には、利用者が画像形成装置１００に撮影画像４０１を読み込ませた日時等や、利用者の性別や年齢等の属性情報を記憶してもよい。 Further, the first storage unit 501 or the second storage unit 502 stores information on a store in which the image forming apparatus 100 is installed. Stored store information includes, for example, store location information and store names. Also, the first storage unit 501 or the second storage unit 502 may store attribute information such as the date and time when the user reads the captured image 401 into the image forming apparatus 100 and the user's sex and age. Good.

特徴分析部５０３は、撮影画像４０１の画像内容と関連データを分析して、候補画像から最適なコンテンツ画像４０３を選択するための検索条件を生成する。具体例としては、画像認識技術を用いて撮影画像４０１に含まれている名所旧跡の形状や建造物に記載された文字など認識し、撮影画像４０１に関連付けられた関連データに含まれる位置情報や日時と併せて、撮影位置、撮影方向、撮影時期などを検索条件として生成する。 The feature analysis unit 503 analyzes the image content of the captured image 401 and related data, and generates a search condition for selecting the optimum content image 403 from the candidate images. As a specific example, the position information included in the related data associated with the photographed image 401 is recognized by recognizing the shape of the landmarks and the characters described in the building using the image recognition technology. Along with the date and time, the shooting position, shooting direction, shooting time, and the like are generated as search conditions.

画像抽出部５０４は、撮影画像４０１から背景部分と主役部分４０２を認識して、主役部分４０２のみを部分的な画像として抽出する。具体例としては、撮影画像４０１の画像内容から輪郭認識技術や顔認識技術等を用いて人物部分を特定して、人物部分のみを主役部分４０２の画像として抽出する。 The image extraction unit 504 recognizes the background part and the main part 402 from the captured image 401 and extracts only the main part 402 as a partial image. As a specific example, a person part is specified from the image content of the photographed image 401 using a contour recognition technique, a face recognition technique, or the like, and only the person part is extracted as an image of the main part 402.

画像選択部５０５は、特徴分析部５０３の分析結果である検索条件、店舗位置情報及び属性情報に基づいて、第２記憶部５０２に記憶された複数の候補画像から撮影画像４０１に最適なコンテンツ画像４０３を選択する。具体例としては、特徴分析部５０３が生成した検索条件である撮影位置、撮影方向、撮影時期などに最も近いタグ情報の候補画像を選び表示パネル１２２に表示し、利用者がタッチパネル１２４からの入力によって合成するためのコンテンツ画像４０３を選択する。 The image selection unit 505 is an optimal content image for the photographed image 401 from a plurality of candidate images stored in the second storage unit 502 based on the search condition, the store location information, and the attribute information that are analysis results of the feature analysis unit 503. 403 is selected. As a specific example, a candidate image of tag information closest to the shooting position, shooting direction, shooting time, etc., which is the search condition generated by the feature analysis unit 503 is selected and displayed on the display panel 122, and the user inputs from the touch panel 124. To select a content image 403 to be combined.

画像合成部５０６は、コンテンツ画像４０３上の一部領域に主役部分４０２を重ね合わせて一枚の合成画像４０４を生成する。このとき、主役部分４０２とコンテンツ画像４０３とが違和感なく構成されるように、主役部分４０２とコンテンツ画像４０３とに所定の画質調整やエフェクト処理を施してもよい。 The image composition unit 506 generates a single composite image 404 by superimposing the main part 402 on a partial area on the content image 403. At this time, predetermined image quality adjustment and effect processing may be performed on the main part 402 and the content image 403 so that the main part 402 and the content image 403 are configured without a sense of incongruity.

上述したように図１〜３に示した画像形成装置１００の各ハードウェア要素を用いて、図５に示した画像処理装置５００が構成され、図４に示したような画像合成が行われる。図７は、本実施形態の画像処理装置５００での画像処理方法を説明するフローチャートである。 As described above, the image processing apparatus 500 shown in FIG. 5 is configured using the hardware elements of the image forming apparatus 100 shown in FIGS. 1 to 3, and the image composition as shown in FIG. 4 is performed. FIG. 7 is a flowchart for explaining an image processing method in the image processing apparatus 500 of the present embodiment.

始めにステップＳ１では、利用者が画像形成装置１００のメディアＩＦ部２１２に撮影画像４０１が記録された記録媒体を接続し、操作部１２０を用いて所望の撮影画像４０１を選択する。画像処理装置５００は、メディアＩＦ部２１２を介して記録媒体から撮影画像４０１を読み込んで第１記憶部５０１に記憶する。 First, in step S 1, a user connects a recording medium on which a captured image 401 is recorded to the media IF unit 212 of the image forming apparatus 100, and selects a desired captured image 401 using the operation unit 120. The image processing apparatus 500 reads a captured image 401 from a recording medium via the media IF unit 212 and stores it in the first storage unit 501.

次にステップＳ２では、画像処理装置５００が撮影画像４０１のＥｘｉｆ情報を記録媒体から読み込んで、撮影画像４０１と関連付けされた関連データとして第１記憶部５０１に記憶する。このとき、撮影画像４０１のＥｘｉｆ情報だけではなく、利用者が画像形成装置を操作した日時や、利用者の性別、年齢等の属性情報を第１記憶部５０１に記憶してもよい。 In step S 2, the image processing apparatus 500 reads the Exif information of the captured image 401 from the recording medium and stores it in the first storage unit 501 as related data associated with the captured image 401. At this time, not only the Exif information of the captured image 401 but also attribute information such as the date and time when the user operated the image forming apparatus, the user's sex, and age may be stored in the first storage unit 501.

次にステップＳ３では、画像形成装置１００が設置されている店舗の位置を位置データとして取得して第１記憶部５０１に記憶する。店舗の位置データは、予め第１記憶部１１４や第２記憶部２０４の所定領域に記憶させておいた情報を読み込むとしてもよく、第１サーバコンピュータ３２０や第２サーバコンピュータ３２２に予め記憶させておいた情報から、店舗に関する情報をダウンロードするとしてもよい。 In step S 3, the position of the store where the image forming apparatus 100 is installed is acquired as position data and stored in the first storage unit 501. Store location data may be read from information stored in a predetermined area of the first storage unit 114 or the second storage unit 204 in advance, and stored in the first server computer 320 or the second server computer 322 in advance. Information on the store may be downloaded from the stored information.

本実施形態では、画像処理装置５００がステップＳ１〜Ｓ３を順に実行する例を示したが、ステップＳ１〜Ｓ３の順番を入れ替えてもよく、同時に複数のステップを実行するとしてもよい。 In this embodiment, although the image processing apparatus 500 showed the example which performs step S1-S3 in order, the order of step S1-S3 may be replaced and you may perform a several step simultaneously.

次にステップＳ４では、第１記憶部５０１に記憶された各データが後述する画像処理方法を実行するのに足りるか否かを判定し、実行可能なデータ量が記憶されている場合にはステップＳ５に遷移し、データ不足の場合にはステップＳ１２に遷移する。画像処理方法を実行可能なデータ量としては、撮影画像４０１のＥｘｉｆ情報に含まれる撮影された際の位置情報か、画像形成装置１００が設置された店舗の位置データのいずれか一方を確認できればよい。 Next, in step S4, it is determined whether each data stored in the first storage unit 501 is sufficient to execute an image processing method to be described later. The process proceeds to S5, and if data is insufficient, the process proceeds to step S12. The amount of data that can be executed by the image processing method is only required to be able to confirm either the location information at the time of shooting included in the Exif information of the captured image 401 or the location data of the store where the image forming apparatus 100 is installed. .

ステップＳ５では、第１記憶部５０１に記憶されている関連データの位置情報又は店舗の位置データが示す緯度と経度から、所定の範囲内に含まれる周辺情報を第２記憶部５０２から取得して第１記憶部５０１に記憶する。具体的には、位置情報で示される撮影画像４０１の撮影地点から半径２ｋｍ以内や、位置データで示される店舗位置から半径５ｋｍ以内などのエリアに含まれるランドマーク情報を第２記憶部５０２から取得して周辺情報として記憶する。 In step S5, peripheral information included in a predetermined range is acquired from the second storage unit 502 from the latitude and longitude indicated by the position information of the related data or the store position data stored in the first storage unit 501. Store in the first storage unit 501. Specifically, landmark information included in an area such as within a radius of 2 km from the photographing point of the photographed image 401 indicated by the position information or within a radius of 5 km from the store position indicated by the position data is acquired from the second storage unit 502. And stored as peripheral information.

次にステップＳ６では、特徴分析部５０３が撮影画像４０１の内容を分析して、撮影画像４０１に映っている寺院や景勝地、ビル等のランドマークを抽出して特徴点として第１記憶部に記憶する。また、特徴分析部５０３は、抽出された特徴点と第１記憶部５０１に記憶されている周辺情報に含まれる特徴点とを比較して、撮影画像４０１の撮影位置での方角を推定し、第１記憶部５０１に方角情報として記憶する。 Next, in step S6, the feature analysis unit 503 analyzes the content of the captured image 401, extracts landmarks such as temples, scenic spots, buildings, and the like reflected in the captured image 401 and stores them as feature points in the first storage unit. Remember. In addition, the feature analysis unit 503 compares the extracted feature points with the feature points included in the peripheral information stored in the first storage unit 501, and estimates the direction at the shooting position of the shot image 401. The direction information is stored in the first storage unit 501.

次にステップＳ７では、画像選択部５０５が撮影位置に基づいて、第２記憶部５０２に記憶されている候補画像の中から最適なコンテンツ画像４０３の有無を検索し、適する候補画像が有る場合にはステップＳ８に遷移し、無い場合にはステップＳ１２に遷移する。最適なコンテンツ画像４０３の検索方法としては、候補画像の位置や方向が撮影画像４０１と類似しているものを選択する方法を用いる。 Next, in step S7, the image selection unit 505 searches the candidate images stored in the second storage unit 502 for the presence / absence of an optimal content image 403 based on the shooting position, and there is a suitable candidate image. Transits to step S8, and if not, transits to step S12. As a search method for the optimum content image 403, a method for selecting an image whose candidate image is similar in position and direction to the photographed image 401 is used.

ステップＳ８では、画像選択部５０５は検索条件を満たす候補画像を表示パネル１２２に表示する。複数の候補画像が検索条件を満たす場合には、複数の候補画像を表示パネル１２２に表示するとともに、複数の候補画像から一つの画像を選択する指示も表示する。 In step S 8, the image selection unit 505 displays candidate images that satisfy the search condition on the display panel 122. When a plurality of candidate images satisfy the search condition, the plurality of candidate images are displayed on the display panel 122, and an instruction for selecting one image from the plurality of candidate images is also displayed.

次にステップＳ９では、利用者がタッチパネル１２４を操作して、表示パネル１２２に表示されている候補画像から背景画像として採用するものを一つ選択し、第１記憶部５０１にコンテンツ画像４０３として記憶する。利用者が候補画像からコンテンツ画像４０３を一つ選択した場合にはステップＳ１０に遷移し、コンテンツ画像４０３を一つも選択しなかった場合にはステップＳ１２に遷移する。 In step S 9, the user operates the touch panel 124 to select one of the candidate images displayed on the display panel 122 to be used as the background image, and stores it as the content image 403 in the first storage unit 501. To do. When the user selects one content image 403 from the candidate images, the process proceeds to step S10, and when no content image 403 is selected, the process proceeds to step S12.

ステップＳ１０では、画像抽出部５０４が第１記憶部５０１に記憶されている撮影画像４０１から主役部分４０２と背景部分を認識し、主役部分４０２の画像領域のみを抽出して第１記憶部５０１に記憶する。主役部分４０２の認識方法としては、撮影画像４０１中でピントが合っている領域でのシャープな輪郭処理を認識して、ピントが合っている領域を主役部分４０２とする方法を用いる。 In step S 10, the image extraction unit 504 recognizes the main part 402 and the background part from the captured image 401 stored in the first storage unit 501, extracts only the image area of the main part 402, and stores it in the first storage unit 501. Remember. As a method for recognizing the main part 402, a method is used in which a sharp contour process in a focused area in the captured image 401 is recognized and the focused area is used as the main part 402.

次にステップＳ１１では、画像合成部５０６が第１記憶部５０１に記憶されている主役部分４０２とコンテンツ画像４０３とを読み込み、コンテンツ画像４０３を背景として主役部分４０２を重ね合わせて合成画像４０４を合成し、第１記憶部５０１に記憶する。画像合成部５０６は必要に応じて主役部分４０２とコンテンツ画像４０３にエフェクト処理を施すなどしてもよい。 In step S11, the image composition unit 506 reads the main part 402 and the content image 403 stored in the first storage unit 501, and combines the main part 402 with the content image 403 as a background to compose the composite image 404. And stored in the first storage unit 501. The image composition unit 506 may perform effect processing on the main part 402 and the content image 403 as necessary.

最後にステップＳ１２で、画像処理装置５００は、撮影画像４０１または合成画像４０４を第２画像形成部２０６から印刷する。 Finally, in step S 12, the image processing apparatus 500 prints the captured image 401 or the composite image 404 from the second image forming unit 206.

画像処理方法の具体例としては、ステップＳ４で撮影画像４０１のＥｘｉｆ情報に奈良県の東大寺付近の位置情報が含まれている場合に、ステップＳ５で東大寺を中心とした半径２ｋｍに含まれるランドマーク情報を第２記憶部５０２である第１サーバコンピュータ３２０からダウンロードする。ステップＳ６で、撮影画像４０１中に映っている建造物等のランドマークを抽出して撮影方向を推定し、ステップＳ７で撮影位置、撮影方向、撮影時期等が類似の候補画像を検索してステップＳ８で表示する。利用者はステップＳ９で候補画像中からコンテンツ画像４０３を選択し、ステップＳ１０で抽出された主役部分４０２がステップＳ１１で合成され、ステップＳ１２で印刷される。 As a specific example of the image processing method, if the Exif information of the captured image 401 includes position information in the vicinity of Todaiji Temple in Nara in Step S4, a landmark included in a radius of 2 km centered on Todaiji Temple in Step S5 Information is downloaded from the first server computer 320 which is the second storage unit 502. In step S6, landmarks such as buildings appearing in the photographed image 401 are extracted to estimate the photographing direction, and in step S7, candidate images having similar photographing positions, photographing directions, photographing times, etc. are searched and stepped. Displayed in S8. In step S9, the user selects the content image 403 from the candidate images. The protagonist portion 402 extracted in step S10 is combined in step S11 and printed in step S12.

天候や時期によっては、撮影画像４０１を撮影した際に最も好ましい撮影条件とは限らないため、コンテンツ画像４０３として予め景勝地等のベストショットを保存しておくことで、図５に示したように背景が類似した構図のコンテンツ画像４０３を容易に選択して、主役部分４０２をコンテンツ画像４０３上に自然な構図で合成して印刷することができる。 Depending on the weather and time, it is not necessarily the most preferable shooting condition when shooting the shot image 401. Therefore, by storing the best shot such as a scenic spot in advance as the content image 403, as shown in FIG. A content image 403 having a composition with a similar background can be easily selected, and the main part 402 can be combined with the natural composition on the content image 403 and printed.

これにより本発明の画像処理装置では、撮影画像の内容に応じて関連性の高いコンテンツ画像を容易に選択でき、最適な構図や印象の合成画像を得ることができる。
（第２実施形態）
ステップＳ７で、最適なコンテンツ画像４０３の有無を検索する際に、店舗の位置情報に基づいて店舗位置に近いランドマークや地域限定コンテンツ画像を最適なコンテンツ画像４０３として選択してもよい。これにより、本発明の画像処理サービスを撮影地付近の店舗で利用することへのインセンティブを作用させ、店舗への集客効果を見込むことができる。
（第３実施形態）
画像抽出部５０４に抽出範囲の手動指定機能を含ませて、ステップＳ１０での画像抽出時に表示パネル１２２に撮影画像４０１を表示し、利用者にタッチパネル１２４で主役部分４０２を支持させるとしてもよい。これにより利用者が望む主役部分４０２を確実に抽出して合成画像４０４を合成することができ、利用者の要望を正確に反映し最適な構図や印象の合成画像を得ることができる。
（第４実施形態）
ステップＳ１１において、画像合成部５０６は表示パネル１２２にコンテンツ画像４０３と主役部分４０２とを重ね合わせた状態で表示し、利用者がタッチパネル１２４を用いて入力しながら主役部分４０２の重ね合わせ位置を移動させて、合成画像４０４の構図を決定して合成した後に第１記憶部５０１に記憶するとしてもよい。これにより、背景となるコンテンツ画像４０３上における主役部分４０２の配置を適切なものとし、最適な構図や印象の合成画像を得ることができる。 Thereby, in the image processing apparatus of the present invention, a highly relevant content image can be easily selected according to the content of the captured image, and a composite image having an optimal composition and impression can be obtained.
(Second Embodiment)
In step S7, when searching for the presence or absence of the optimal content image 403, a landmark or region-limited content image close to the store position may be selected as the optimal content image 403 based on the location information of the store. As a result, an incentive to use the image processing service of the present invention at a store near the shooting location can be applied, and an effect of attracting customers to the store can be expected.
(Third embodiment)
The image extraction unit 504 may include a function for manually specifying an extraction range so that the captured image 401 is displayed on the display panel 122 when the image is extracted in step S 10, and the main part 402 is supported by the touch panel 124. As a result, the main part 402 desired by the user can be reliably extracted and the composite image 404 can be combined, and the composite image with the optimum composition and impression can be obtained accurately reflecting the user's request.
(Fourth embodiment)
In step S 11, the image composition unit 506 displays the content image 403 and the main part 402 on the display panel 122 in a superimposed state, and moves the superposition position of the main part 402 while the user inputs using the touch panel 124. The composition may be stored in the first storage unit 501 after the composition of the composite image 404 is determined and combined. Thereby, the arrangement of the main part 402 on the background content image 403 is made appropriate, and a composite image with an optimal composition and impression can be obtained.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.

１００…画像形成装置
４０１…撮影画像
４０２…主役部分
４０３…コンテンツ画像
４０４…合成画像
５００…画像処理装置
５０１…第１記憶部
５０２…第２記憶部
５０３…特徴分析部
５０４…画像抽出部
５０５…画像選択部
５０６…画像合成部 DESCRIPTION OF SYMBOLS 100 ... Image forming apparatus 401 ... Photographed image 402 ... Main part 403 ... Content image 404 ... Composite image 500 ... Image processing apparatus 501 ... 1st memory | storage part 502 ... 2nd memory | storage part 503 ... Feature analysis part 504 ... Image extraction part 505 ... Image selection unit 506 ... Image composition unit

Claims

A first storage unit that stores first image data, second image data, and related data associated with each second image data;
An image extraction unit for partially extracting an image from the second image data to obtain extracted data;
An image processing apparatus comprising: an image composition unit that creates a composite image by superimposing the extracted data on the first image data.

The image processing apparatus according to claim 1,
An image selection unit that selects a candidate image from a plurality of candidate data stored in the second storage unit based on the related data;
The image processing apparatus, wherein the selected candidate image is stored in the first storage unit as the first image data.

The image processing apparatus according to claim 2,
The installation position of the image processing apparatus is stored as first position information in the first storage unit or the second storage unit,
The image processing device, wherein the image selection unit selects the candidate image based on the first position information and / or time information.

The image processing apparatus according to claim 2 or 3,
The image processing apparatus, wherein the second storage unit is an external server connected via a network.

The image processing apparatus according to any one of claims 2 to 4,
A feature analysis unit that analyzes the second image data and extracts feature points;
The related data includes second position information that is a photographing position of the second image data,
The image processing device, wherein the image selection unit selects the candidate image based on the second position information and the feature point.

An image processing apparatus according to any one of claims 1 to 5,
The image extraction device is characterized in that the main part included in the second image data is extracted from the background part as the extracted data.

A first storage device that stores first image data, second image data, and related data associated with each second image data;
An image extraction device for extracting and acquiring images partially;
An image composition device for creating a composite image,
An image processing system, wherein extracted data is extracted from the second image data, and a composite image is created by superimposing the extracted data on the first image data.

Storing in the first storage unit the first image data, the second image data, and related data associated with each of the second image data;
An extraction step of partially extracting an image from the second image data to obtain extracted data;
And an image composition step of creating a composite image by superimposing the extracted data on the first image data.

Storing in the first storage unit the first image data, the second image data, and related data associated with each of the second image data;
An extraction step of partially extracting an image from the second image data to obtain extracted data;
An image processing program for causing a computer to execute an image composition step of creating a composite image by superimposing the extracted data on the first image data.