JP2020077965A - Image processing program, image processing device, image processing system, and image processing method - Google Patents
Image processing program, image processing device, image processing system, and image processing method Download PDFInfo
- Publication number
- JP2020077965A JP2020077965A JP2018209757A JP2018209757A JP2020077965A JP 2020077965 A JP2020077965 A JP 2020077965A JP 2018209757 A JP2018209757 A JP 2018209757A JP 2018209757 A JP2018209757 A JP 2018209757A JP 2020077965 A JP2020077965 A JP 2020077965A
- Authority
- JP
- Japan
- Prior art keywords
- image
- terminal device
- image processing
- images
- shooting condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法に関する。 The present invention relates to an image processing program, an image processing device, an image processing system, and an image processing method.
近年、スマートフォン、タブレット等の携帯端末装置を用いて画像又は映像を撮影し、サーバへアップロードする、ユーザが増加している。 In recent years, an increasing number of users have taken images or videos using mobile terminal devices such as smartphones and tablets and uploaded them to a server.
図１は、従来の画像アップロードシステムの例を示している。スタジアム等におけるイベントの開催時に、複数のユーザが携帯端末装置１０１を用いて画像１１１を撮影する。そして、画像１１１の画像ファイルが、通信ネットワーク１０３を介して、各携帯端末装置１０１からＳＮＳ（Social Networking Service）等のサーバ１０２へアップロードされる。
FIG. 1 shows an example of a conventional image upload system. At the time of holding an event at a stadium or the like, a plurality of users use the
２０２０年に開催される東京オリンピックに関して、モバイルトラフィックの増大が予想されている（例えば、非特許文献１を参照）。 Mobile traffic is expected to increase with respect to the Tokyo Olympic Games to be held in 2020 (for example, see Non-Patent Document 1).
また、復号器側で得た予測画像を符号器側に伝送することにより情報量の削減を図る動画像符号化処理方法、及び、定型画像信号と取り込んだ画像との差分信号のみを符号化して送信する画像通信方法が知られている（例えば、特許文献１及び２を参照）。
In addition, a moving image coding processing method for reducing the amount of information by transmitting the predicted image obtained on the decoder side to the encoder side, and encoding only the difference signal between the standard image signal and the captured image. An image communication method for transmitting is known (for example, refer to
従来のモバイル通信は下り帯域に対して最適化されているため、相対的に上り帯域が小さい。例えば、ＬＴＥ（Long Term Evolution）の規格によれば、上り帯域：下り帯域＝１：３であり、実測値では、上り帯域：下り帯域＝１：５〜１０程度である。 Since conventional mobile communication is optimized for the downlink band, the uplink band is relatively small. For example, according to the LTE (Long Term Evolution) standard, the upstream band: downstream band = 1: 3, and the measured value is about the upstream band: downstream band = 1: 5-10.
特に、スタジアム等におけるイベントの開催時には、多数の携帯端末装置から一斉に画像又は映像がサーバへアップロードされる。このため、上り通信のトラフィックが増大する傾向が見られ、上り帯域の不足が顕在化する。 Particularly, at the time of holding an event at a stadium or the like, images or videos are simultaneously uploaded to a server from a large number of mobile terminal devices. Therefore, there is a tendency that the traffic of the upstream communication increases, and the shortage of the upstream band becomes apparent.
このように、局在する多数の携帯端末装置から大量の画像又は映像がサーバへアップロードされる場合、通信ネットワークの上り帯域が逼迫して、通信困難に陥ることがある。 As described above, when a large number of images or videos are uploaded from a large number of localized mobile terminal devices to the server, the upstream band of the communication network becomes tight and communication may be difficult.
なお、かかる問題は、携帯端末装置から画像又は映像がアップロードされる場合に限らず、他の端末装置から画像又は映像がアップロードされる場合においても生ずるものである。 Note that such a problem occurs not only when an image or video is uploaded from a mobile terminal device, but also when an image or video is uploaded from another terminal device.
１つの側面において、本発明は、通信ネットワークの上り通信で送信される画像のデータ量を削減することを目的とする。 In one aspect, the present invention aims to reduce the amount of image data transmitted in upstream communication of a communication network.
１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、撮影条件に関連付けて記憶部に記憶されている複数の画像の中から、端末装置が撮影した第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定する。
（２）コンピュータは、第２画像を端末装置に取得させる。
（３）コンピュータは、第１画像と第２画像との差分を示す差分情報を、端末装置から受信する。
（４）コンピュータは、第２画像と差分情報とを用いて、第１画像を復元する。
In one proposal, the image processing program causes a computer to execute the following processing.
(1) The computer identifies a second image associated with a shooting condition similar to the shooting condition of the first image captured by the terminal device from the plurality of images stored in the storage unit in association with the shooting condition. To do.
(2) The computer causes the terminal device to acquire the second image.
(3) The computer receives difference information indicating a difference between the first image and the second image from the terminal device.
(4) The computer restores the first image using the second image and the difference information.
実施形態によれば、通信ネットワークの上り通信で送信される画像のデータ量を削減することができる。 According to the embodiment, it is possible to reduce the amount of image data transmitted in the upstream communication of the communication network.
以下、図面を参照しながら、実施形態を詳細に説明する。
図２は、実施形態の画像処理装置の機能的構成例を示している。図２の画像処理装置２０１は、記憶部２１１、受信部２１２、制御部２１３、及び復元部２１４を含む。記憶部２１１は、複数の画像とそれぞれの画像の撮影条件とを関連付けて記憶する。
Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 2 shows a functional configuration example of the image processing apparatus according to the embodiment. The
図３は、図２の画像処理装置２０１が行う画像処理の例を示すフローチャートである。まず、制御部２１３は、記憶部２１１に記憶されている複数の画像の中から、端末装置が撮影した第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し（ステップ３０１）、第２画像を端末装置に取得させる（ステップ３０２）。
FIG. 3 is a flowchart showing an example of image processing performed by the
次に、受信部２１２は、第１画像と第２画像との差分を示す差分情報を、端末装置から受信し（ステップ３０３）、復元部２１４は、第２画像と差分情報とを用いて、第１画像を復元する（ステップ３０４）。
Next, the
図２の画像処理装置２０１によれば、通信ネットワークの上り通信で送信される画像のデータ量を削減することができる。
According to the
図４は、図２の画像処理装置２０１を含む画像処理システムの機能的構成例を示している。図４の画像処理システムは、画像処理装置４０１、端末装置４０２−１〜端末装置４０２−Ｎ（Ｎは１以上の整数）、及びサーバ４０３を含む。
FIG. 4 shows a functional configuration example of an image processing system including the
図４の画像処理装置４０１は、例えば、サーバ等の情報処理装置であり、スポーツ競技、コンサート等のイベントが開催される、スタジアム等のイベント会場に設置されることがある。この場合、各端末装置４０２−ｉ（ｉ＝１〜Ｎ）は、例えば、イベントを観覧するユーザのスマートフォン、タブレット等の携帯端末装置である。
The
また、画像処理装置４０１は、路車間通信のアクセスポイントに設置されることもある。この場合、各端末装置４０２−ｉは、例えば、道路上を走行する車両に搭載された車載端末装置である。
Further, the
画像処理装置４０１は、図２の画像処理装置２０１に対応し、記憶部４１１、通信部４１２、制御部４１３、復元部４１４、及び通信部４１５を含む。記憶部４１１、通信部４１２、制御部４１３、及び復元部４１４は、図２の記憶部２１１、受信部２１２、制御部２１３、及び復元部２１４にそれぞれ対応する。
The
通信部４１２は、無線通信ネットワークを介して、各端末装置４０２−ｉと通信することができる。端末装置４０２−ｉから画像処理装置４０１へのデータ送信に用いられる帯域は、無線通信ネットワークの上り帯域に相当し、画像処理装置４０１から端末装置４０２−ｉへのデータ送信に用いられる帯域は、無線通信ネットワークの下り帯域に相当する。通信部４１５は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークを介して、サーバ４０３と通信することができる。
The
各端末装置４０２−ｉは、記憶部４２１、撮像装置４２２、処理部４２３、及び通信部４２４を含む。通信部４２４は、無線通信ネットワークを介して、画像処理装置４０１と通信することができる。通信部４２４は、別の端末装置４０２−ｊ（ｊ≠ｉ）と、直接、無線通信を行うこともできる。
Each terminal device 402-i includes a
撮像装置４２２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、イベント会場の景観、道路上の景観等の画像を撮影する。記憶部４２１は、撮像装置４２２によって撮影された画像を記憶する。
The
処理部４２３は、撮影された画像の撮影条件を取得し、通信部４２４は、画像の撮影条件を画像処理装置４０１へ送信する。撮影条件としては、撮影時刻、端末装置４０２−ｉの位置、撮像装置４２２の方向、撮像装置４２２の画角等を示す情報が用いられる。例えば、処理部４２３は、撮像装置４２２のシャッターイベントを検知し、シャッターイベントを検知した時刻を撮影時刻として取得することができる。また、処理部４２３は、ＧＰＳ（Global Positioning System）等により、端末装置４０２−ｉの位置を取得することができる。
The
画像処理装置４０１の記憶部４１１は、参照画像情報４３１を記憶する。参照画像情報４３１は、複数の参照画像とそれぞれの参照画像の撮影条件とを含む。参照画像と撮影条件は、互いに関連付けられている。
The
画像処理装置４０１がイベント会場に設置されている場合、端末装置４０２−１〜端末装置４０２−Ｎによって撮影された画像、又は自由視点映像から切り出された画像が、参照画像として用いられる。自由視点映像は、イベント会場に設置されている自由視点映像システムによって生成される。
When the
一方、画像処理装置４０１が路車間通信のアクセスポイントに設置されている場合、端末装置４０２−１〜端末装置４０２−Ｎによって撮影された画像が、参照画像として用いられる。
On the other hand, when the
通信部４１２は、端末装置４０２−ｉから撮影条件を受信し、制御部４１３は、参照画像情報４３１に含まれる参照画像の中から、受信した撮影条件と類似する撮影条件に関連付けられた参照画像を特定する。撮影条件が類似する２枚の画像の間には冗長性があり、それらの画像の差分を求めることで、元の画像のデータ量が削減される可能性が高い。
The
次に、制御部４１３は、特定した参照画像を端末装置４０２−ｉに取得させる。例えば、制御部４１３は、通信部４１２を介して、参照画像を端末装置４０２−ｉへ送信することで、その参照画像を端末装置４０２−ｉに取得させることができる。この場合、上り帯域よりも広い下り帯域を有効利用して、参照画像が端末装置４０２−ｉへ送信される。
Next, the
また、制御部４１３は、その参照画像を記憶している別の端末装置４０２−ｊに対して、参照画像を端末装置４０２−ｉへ送信するように指示することで、参照画像を端末装置４０２−ｉに取得させることもできる。この場合、端末装置４０２−ｊの通信部４２４は、記憶部４２１が記憶している画像のうち、制御部４１３から指示された画像を、参照画像として端末装置４０２−ｉへ直接送信する。
Further, the
制御部４１３は、無線通信ネットワークの上り帯域の使用状況を監視し、上り帯域が逼迫しているか否かを検知することもできる。この場合、制御部４１３は、上り帯域が逼迫していることを検知した際に、参照画像を端末装置４０２−ｉに取得させる制御を開始してもよい。
The
端末装置４０２−ｉの通信部４２４は、画像処理装置４０１又は端末装置４０２−ｊから参照画像を受信し、処理部４２３は、撮影された画像と受信した参照画像との差分を示す差分情報４３２を生成する。そして、通信部４２４は、差分情報４３２を画像処理装置４０１へ送信する。
The
画像処理装置４０１の通信部４１２は、端末装置４０２−ｉから差分情報４３２を受信し、受信した差分情報４３２を記憶部４１１に格納する。復元部４１４は、参照画像情報４３１から、端末装置４０２−ｉに取得させた参照画像を取得し、その参照画像と差分情報４３２とを用いて、端末装置４０２−ｉによって撮影された画像を復元する。そして、復元部４１４は、復元された画像を、新たな参照画像として参照画像情報４３１に登録する。このとき、端末装置４０２−ｉから受信した撮影条件が、新たな参照画像に関連付けられる。
The
通信部４１５は、復元された画像をサーバ４０３へ送信する。これにより、端末装置４０２−ｉによって撮影された画像が、サーバ４０３へアップロードされる。サーバ４０３は、画像処理装置４０１から受信した画像を蓄積する。
The
図４の画像処理システムによれば、端末装置４０２−ｉが撮影した画像をサーバ４０３へアップロードする際、撮影された画像と参照画像の冗長性を利用して、それらの画像の差分がアップロードされる。したがって、上り帯域が逼迫している場合であっても、上り帯域により送信されるデータ量が削減されるため、上り通信のネットワークコストを抑制することができる。
According to the image processing system of FIG. 4, when uploading the image captured by the terminal device 402-i to the
また、別の端末装置４０２−ｊに対して参照画像を端末装置４０２−ｉへ送信するように指示することで、画像処理装置４０１から参照画像を送信する必要がなくなる。これにより、画像処理装置４０１の負荷が軽減されるとともに、下り帯域により送信されるデータ量が削減される。
Further, by instructing another terminal device 402-j to transmit the reference image to the terminal device 402-i, it becomes unnecessary to transmit the reference image from the
画像処理装置４０１がイベント会場に設置されている場合、画像処理装置４０１は、上り帯域が逼迫していることを検知した際に、自由視点映像から、イベント会場の各座席エリアに応じた参照画像を切り出して、参照画像情報４３１に登録してもよい。画像処理装置４０１は、イベント会場の全周囲画像を、参照画像として参照画像情報４３１に登録することもできる。
When the
制御部４１３は、端末装置４０２−ｉに近い場所に存在する端末装置４０２−ｊを選択し、選択した端末装置４０２−ｊに対して、参照画像を端末装置４０２−ｉへ送信するように指示してもよい。端末装置４０２−ｊによって撮影された画像は、画像処理装置４０１へ送信され、参照画像情報４３１に登録されている。
The
例えば、端末装置４０２−ｊは、端末間における無線通信を用いて、アクセスポイントを介さずに、参照画像を端末装置４０２−ｉへ送信することができる。この場合、制御部４１３は、参照画像を端末装置４０２−ｉへ送信した端末装置４０２−ｊに対して、ポイント等のインセンティブを付与する処理を行ってもよい。サーバ４０３は、例えば、ＳＮＳのサーバであり、イベント会場の景観を撮影した画像を蓄積し、蓄積された画像をインターネット等を介して配信する。
For example, the terminal device 402-j can use wireless communication between the terminals to transmit the reference image to the terminal device 402-i without going through an access point. In this case, the
一方、画像処理装置４０１が路車間通信のアクセスポイントに設置されている場合、各端末装置４０２−ｉは、道路上を走行する車両に搭載されている。この場合、制御部４１３は、端末装置４０２−ｉを搭載した車両に近い場所を走行している、先行車両に搭載された端末装置４０２−ｊを選択し、選択した端末装置４０２−ｊに対して、参照画像を端末装置４０２−ｉへ送信するように指示してもよい。先行車両の端末装置４０２−ｊによって撮影された画像は、画像処理装置４０１へ送信され、参照画像情報４３１に登録されている。
On the other hand, when the
例えば、先行車両の端末装置４０２−ｊは、車車間通信を用いて、アクセスポイントを介さずに、参照画像を後続車両の端末装置４０２−ｉへ送信することができる。サーバ４０３は、例えば、道路状況を観測する管理サーバであり、道路上の景観を撮影した画像を蓄積し、蓄積された画像を用いて、交差点、事故現場等の定点観測を行う。
For example, the terminal device 402-j of the preceding vehicle can transmit the reference image to the terminal device 402-i of the following vehicle by using the vehicle-to-vehicle communication without passing through the access point. The
図５は、端末装置４０２−ｉから画像処理装置４０１へ送信される撮影条件の例を示している。図５の撮影条件は、撮影時刻、位置、方向、画角、及び撮影パラメータを含む。撮影時刻は、撮像装置４２２によって画像が撮影された日時を表す。位置は、（緯度，経度）のデータを含み、撮影時刻における端末装置４０２−ｉの位置を表す。
FIG. 5 shows an example of shooting conditions transmitted from the terminal device 402-i to the
方向は、（水平角度，垂直角度）のデータを含み、撮影時刻における撮像装置４２２の方向（姿勢）を表す。水平角度は、左右方向における撮像装置４２２の光軸の向きを示し、垂直角度は、上下方向における撮像装置４２２の光軸の向きを示す。画角は、（水平画角，垂直画角）のデータを含み、撮像装置４２２の画角を表す。水平画角は、画像の左端と右端の間の画角であり、垂直画角は、画像の上端と下端の間の画角である。図５の水平角度、垂直角度、水平画角、及び垂直画角の単位は、「度」である。
The direction includes data of (horizontal angle, vertical angle), and represents the direction (posture) of the
撮影パラメータは、撮像装置４２２の撮影パラメータを表す。撮影パラメータとしては、例えば、絞り値、露光時間、ＩＳＯ（International Organization for Standardization）感度等を用いることができる。
The shooting parameter represents the shooting parameter of the
撮影条件としては、撮影時刻、位置、方向、画角、及び撮影パラメータのすべての情報を用いてもよく、一部の情報のみを用いてもよい。 As the shooting condition, all information of shooting time, position, direction, angle of view, and shooting parameter may be used, or only a part of the information may be used.
図６は、参照画像情報４３１の例を示している。図６の参照画像情報４３１のエントリは、参照画像ＩＤ、参照画像データ、撮影時刻、位置、方向、画角、撮影パラメータ、及び端末ＩＤを含む。参照画像ＩＤは、参照画像の識別情報であり、参照画像データは、参照画像のバイナリデータである。
FIG. 6 shows an example of the
撮影時刻、位置、方向、画角、及び撮影パラメータは、参照画像が撮影されたときの撮影条件を表す。端末ＩＤは、画像を撮影した端末装置４０２−ｉの識別情報である。端末ＩＤとして、端末装置４０２−ｉのＭＡＣ（Media Access Control）アドレス等のアドレス情報を用いてもよい。 The shooting time, position, direction, angle of view, and shooting parameter represent shooting conditions when the reference image was shot. The terminal ID is identification information of the terminal device 402-i that captured the image. Address information such as a MAC (Media Access Control) address of the terminal device 402-i may be used as the terminal ID.
制御部４１３は、端末装置４０２−ｉから受信した撮影条件と、参照画像情報４３１の各エントリの撮影条件とを比較する。そして、制御部４１３は、受信した撮影条件と特定のエントリの撮影条件との差分が所定範囲内である場合、そのエントリの参照画像データを、受信した撮影条件と類似する撮影条件に関連付けられた参照画像として用いる。
The
撮影時刻及び位置の差分が小さい場合、２枚の画像に写っている景観が近似している可能性があり、さらに方向及び画角の差分が小さい場合、それらの景観に含まれる撮影対象が重複している可能性が高い。また、撮影パラメータの差分が小さい場合、２枚の画像の画質が近似している可能性が高い。 If the difference between the shooting time and the position is small, the scenery in the two images may be similar, and if the difference in the direction and the angle of view is small, the shooting objects included in those scenery overlap. It is highly possible that Further, when the difference between the shooting parameters is small, there is a high possibility that the two images have similar image qualities.
例えば、制御部４１３は、以下の手順に従って、類似する撮影条件に関連付けられた参照画像を選択することができる。
（Ｐ１）制御部４１３は、参照画像情報４３１から、撮影時刻及び位置の差分が閾値以下であるエントリを抽出する。例えば、撮影時刻の差分に対する閾値は、１秒〜１０秒の範囲の数値であってもよく、位置を示す緯度又は経度の差分に対する閾値は、０．００００５度〜０．０００２度の範囲の数値であってもよい。
（Ｐ２）制御部４１３は、手順（Ｐ１）で抽出されたエントリの中から、方向及び画角の差分が閾値以下であるエントリを抽出する。方向又は画角の差分に対する閾値としては、２枚の画像に同じ撮影対象が含まれると推定される範囲の数値が用いられる。例えば、方向又は画角の差分に対する閾値は、１度〜１０度の範囲の数値であってもよい。
（Ｐ３）制御部４１３は、手順（Ｐ２）で抽出されたエントリの個数が所定数よりも多い場合、それらのエントリの中から、撮影パラメータの差分が閾値以下であるエントリを抽出する。
（Ｐ４）制御部４１３は、手順（Ｐ１）〜手順（Ｐ３）で抽出されたエントリに含まれる参照画像データを選択する。
For example, the
(P1) The
(P2) The
(P3) When the number of entries extracted in the procedure (P2) is larger than the predetermined number, the
(P4) The
このように、撮影時刻、位置、方向、画角、及び撮影パラメータが類似している参照画像を選択することで、端末装置４０２−ｉによって撮影された画像と参照画像との差分が小さくなり、差分情報４３２のデータ量が削減される。
In this way, by selecting a reference image having similar shooting time, position, direction, angle of view, and shooting parameter, the difference between the image shot by the terminal device 402-i and the reference image is reduced, The data amount of the
手順（Ｐ１）〜手順（Ｐ３）で複数のエントリが抽出された場合、制御部４１３は、撮影条件の差分が最小となるエントリの参照画像を選択してもよく、すべてのエントリの参照画像を候補画像として選択してもよい。
When a plurality of entries are extracted in the procedure (P1) to the procedure (P3), the
撮影条件の差分が最小となる参照画像が選択された場合、制御部４１３は、その参照画像を参照画像ＩＤとともに、端末装置４０２−ｉに取得させる。このとき、制御部４１３は、選択された参照画像に関連付けられた端末ＩＤが示す端末装置４０２−ｊに対して、その参照画像を端末装置４０２−ｉへ送信するように指示してもよい。端末装置４０２−ｉの処理部４２３は、取得した参照画像を用いて差分情報４３２を生成する。通信部４２４は、取得した参照画像ＩＤとともに、差分情報４３２を画像処理装置４０１へ送信する。
When the reference image with the smallest difference in shooting conditions is selected, the
一方、複数の参照画像が候補画像として選択された場合、制御部４１３は、それらの参照画像を参照画像ＩＤとともに、端末装置４０２−ｉに取得させる。そして、端末装置４０２−ｉの処理部４２３は、複数の参照画像の中から、撮影された画像との差分が最小となる参照画像を選択して、差分情報４３２を生成する。通信部４２４は、差分情報４３２の生成に用いられた参照画像を示す参照画像ＩＤとともに、差分情報４３２を画像処理装置４０１へ送信する。
On the other hand, when a plurality of reference images are selected as candidate images, the
画像処理装置４０１の通信部４１２は、端末装置４０２−ｉから参照画像ＩＤ及び差分情報４３２を受信する。復元部４１４は、参照画像情報４３１から、受信した参照画像ＩＤが示す参照画像データを取得し、その参照画像データと受信した差分情報４３２とを用いて、撮影された画像を復元する。
The
そして、復元部４１４は、復元された画像を、新たな参照画像として参照画像情報４３１に登録し、通信部４１２は、登録された参照画像を示す参照画像ＩＤを、端末装置４０２−ｉへ送信する。端末装置４０２−ｉは、受信した参照画像ＩＤを、撮影された画像と関連付けて記憶部４２１に格納する。
Then, the
複数の参照画像が候補画像として選択された場合、端末装置４０２−ｉは、それらの参照画像の中から差分が最小となる参照画像を選択して、差分情報４３２を生成することができる。これにより、差分情報４３２のデータ量のさらなる削減が期待できる。
When a plurality of reference images are selected as candidate images, the terminal device 402-i can select the reference image having the smallest difference from those reference images and generate the
また、端末装置４０２−ｉが、参照画像情報４３１に登録された参照画像を示す参照画像ＩＤと、撮影された画像とを関連付けて記憶することで、その画像を参照画像として別の端末装置４０２−ｋ（ｋ≠ｉ）へ送信することが可能になる。
Further, the terminal device 402-i stores the reference image ID indicating the reference image registered in the
端末装置４０２−ｉは、差分情報４３２を生成する際に、撮影された画像と参照画像との差分を最小化するマッチング処理を行ってもよい。マッチング処理を行うことで、差分情報４３２のデータ量を最小化することができる。
When generating the
図７は、端末装置４０２−ｉが行うマッチング処理の例を示している。画像７０１は、端末装置４０２−ｉによって撮影された画像を表す。処理部４２３は、参照画像を拡大又は縮小することで参照画像７０２を生成する。
FIG. 7 shows an example of matching processing performed by the terminal device 402-i. The
次に、処理部４２３は、参照画像７０２に対する画像７０１の相対位置座標（ｘ，ｙ）及び回転角度θを変化させながら、参照画像７０２内において画像７０１と重複する領域の画素値と、画像７０１の画素値との差分を計算する。そして、処理部４２３は、差分が最小となるような、拡大縮小率、相対位置座標、及び回転角度を、マッチング処理のパラメータ（参照パラメータ）として求める。図７の例では、（ｘ，ｙ）＝（２８，９５）、θ＝−３２°である。
Next, the
図８は、参照パラメータの例を示している。図８の参照パラメータは、相対位置座標、画素数、拡大縮小率、及び回転角度を含む。画素数は、図７の画像７０１の画素数を表し、拡大縮小率は、図７の参照画像７０２の拡大縮小率を表す。相対位置座標及び回転角度は、参照画像７０２に対する画像７０１の相対位置座標及び回転角度を表す。
FIG. 8 shows an example of reference parameters. The reference parameters in FIG. 8 include the relative position coordinates, the number of pixels, the scaling ratio, and the rotation angle. The number of pixels represents the number of pixels of the
通信部４２４は、参照画像ＩＤ、最小の差分を示す差分情報４３２、及び参照パラメータを、画像処理装置４０１へ送信し、画像処理装置４０１の通信部４１２は、端末装置４０２−ｉからそれらの情報を受信する。復元部４１４は、受信した参照パラメータに基づいて、参照画像ＩＤが示す参照画像を変換し、変換後の参照画像と差分情報４３２とを用いて、撮影された画像を復元する。
The
例えば、復元部４１４は、以下の手順に従って、撮影された画像を復元することができる。
（Ｐ１１）復元部４１４は、参照パラメータに含まれる拡大縮小率に従って、参照画像ＩＤが示す参照画像を拡大又は縮小する。拡大縮小率が１である場合は、参照画像のサイズは変更されない。
（Ｐ１２）復元部４１４は、参照パラメータに含まれる相対位置座標、回転角度、及び画素数に基づいて参照画像をクロップすることで、参照画像から、撮影された画像に対応する領域の画像を生成する。
（Ｐ１３）復元部４１４は、生成された画像を変換後の参照画像として用い、変換後の参照画像の画素値に、差分情報４３２が示す差分を加算することで、撮影された画像を復元する。
For example, the
(P11) The
(P12) The
(P13) The
端末装置４０２−ｉがマッチング処理を行うことで、差分情報４３２のデータ量が最小化される。また、参照パラメータを端末装置４０２−ｉから画像処理装置４０１へ送信することで、画像処理装置４０１は、参照画像及び差分情報４３２から、撮影された画像を復元することができる。
The data amount of the
端末装置４０２−ｉは、参照画像のアフィン変換を含むマッチング処理を行い、アフィン変換パラメータを参照パラメータとして画像処理装置４０１へ送信することもできる。この場合、マッチング処理において、参照画像の線形変換全般（拡大縮小、剪断、回転等）を扱うことが可能になる。
The terminal device 402-i can also perform the matching process including the affine transformation of the reference image and transmit the affine transformation parameter to the
図９は、図４の画像処理システムにおける動作シーケンスの例を示している。まず、端末装置４０２−ｉは、画像を撮影し、その画像の撮影条件を画像処理装置４０１へ送信する（手順９０１）。 FIG. 9 shows an example of an operation sequence in the image processing system of FIG. First, the terminal device 402-i shoots an image and sends the shooting conditions of the image to the image processing device 401 (step 901).
画像処理装置４０１の制御部４１３は、記憶部４１１内の参照画像情報４３１を検索し、受信した撮影条件と類似する撮影条件に関連付けられた参照画像を特定する（手順９０２）。そして、制御部４１３は、特定した参照画像とその参照画像ＩＤとを、通信部４１２を介して、端末装置４０２−ｉへ送信する（手順９０３）。
The
特定した参照画像に端末ＩＤが関連付けられている場合、制御部４１３は、手順９０３の動作の代わりに、その端末ＩＤが示す端末装置４０２−ｊへ、通信部４１２を介して、送信指示を送信してもよい（手順９０４）。この送信指示には、特定した参照画像を示す参照画像ＩＤと、端末装置４０２−ｉを示す端末ＩＤとが含まれる。端末装置４０２−ｊは、送信指示に含まれる参照画像ＩＤと、その参照画像ＩＤが示す画像とを、送信指示に含まれる端末ＩＤが示す端末装置４０２−ｉへ送信する（手順９０５）。
When the identified reference image is associated with the terminal ID, the
手順９０２において、制御部４１３は、上述した手順（Ｐ１）〜手順（Ｐ４）に従って参照画像を特定してもよく、別の選択基準に従って参照画像を特定してもよい。手順（Ｐ１）〜手順（Ｐ４）に従って参照画像を特定する場合、端末装置４０２−ｉの撮影時刻より少し前に、端末装置４０２−ｉに近い位置から撮影された、参照画像が特定される。この場合、手順９０４において、端末装置４０２−ｉに近い位置に存在する端末装置４０２−ｊへ送信指示が送信される。
In
端末装置４０２−ｉは、撮影された画像と、画像処理装置４０１又は端末装置４０２−ｊから受信した参照画像との差分を示す差分情報４３２を生成する。複数の参照画像を候補画像として受信した場合、端末装置４０２−ｉは、それらの参照画像の中から、撮影された画像との差分が最小となる参照画像を選択して、差分情報４３２を生成する。そして、端末装置４０２−ｉは、差分情報４３２と、差分情報４３２の生成に用いられた参照画像を示す参照画像ＩＤと、差分情報４３２の生成に用いられた参照パラメータとを、画像処理装置４０１へ送信する（手順９０６）。
The terminal device 402-i generates
画像処理装置４０１の復元部４１４は、記憶部４１１内の参照画像情報４３１を検索し、受信した参照画像ＩＤが示す参照画像を取得する（手順９０７）。次に、復元部４１４は、受信した参照パラメータに基づいて、その参照画像を変換し、端末装置４０２−ｉによって撮影された画像に対応する領域の画像を生成する。そして、復元部４１４は、変換後の参照画像と差分情報４３２とを用いて、撮影された画像を復元し、復元された画像（復元画像）に対して、新たな参照画像ＩＤを付与する。
The
次に、復元部４１４は、通信部４１５を介して、その復元画像をサーバ４０３へ送信する（手順９０８）。次に、復元部４１４は、復元画像に付与された参照画像ＩＤと、復元画像を表す参照画像データと、端末装置４０２−ｉから受信した撮影条件と、端末装置４０２−ｉを示す端末ＩＤとを、参照画像情報４３１の新たなエントリとして登録する（手順９０９）。そして、復元部４１４は、復元画像に付与された参照画像ＩＤを、通信部４１２を介して、端末装置４０２−ｉへ送信する（手順９１０）。
Next, the
図１０は、図４の端末装置４０２−ｉが行うアップロード処理の例を示すフローチャートである。まず、通信部４２４は、撮影された画像の撮影条件を画像処理装置４０１へ送信し（ステップ１００１）、画像処理装置４０１又は端末装置４０２−ｊから、参照画像及び参照画像ＩＤを受信する（ステップ１００２）。
FIG. 10 is a flowchart showing an example of upload processing performed by the terminal device 402-i of FIG. First, the
次に、処理部４２３は、撮影された画像と受信した参照画像との差分を示す差分情報４３２を生成する（ステップ１００３）。そして、通信部４２４は、差分情報４３２と、差分情報４３２の生成に用いられた参照画像を示す参照画像ＩＤと、差分情報４３２の生成に用いられた参照パラメータとを、画像処理装置４０１へ送信する（ステップ１００４）。
Next, the
次に、通信部４２４は、画像処理装置４０１から、復元画像を示す参照画像ＩＤを受信し、処理部４２３は、受信した参照画像ＩＤを、撮影された画像と関連付けて記憶部４２１に格納する（ステップ１００５）。
Next, the
図１１は、図４の画像処理装置４０１が行う画像処理の具体例を示すフローチャートである。まず、通信部４１２は、端末装置４０２−ｉから撮影条件を受信する（ステップ１１０１）。そして、制御部４１３は、記憶部４１１内の参照画像情報４３１を検索し、受信した撮影条件と類似する撮影条件に関連付けられた参照画像を特定する（ステップ１１０２）。
FIG. 11 is a flowchart showing a specific example of image processing performed by the
次に、制御部４１３は、参照画像情報４３１において、特定した参照画像に端末ＩＤが関連付けられているか否かをチェックする（ステップ１１０３）。参照画像に端末ＩＤが関連付けられている場合（ステップ１１０３，ＹＥＳ）、制御部４１３は、その端末ＩＤが示す端末装置４０２−ｊへ、通信部４１２を介して、送信指示を送信する（ステップ１１０４）。
Next, the
一方、参照画像に端末ＩＤが関連付けられていない場合（ステップ１１０３，ＮＯ）、制御部４１３は、特定した参照画像とその参照画像ＩＤとを、通信部４１２を介して、端末装置４０２−ｉへ送信する（ステップ１１０５）。
On the other hand, when the reference image is not associated with the terminal ID (
次に、通信部４１２は、端末装置４０２−ｉから、差分情報４３２、参照画像ＩＤ、及び参照パラメータを受信する（ステップ１１０６）。そして、復元部４１４は、記憶部４１１内の参照画像情報４３１を検索し、受信した参照画像ＩＤが示す参照画像を取得する（ステップ１１０７）。
Next, the
次に、復元部４１４は、受信した参照パラメータに基づいて、その参照画像を変換し、変換後の参照画像と差分情報４３２とを用いて、撮影された画像を復元する（ステップ１１０８）。そして、復元部４１４は、復元画像に対して新たな参照画像ＩＤを付与する。
Next, the
次に、通信部４１５は、復元画像をサーバ４０３へ送信する（ステップ１１０９）。次に、復元部４１４は、復元画像に付与された参照画像ＩＤと、復元画像を表す参照画像データと、端末装置４０２−ｉから受信した撮影条件と、端末装置４０２−ｉを示す端末ＩＤとを、参照画像情報４３１に登録する（ステップ１１１０）。そして、通信部４１２は、復元画像に付与された参照画像ＩＤを、端末装置４０２−ｉへ送信する（ステップ１１１１）。
Next, the
図１の画像アップロードシステムの構成は一例に過ぎず、画像アップロードシステムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。 The configuration of the image upload system in FIG. 1 is merely an example, and some of the components may be omitted or changed depending on the use or conditions of the image upload system.
図２の画像処理装置２０１の構成は一例に過ぎず、画像処理装置２０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
The configuration of the
図４の画像処理システムの構成は一例に過ぎず、画像処理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、画像処理装置４０１が復元画像をサーバ４０３へ送信する必要がない場合は、通信部４１５を省略することができる。
The configuration of the image processing system in FIG. 4 is merely an example, and some of the constituent elements may be omitted or changed depending on the application or conditions of the image processing system. For example, if the
図３、図１０、及び図１１のフローチャートは一例に過ぎず、画像処理システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１１の画像処理において、別の端末装置４０２−ｊへ送信指示を送信しない場合は、ステップ１１０３、ステップ１１０４、及びステップ１１１１の処理を省略することができる。画像処理装置４０１が復元画像をサーバ４０３へ送信する必要がない場合は、ステップ１１０９の処理を省略することができる。
The flowcharts of FIGS. 3, 10, and 11 are merely examples, and some of the processing may be omitted or changed depending on the configuration or conditions of the image processing system. For example, in the image processing of FIG. 11, when the transmission instruction is not transmitted to another terminal device 402-j, the processing of
ステップ１１０２において特定された参照画像を端末装置４０２−ｉ自身が記憶している場合は、ステップ１１０５において、画像処理装置４０１は、参照画像の送信を省略することができる。
When the terminal device 402-i itself stores the reference image specified in
図９の動作シーケンスは一例に過ぎず、画像処理システムの構成又は条件に応じて一部の動作を省略又は変更してもよい。例えば、別の端末装置４０２−ｊへ送信指示を送信しない場合は、手順９０４、手順９０５、及び手順９１０の動作を省略することができる。画像処理装置４０１が復元画像をサーバ４０３へ送信する必要がない場合は、手順９０８の動作を省略することができる。
The operation sequence in FIG. 9 is merely an example, and some operations may be omitted or changed according to the configuration or conditions of the image processing system. For example, when the transmission instruction is not transmitted to another terminal device 402-j, the operations of
手順９０２において特定された参照画像を端末装置４０２−ｉ自身が記憶している場合は、手順９０３において、画像処理装置４０１は、参照画像の送信を省略することができる。
When the terminal device 402-i itself stores the reference image specified in
図１２は、図２の画像処理装置２０１及び図４の画像処理装置４０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１２の情報処理装置は、ＣＰＵ（Central Processing Unit）１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、通信装置１２０７、及び通信装置１２０８を含む。これらの構成要素はバス１２０９により互いに接続されている。
FIG. 12 shows a configuration example of an information processing apparatus (computer) used as the
メモリ１２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１２０２は、図２の記憶部２１１又は図４の記憶部４１１として用いることができる。
The
ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図２の制御部２１３及び復元部２１４として動作する。ＣＰＵ１２０１は、メモリ１２０２を利用してプログラムを実行することにより、図４の制御部４１３及び復元部４１４としても動作する。
The CPU 1201 (processor) operates as the
入力装置１２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、復元画像であってもよい。
The
補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。補助記憶装置１２０５は、図２の記憶部２１１又は図４の記憶部４１１として用いることができる。
The
媒体駆動装置１２０６は、可搬型記録媒体１２１０を駆動し、その記録内容にアクセスする。可搬型記録媒体１２１０は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２１０は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１２１０にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。
The
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２０２、補助記憶装置１２０５、又は可搬型記録媒体１２１０のような、物理的な（非一時的な）記録媒体である。
As described above, a computer-readable recording medium that stores programs and data used for processing is a physical (non-transitory) recording medium such as the
通信装置１２０７は、無線通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。通信装置１２０７は、図２の受信部２１２又は図４の通信部４１２として用いることができる。
The
通信装置１２０８は、ＬＡＮ、ＷＡＮ等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置から通信装置１２０８を介して受信し、それらをメモリ１２０２にロードして使用することができる。通信装置１２０８は、図４の通信部４１５として用いることができる。
The
なお、情報処理装置が図１２のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザと対話する必要がない場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。可搬型記録媒体１２１０を使用しない場合は、媒体駆動装置１２０６を省略してもよい。
Note that the information processing device does not need to include all the constituent elements in FIG. 12, and it is possible to omit some of the constituent elements according to the use or the condition. For example, the
図４の端末装置４０２−１〜端末装置４０２−Ｎとしては、図１２と同様の情報処理装置を用いることができる。この場合、通信装置１２０８を省略することができ、ＣＰＵ１２０１、メモリ１２０２、及び通信装置１２０７は、それぞれ、図４の処理部４２３、記憶部４２１、及び通信部４２４として用いることができる。図４の撮像装置４２２は、バス１２０９に接続されていてもよい。
As the terminal devices 402-1 to 402-N in FIG. 4, the same information processing device as that in FIG. 12 can be used. In this case, the
図４のサーバ４０３としては、図１２と同様の情報処理装置を用いることができる。この場合、通信装置１２０７を省略することができる。
As the
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 While the disclosed embodiments and their advantages have been described in detail, those skilled in the art can make various changes, additions, and omissions without departing from the scope of the invention explicitly set forth in the claims. Let's
図２乃至図１２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮影条件に関連付けて記憶部に記憶されている複数の画像の中から、端末装置が撮影した第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し、
前記第２画像を前記端末装置に取得させ、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信し、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する、
処理をコンピュータに実行させるための画像処理プログラム。
（付記２）
前記撮影条件は、撮影時刻、端末装置の位置、撮像装置の方向、又は撮像装置の画角を示す情報であり、
前記コンピュータは、前記第１画像の撮影条件と、前記複数の画像それぞれの撮影条件とを比較し、前記第１画像の撮影条件と前記複数の画像のうち特定の画像の撮影条件との差分が所定範囲内である場合、前記特定の画像を前記第２画像として用いることを特徴とする付記１記載の画像処理プログラム。
（付記３）
前記コンピュータは、前記第１画像と前記第２画像との差分を最小化するマッチング処理のパラメータを、前記端末装置から受信し、受信したパラメータに基づいて前記第２画像を変換し、変換後の前記第２画像と前記差分情報とを用いて、前記第１画像を復元することを特徴とする付記１又は２記載の画像処理プログラム。
（付記４）
前記コンピュータは、前記記憶部に記憶されている複数の画像の中から、前記第１画像の撮影条件と類似する撮影条件に関連付けられた複数の候補画像を特定し、前記複数の候補画像を前記端末装置に取得させ、前記端末装置によって前記複数の候補画像の中から選択された前記第２画像を示す識別情報を、前記端末装置から受信し、前記記憶部に記憶されている複数の画像のうち、受信した識別情報が示す前記第２画像を用いて、前記第１画像を復元することを特徴とする付記１乃至３のいずれか１項に記載の画像処理プログラム。
（付記５）
前記コンピュータは、前記第２画像を記憶する別の端末装置に対して、前記第１画像を撮影した端末装置へ前記第２画像を送信するように指示することで、前記第２画像を前記端末装置に取得させることを特徴とする付記１乃至３のいずれか１項に記載の画像処理プログラム。
（付記６）
前記コンピュータは、前記第２画像を前記端末装置へ送信することで、前記第２画像を前記端末装置に取得させることを特徴とする付記１乃至３のいずれか１項に記載の画像処理プログラム。
（付記７）
複数の画像と前記複数の画像それぞれの撮影条件とを関連付けて記憶する記憶部と、
前記複数の画像の中から、端末装置が撮影した第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し、前記第２画像を前記端末装置に取得させる制御部と、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信する受信部と、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する復元部と、
を備えることを特徴とする画像処理装置。
（付記８）
前記撮影条件は、撮影時刻、端末装置の位置、撮像装置の方向、又は撮像装置の画角を示す情報であり、
前記制御部は、前記第１画像の撮影条件と、前記複数の画像それぞれの撮影条件とを比較し、前記第１画像の撮影条件と前記複数の画像のうち特定の画像の撮影条件との差分が所定範囲内である場合、前記特定の画像を前記第２画像として用いることを特徴とする付記７記載の画像処理装置。
（付記９）
前記受信部は、前記第１画像と前記第２画像との差分を最小化するマッチング処理のパラメータを、前記端末装置から受信し、前記復元部は、受信したパラメータに基づいて前記第２画像を変換し、変換後の前記第２画像と前記差分情報とを用いて、前記第１画像を復元することを特徴とする付記７又は８記載の画像処理装置。
（付記１０）
前記制御部は、前記記憶部に記憶されている複数の画像の中から、前記第１画像の撮影条件と類似する撮影条件に関連付けられた複数の候補画像を特定し、前記複数の候補画像を前記端末装置に取得させ、前記受信部は、前記端末装置によって前記複数の候補画像の中から選択された前記第２画像を示す識別情報を、前記端末装置から受信し、前記復元部は、前記記憶部に記憶されている複数の画像のうち、受信した識別情報が示す前記第２画像を用いて、前記第１画像を復元することを特徴とする付記７乃至９のいずれか１項に記載の画像処理装置。
（付記１１）
前記制御部は、前記第２画像を記憶する別の端末装置に対して、前記第１画像を撮影した端末装置へ前記第２画像を送信するように指示することで、前記第２画像を前記端末装置に取得させることを特徴とする付記７乃至９のいずれか１項に記載の画像処理装置。
（付記１２）
前記制御部は、前記第２画像を前記端末装置へ送信することで、前記第２画像を前記端末装置に取得させることを特徴とする付記７乃至９のいずれか１項に記載の画像処理装置。
（付記１３）
端末装置と画像処理装置とを備える画像処理システムであって、
前記端末装置は、第１画像を撮影して、前記第１画像の撮影条件を前記画像処理装置へ送信し、
前記画像処理装置は、
複数の画像と前記複数の画像それぞれの撮影条件とを関連付けて記憶する記憶部と、
前記複数の画像の中から、前記第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し、前記第２画像を前記端末装置に取得させる制御部と、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信する受信部と、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する復元部とを含む、
ことを特徴とする画像処理システム。
（付記１４）
コンピュータにより実行される画像処理方法であって、
前記コンピュータが、
撮影条件に関連付けて記憶部に記憶されている複数の画像の中から、端末装置が撮影した第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し、
前記第２画像を前記端末装置に取得させ、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信し、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する、
ことを特徴とする画像処理方法。
Regarding the embodiment described with reference to FIGS. 2 to 12, the following supplementary notes are further disclosed.
(Appendix 1)
A second image associated with a shooting condition similar to the shooting condition of the first image shot by the terminal device is specified from among the plurality of images stored in the storage unit in association with the shooting condition,
Causing the terminal device to acquire the second image,
Receiving difference information indicating a difference between the first image and the second image from the terminal device,
Restore the first image using the second image and the difference information,
An image processing program that causes a computer to execute processing.
(Appendix 2)
The shooting condition is information indicating a shooting time, a position of the terminal device, a direction of the imaging device, or an angle of view of the imaging device,
The computer compares a shooting condition of the first image with a shooting condition of each of the plurality of images, and determines a difference between the shooting condition of the first image and a shooting condition of a specific image of the plurality of images. The image processing program according to
(Appendix 3)
The computer receives a parameter of a matching process that minimizes a difference between the first image and the second image from the terminal device, converts the second image based on the received parameter, and converts the second image. 3. The image processing program according to
(Appendix 4)
The computer specifies a plurality of candidate images associated with a shooting condition similar to the shooting condition of the first image from among the plurality of images stored in the storage unit, and selects the plurality of candidate images from the plurality of images. The identification information indicating the second image selected from the plurality of candidate images by the terminal device and received by the terminal device is received from the terminal device, and the identification information of the plurality of images stored in the storage unit is received. 4. The image processing program according to any one of
(Appendix 5)
The computer instructs another terminal device, which stores the second image, to transmit the second image to the terminal device that has photographed the first image, so that the second image is transmitted to the terminal device. 4. The image processing program according to any one of
(Appendix 6)
4. The image processing program according to any one of
(Appendix 7)
A storage unit that stores a plurality of images and the shooting conditions of the plurality of images in association with each other;
A control unit that specifies, from the plurality of images, a second image associated with a shooting condition similar to the shooting condition of the first image shot by the terminal device, and causes the terminal device to acquire the second image.
A receiving unit that receives difference information indicating a difference between the first image and the second image from the terminal device;
A restoration unit that restores the first image using the second image and the difference information;
An image processing apparatus comprising:
(Appendix 8)
The shooting condition is information indicating a shooting time, a position of the terminal device, a direction of the imaging device, or an angle of view of the imaging device,
The control unit compares a shooting condition of the first image with a shooting condition of each of the plurality of images, and determines a difference between the shooting condition of the first image and a shooting condition of a specific image of the plurality of images. The image processing apparatus according to appendix 7, wherein the specific image is used as the second image when is within a predetermined range.
(Appendix 9)
The receiving unit receives a parameter of a matching process that minimizes a difference between the first image and the second image from the terminal device, and the restoring unit receives the second image based on the received parameter. 9. The image processing apparatus according to appendix 7 or 8, wherein the first image is restored by using the converted second image and the difference information after the conversion.
(Appendix 10)
The control unit specifies, from the plurality of images stored in the storage unit, a plurality of candidate images associated with a shooting condition similar to the shooting condition of the first image, and selects the plurality of candidate images. Causing the terminal device to acquire, the receiving unit receives from the terminal device identification information indicating the second image selected from the plurality of candidate images by the terminal device, and the restoring unit, 10. The first image is restored using the second image indicated by the received identification information among the plurality of images stored in the storage unit, according to any one of appendices 7 to 9. Image processing device.
(Appendix 11)
The control unit instructs another terminal device, which stores the second image, to transmit the second image to the terminal device that has captured the first image, thereby causing the second image to be transmitted. The image processing device according to any one of appendices 7 to 9, wherein the image processing device is acquired by a terminal device.
(Appendix 12)
10. The image processing apparatus according to any one of appendices 7 to 9, wherein the control unit causes the terminal device to acquire the second image by transmitting the second image to the terminal device. ..
(Appendix 13)
An image processing system comprising a terminal device and an image processing device,
The terminal device captures a first image, transmits the capturing condition of the first image to the image processing device,
The image processing device,
A storage unit that stores a plurality of images and the shooting conditions of the plurality of images in association with each other;
A control unit that specifies a second image associated with a shooting condition similar to the shooting condition of the first image from the plurality of images and causes the terminal device to acquire the second image;
A receiver for receiving difference information indicating a difference between the first image and the second image from the terminal device;
A restoring unit that restores the first image using the second image and the difference information,
An image processing system characterized by the above.
(Appendix 14)
An image processing method executed by a computer, comprising:
The computer is
A second image associated with a shooting condition similar to the shooting condition of the first image captured by the terminal device is specified from the plurality of images stored in the storage unit in association with the shooting condition,
Causing the terminal device to acquire the second image,
Receiving difference information indicating a difference between the first image and the second image from the terminal device,
Restore the first image using the second image and the difference information,
An image processing method characterized by the above.
１０１ 携帯端末装置
１０２、４０３ サーバ
１０３ 通信ネットワーク
１１１、７０１ 画像
２０１、４０１ 画像処理装置
２１１、４１１、４２１ 記憶部
２１２ 受信部
２１３、４１３ 制御部
２１４、４１４ 復元部
４０２−１〜４０２−Ｎ 端末装置
４１２、４１５、４２４ 通信部
４２２ 撮像装置
４２３ 処理部
４３１ 参照画像情報
４３２ 差分情報
７０２ 参照画像
１２０１ ＣＰＵ
１２０２ メモリ
１２０３ 入力装置
１２０４ 出力装置
１２０５ 補助記憶装置
１２０６ 媒体駆動装置
１２０７、１２０８ 通信装置
１２０９ バス
１２１０ 可搬型記録媒体
101 mobile
1202
Claims (8)
前記第２画像を前記端末装置に取得させ、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信し、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する、
処理をコンピュータに実行させるための画像処理プログラム。 A second image associated with a shooting condition similar to the shooting condition of the first image shot by the terminal device is specified from among the plurality of images stored in the storage unit in association with the shooting condition,
Causing the terminal device to acquire the second image,
Receiving difference information indicating a difference between the first image and the second image from the terminal device,
Restore the first image using the second image and the difference information,
An image processing program that causes a computer to execute processing.
前記コンピュータは、前記第１画像の撮影条件と、前記複数の画像それぞれの撮影条件とを比較し、前記第１画像の撮影条件と前記複数の画像のうち特定の画像の撮影条件との差分が所定範囲内である場合、前記特定の画像を前記第２画像として用いることを特徴とする請求項１記載の画像処理プログラム。 The shooting condition is information indicating a shooting time, a position of the terminal device, a direction of the imaging device, or an angle of view of the imaging device,
The computer compares a shooting condition of the first image with a shooting condition of each of the plurality of images, and determines a difference between the shooting condition of the first image and a shooting condition of a specific image of the plurality of images. The image processing program according to claim 1, wherein the specific image is used as the second image when it is within a predetermined range.
前記複数の画像の中から、端末装置が撮影した第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し、前記第２画像を前記端末装置に取得させる制御部と、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信する受信部と、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する復元部と、
を備えることを特徴とする画像処理装置。 A storage unit that stores a plurality of images and the shooting conditions of the plurality of images in association with each other;
A control unit that specifies, from the plurality of images, a second image associated with a shooting condition similar to the shooting condition of the first image shot by the terminal device, and causes the terminal device to acquire the second image.
A receiving unit that receives difference information indicating a difference between the first image and the second image from the terminal device;
A restoration unit that restores the first image using the second image and the difference information;
An image processing apparatus comprising:
前記端末装置は、第１画像を撮影して、前記第１画像の撮影条件を前記画像処理装置へ送信し、
前記画像処理装置は、
複数の画像と前記複数の画像それぞれの撮影条件とを関連付けて記憶する記憶部と、
前記複数の画像の中から、前記第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し、前記第２画像を前記端末装置に取得させる制御部と、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信する受信部と、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する復元部とを含む、
ことを特徴とする画像処理システム。 An image processing system comprising a terminal device and an image processing device,
The terminal device captures a first image, transmits the capturing condition of the first image to the image processing device,
The image processing device,
A storage unit that stores a plurality of images and the shooting conditions of the plurality of images in association with each other;
A control unit that specifies a second image associated with a shooting condition similar to the shooting condition of the first image from the plurality of images, and causes the terminal device to acquire the second image,
A receiving unit that receives difference information indicating a difference between the first image and the second image from the terminal device;
A restoring unit that restores the first image using the second image and the difference information,
An image processing system characterized by the above.
前記コンピュータが、
撮影条件に関連付けて記憶部に記憶されている複数の画像の中から、端末装置が撮影した第１画像の撮影条件と類似する撮影条件に関連付けられた第２画像を特定し、
前記第２画像を前記端末装置に取得させ、
前記第１画像と前記第２画像との差分を示す差分情報を、前記端末装置から受信し、
前記第２画像と前記差分情報とを用いて、前記第１画像を復元する、
ことを特徴とする画像処理方法。 An image processing method executed by a computer, comprising:
The computer is
A second image associated with a shooting condition similar to the shooting condition of the first image shot by the terminal device is specified from among the plurality of images stored in the storage unit in association with the shooting condition,
Causing the terminal device to acquire the second image,
Receiving difference information indicating a difference between the first image and the second image from the terminal device,
Restore the first image using the second image and the difference information,
An image processing method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018209757A JP7142543B2 (en) | 2018-11-07 | 2018-11-07 | Image processing program, image processing apparatus, image processing system, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018209757A JP7142543B2 (en) | 2018-11-07 | 2018-11-07 | Image processing program, image processing apparatus, image processing system, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020077965A true JP2020077965A (en) | 2020-05-21 |
| JP7142543B2 JP7142543B2 (en) | 2022-09-27 |
Family
ID=70724474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018209757A Active JP7142543B2 (en) | 2018-11-07 | 2018-11-07 | Image processing program, image processing apparatus, image processing system, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7142543B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147298A (en) * | 2002-09-30 | 2004-05-20 | Fuji Photo Film Co Ltd | Photography system |
| JP2011078056A (en) * | 2009-10-02 | 2011-04-14 | Nikon Corp | Camera |
| WO2013031785A1 (en) * | 2011-09-01 | 2013-03-07 | 日本電気株式会社 | Captured image compression and transmission method and captured image compression and transmission system |
| WO2014002565A1 (en) * | 2012-06-26 | 2014-01-03 | ソニー株式会社 | Imaging control device, storage system, and storage medium |
-
2018
- 2018-11-07 JP JP2018209757A patent/JP7142543B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147298A (en) * | 2002-09-30 | 2004-05-20 | Fuji Photo Film Co Ltd | Photography system |
| JP2011078056A (en) * | 2009-10-02 | 2011-04-14 | Nikon Corp | Camera |
| WO2013031785A1 (en) * | 2011-09-01 | 2013-03-07 | 日本電気株式会社 | Captured image compression and transmission method and captured image compression and transmission system |
| WO2014002565A1 (en) * | 2012-06-26 | 2014-01-03 | ソニー株式会社 | Imaging control device, storage system, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7142543B2 (en) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107534789B (en) | Image synchronization device and image synchronization method | |
| JP6607433B2 (en) | Video distribution method and server | |
| JP5965708B2 (en) | Wireless communication device, memory device, wireless communication system, wireless communication method, and program | |
| US11089214B2 (en) | Generating output video from video streams | |
| US10582211B2 (en) | Neural network to optimize video stabilization parameters | |
| KR101335617B1 (en) | Method and device for implementing augmented reality in mobile environment | |
| KR102072014B1 (en) | Method and Apparatus for Using Image Stabilization | |
| WO2013070461A1 (en) | Wireless camera with image sharing route prioritization | |
| CN104918027B (en) | For generating method, electronic device and the server of digital processing picture | |
| WO2015159487A1 (en) | Image delivery method, image reception method, server, terminal apparatus, and image delivery system | |
| JP6650936B2 (en) | Camera control and image streaming | |
| KR20050094041A (en) | Adding metadata to pictures | |
| US20140111611A1 (en) | Method and system for encoding multi-view video content | |
| US8625933B2 (en) | Image processing apparatus and method for the same | |
| WO2011104698A2 (en) | Method and apparatus providing for control of a content capturing device with a requesting device to thereby capture a desired content segment | |
| JP7142543B2 (en) | Image processing program, image processing apparatus, image processing system, and image processing method | |
| WO2015194082A1 (en) | Image processing method and image processing system | |
| JP4307932B2 (en) | Shooting system | |
| CN108369730B (en) | Method and apparatus for refocusing at least one panoramic video | |
| WO2019026985A1 (en) | Analyzer, analysis system, analysis method, and program storage medium | |
| US11153507B2 (en) | Image processing apparatus, image processing method, image providing system, and non-transitory computer-readable recording medium storing image processing program | |
| JP6625341B2 (en) | Video search device, video search method, and program | |
| JP2013073309A (en) | Method for extracting region of interest from image, and electronic apparatus, system and program for achieving the same method | |
| JP2014165639A (en) | Information terminal device, communication system, and method | |
| KR102250873B1 (en) | System and method for transmitting external image in security environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220913 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7142543 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |