JP2012070212A - Image processing device, image processing system, and image processing method - Google Patents

Image processing device, image processing system, and image processing method Download PDF

Info

Publication number
JP2012070212A
JP2012070212A JP2010213202A JP2010213202A JP2012070212A JP 2012070212 A JP2012070212 A JP 2012070212A JP 2010213202 A JP2010213202 A JP 2010213202A JP 2010213202 A JP2010213202 A JP 2010213202A JP 2012070212 A JP2012070212 A JP 2012070212A
Authority
JP
Japan
Prior art keywords
moving image
image processing
unit
image
information data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010213202A
Other languages
Japanese (ja)
Inventor
Tatsuji Moriyoshi
達治 森吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010213202A priority Critical patent/JP2012070212A/en
Publication of JP2012070212A publication Critical patent/JP2012070212A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device which enables a user to replace an image conveniently.SOLUTION: The image processing device of this invention is provided with: a recording part for recording first information data containing first moving image; a first receiving part for receiving a second moving image; a detection part for detecting the difference between shooting time lengths of the first moving image and the second moving image; a correction part for correcting the second moving image on the basis of the difference between the shooting time lengths detected by the detection part; and a composition part which generates second information data by replacing the first moving image included in the first information data with the second moving image corrected by the correction part.

Description

本発明は、端末が撮影した画像を処理する画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。   The present invention relates to an image processing apparatus, an image processing system, an image processing method, and an image processing program that process an image captured by a terminal.

近年、画像を撮影可能な端末、例えばカメラ機能付き携帯端末が普及している。このような端末が普及する中で、端末が撮影した画像を楽しく鑑賞するサービスのニーズが高まっている。   In recent years, terminals capable of taking images, for example, portable terminals with a camera function, have become widespread. As such terminals become widespread, there is an increasing need for services for enjoying and enjoying images taken by the terminals.

端末で撮影された画像を活用したサービスに関する技術が、例えば特許文献1に記載されている。   For example, Patent Document 1 discloses a technique related to a service using an image captured by a terminal.

特許文献1には、ユーザのデジタルカメラ等で撮影した撮影画像を、カラオケ装置に記録された既存の動画像の1シーンと置き換える技術が開示されている。また、既存の動画像を撮影画像と置き換えても、該既存の動画像のトランジション効果や遷移効果と同様の効果が得られるように、画像処理を行うことが開示されている。   Patent Document 1 discloses a technique for replacing a captured image captured by a user's digital camera or the like with one scene of an existing moving image recorded in a karaoke apparatus. In addition, it is disclosed that image processing is performed so that even if an existing moving image is replaced with a captured image, a transition effect or a transition effect of the existing moving image can be obtained.

特開2003−209821号公報JP 2003-209821 A

しかしながら特許文献1においては、既存の動画像と置換する撮影画像が静止画像でなく、動画像であった場合に特有の課題については何ら開示されていない。すなわち、既存の動画像と、ユーザが撮影した動画像との、それぞれのショットの時間長の違いについては何ら考慮されていない。   However, Patent Document 1 does not disclose any problems specific to a case where a captured image to be replaced with an existing moving image is not a still image but a moving image. That is, no consideration is given to the difference in the time length of each shot between the existing moving image and the moving image taken by the user.

一方で、再生時間が決まっているカラオケ音楽の音データが付与された既存の動画像を、ショットの時間長が異なる動画像に置換してしまうと、カラオケ音楽の途中で動画像が終了するなどの問題が生じる。   On the other hand, if an existing video with sound data of karaoke music with a fixed playback time is replaced with a video with a different shot length, the video ends in the middle of karaoke music, etc. Problem arises.

すなわち、特許文献1に記載の技術を用いて、既存の動画像と撮影した動画像とを置換する場合であって、係る問題を回避するためには、撮影する動画像のショットの時間長を、既存の動画像のショットの時間長と同じとしなければならない。   That is, in the case where the existing moving image is replaced with the captured moving image using the technique described in Patent Document 1, in order to avoid such a problem, the time length of the shot of the moving image to be captured is set. It must be the same as the time length of the shot of the existing moving image.

そのため、ユーザは、自身が撮影した動画像を既存の動画像と置換するためには、既存の動画像と同じ時間長の撮影画像を撮影しなければならないこととなり、利便性に欠ける。   For this reason, in order to replace a moving image captured by the user with an existing moving image, the user has to shoot a captured image having the same length of time as the existing moving image, which is not convenient.

本発明は、このような問題に鑑み、ユーザが撮影する動画像を既存の動画像に置換するにあたって、動画像の時間長の制約を緩和することで、ユーザによってより利便性の高い画像置換が可能な画像処理装置を提供することを目的とする。   In view of such a problem, the present invention relaxes the restriction on the time length of a moving image when replacing a moving image captured by the user with an existing moving image, so that the user can perform more convenient image replacement. An object is to provide a possible image processing apparatus.

本発明の画像処理装置は、第一の動画像を含む第一の情報データを記録する記録部と、第二の動画像を受信する第一の受信部と、第一の動画像と第二の動画像とのショットの時間長の差を検出する検出部と、検出部によって検出されたショットの時間長の差に基づいて、第二の動画像を補正する補正部と、第一の情報データに含まれる第一の動画像を、補正部によって補正された第二の動画像に置換する置換処理を実行することで、第二の情報データを生成する合成部と、を備える。 An image processing apparatus according to the present invention includes a recording unit that records first information data including a first moving image, a first receiving unit that receives a second moving image, a first moving image, and a second moving image. A detection unit that detects a difference in shot time length from the moving image of the first image, a correction unit that corrects the second moving image based on the difference in time length of the shot detected by the detection unit, and first information And a synthesizing unit that generates second information data by executing a replacement process for replacing the first moving image included in the data with the second moving image corrected by the correcting unit.

本発明の画像処理システムは、本発明の画像処理装置と、通信端末と、を備え、通信端末は、撮影部と、第二の送信部と、を有し、撮影部は、第二の動画像を撮影し、第二の送信部は、第二の動画像を、画像処理装置に送信する。   The image processing system of the present invention includes the image processing apparatus of the present invention and a communication terminal, the communication terminal includes a photographing unit and a second transmission unit, and the photographing unit is a second moving image. The image is taken, and the second transmission unit transmits the second moving image to the image processing apparatus.

本発明の画像処理方法は、第一の動画像を含む第一の情報データを記録する工程と、第二の動画像を受信する工程と、第一の動画像と第二の動画像とのショットの時間長の差を検出する検出工程と、検出工程によって検出されたショットの時間長の差に基づいて、第二の動画像を補正する補正工程と、第一の情報データに含まれる第一の動画像を、補正工程によって補正された第二の動画像に置換する置換処理を実行することで、第二の情報データを生成する合成工程と、を備える。   The image processing method of the present invention includes a step of recording first information data including a first moving image, a step of receiving a second moving image, and the first moving image and the second moving image. A detection step for detecting a difference in time length of shots, a correction step for correcting the second moving image based on the difference in time lengths of shots detected by the detection step, and a first information included in the first information data A synthesizing step of generating second information data by executing a replacement process for replacing the one moving image with the second moving image corrected by the correcting step.

本発明の画像処理プログラムは、本発明の画像処理方法に含まれる工程を、コンピュータに実行させる。   The image processing program of the present invention causes a computer to execute the steps included in the image processing method of the present invention.

本発明における画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムにより、ユーザが撮影する動画像を既存の動画像に置換するにあたって、動画像の時間長の制約を緩和することで、ユーザによってより利便性の高い画像置換が可能となる。   By replacing the moving image captured by the user with the existing moving image by the image processing apparatus, the image processing system, the image processing method, and the image processing program according to the present invention, the restriction on the time length of the moving image is eased. Thus, more convenient image replacement is possible.

本発明の第1の実施形態における画像処理装置の構成の一例を示す。1 shows an example of a configuration of an image processing apparatus according to a first embodiment of the present invention. 本発明の第1の実施形態における画像処理装置の動作の一例を示す。An example of operation | movement of the image processing apparatus in the 1st Embodiment of this invention is shown. 本発明の第1の実施形態における画像処理システムの構成の一例を示す。1 shows an example of a configuration of an image processing system according to a first embodiment of the present invention. 本発明の第2の実施形態における画像処理システムの構成の一例を示す。An example of the structure of the image processing system in the 2nd Embodiment of this invention is shown. 本発明の第2の実施形態における画像処理装置の動作の一例を示す。An example of operation | movement of the image processing apparatus in the 2nd Embodiment of this invention is shown. 本発明の第2の実施形態における画像処理装置で処理する動画像の一例を示す。An example of the moving image processed with the image processing apparatus in the 2nd Embodiment of this invention is shown. 本発明の第3の実施形態における画像処理システムの構成の一例を示す。An example of the structure of the image processing system in the 3rd Embodiment of this invention is shown. 本発明の第4の実施形態における画像処理システムの構成の一例を示す。An example of the structure of the image processing system in the 4th Embodiment of this invention is shown.

本発明の実施の形態について図面を参照しながら説明する。しかしながら、係る形態は本発明の技術的範囲を限定するものではない。   Embodiments of the present invention will be described with reference to the drawings. However, such a form does not limit the technical scope of the present invention.

[第1の実施形態]
本発明の第1の実施形態における画像処理装置の構成について、図1を用いて説明する。
[First Embodiment]
The configuration of the image processing apparatus according to the first embodiment of the present invention will be described with reference to FIG.

本実施形態における画像処理装置10は、記録部11と、受信部12と、検出部13と、補正部14と、合成部15と、を備える。   The image processing apparatus 10 according to the present embodiment includes a recording unit 11, a receiving unit 12, a detecting unit 13, a correcting unit 14, and a combining unit 15.

記録部11は、第一の動画像を含む第一の情報データを記録する。受信部12は、第二の動画像を受信する。検出部13は、第一の動画像と第二の動画像とのショットの時間長の差を検出する。ショットとは、1つのカメラワークで撮影された、連続するフレームの集合を示す。補正部14は、検出部13によって検出された前記ショットの時間長の差に基づいて、第二の動画像を補正する。合成部15は、第一の情報データに含まれる第一の動画像を、補正部14によって補正された第二の動画像に置換する置換処理を実行することで、第二の情報データを生成する。   The recording unit 11 records first information data including the first moving image. The receiving unit 12 receives the second moving image. The detection unit 13 detects a difference in shot time length between the first moving image and the second moving image. A shot refers to a set of continuous frames taken with one camera work. The correcting unit 14 corrects the second moving image based on the difference in time length of the shots detected by the detecting unit 13. The synthesizing unit 15 generates the second information data by executing a replacement process for replacing the first moving image included in the first information data with the second moving image corrected by the correcting unit 14. To do.

次に、本実施形態における画像処理装置10の動作について図2を用いて説明する。   Next, the operation of the image processing apparatus 10 in this embodiment will be described with reference to FIG.

初めに、記録部11は、第一の動画像を含む第一の情報データを記録している(ステップ1)。第一の情報データは、第一の動画像の他に、例えば、第一の動画像に付与された音データや文字情報を含むこととしても良い。   First, the recording unit 11 records first information data including a first moving image (step 1). The first information data may include, for example, sound data and character information given to the first moving image in addition to the first moving image.

次に、受信部12は、第二の動画像を受信する(ステップ2)。第二の動画像は、例えば、画像処理装置10の外部の通信端末から送信される。   Next, the receiving unit 12 receives the second moving image (step 2). The second moving image is transmitted from, for example, a communication terminal outside the image processing apparatus 10.

受信部12が第二の動画像を受信すると、検出部13は、記録部11に記録された第一の動画像と第二の動画像とのショットの時間長の差を検出する(ステップ3)。例えば、第一の動画像のショットの時間長が20秒で、第二の動画像のショットの時間長が15秒であるとするこの場合、検出部13は、それぞれのショットの時間長の差が5秒であることを検出する。   When the receiving unit 12 receives the second moving image, the detecting unit 13 detects a difference in shot time length between the first moving image and the second moving image recorded in the recording unit 11 (step 3). ). For example, in this case, assuming that the time length of the first moving image shot is 20 seconds and the time length of the second moving image shot is 15 seconds, the detection unit 13 determines the difference in time length between the shots. Is detected for 5 seconds.

次に、補正部14は、第一の動画像と第二の動画像とのショットの時間長の差に基づいて、第二の動画像を補正する(ステップ4)。   Next, the correcting unit 14 corrects the second moving image based on the difference in shot time length between the first moving image and the second moving image (step 4).

例えば、第一の動画像のショットの時間長が、第二の動画像のショットの時間長よりも長い場合、第二の動画像に含まれる最後のフレームを静止させるように補正することとしても良い。あるいは、第二の動画像の各フレームの切り替えを遅くして、全体的にスローモーションとなるように補正することとしても良い。一方、第一の動画像のショットの時間長が、第二の動画像のショットの時間長よりも短い場合、第二の動画像の一部を削除することとしても良い。あるいは、第二の動画像の各フレームの切り替えを速くして、全体的に早送りとなるように補正することとしても良い。   For example, when the time length of the first moving image shot is longer than the time length of the second moving image shot, the last frame included in the second moving image may be corrected to be stationary. good. Alternatively, the switching of each frame of the second moving image may be delayed so as to make correction so as to be slow motion as a whole. On the other hand, when the time length of the first moving image shot is shorter than the time length of the second moving image shot, a part of the second moving image may be deleted. Or it is good also as correcting so that switching of each frame of a 2nd moving image may be speeded up and it will be fast-forwarding as a whole.

次に、合成部15は、補正部14によって補正された第二の動画像を、第一の動画像に置換する(ステップ5)。これにより、第一の情報データのうちの第一の動画像が、補正後の第二の動画像に変更した情報データ、すなわち第二の情報データが生成する。   Next, the synthesizing unit 15 replaces the second moving image corrected by the correcting unit 14 with the first moving image (step 5). As a result, information data in which the first moving image in the first information data is changed to the corrected second moving image, that is, second information data is generated.

以上のようにして、画像処理装置10による動画像の置換が完了する。   As described above, the replacement of the moving image by the image processing apparatus 10 is completed.

本実施形態における画像処置装置を利用した、画像処理システムの構成の一例を図3に示す。   An example of the configuration of an image processing system using the image processing apparatus in this embodiment is shown in FIG.

画像処理システム100は、本実施形態の画像処置装置10と、通信端末20を備える。   The image processing system 100 includes the image treatment device 10 of the present embodiment and a communication terminal 20.

通信端末20は、撮影部21と、送信部22を備える。撮影部21は、第二の動画像を撮影する。送信部22は、撮影部21で撮影した第二の動画像を、画像処理装置10に送信する。   The communication terminal 20 includes a photographing unit 21 and a transmission unit 22. The imaging unit 21 captures the second moving image. The transmission unit 22 transmits the second moving image captured by the imaging unit 21 to the image processing apparatus 10.

画像処理装置10は、受信部12が通信端末20から受信した第二の動画像を受信すると、上述したステップ2〜ステップ5の動作を行う。   When the receiving unit 12 receives the second moving image received from the communication terminal 20, the image processing apparatus 10 performs the operations of Step 2 to Step 5 described above.

以上のように、本実施形態においては、第一の動画像と第二の動画像のそれぞれのショットの時間長が異なる場合でも、動画像の置換の前後でショットの時間長が変化しないように、第二の動画像を補正することができる。   As described above, in this embodiment, even when the shot time lengths of the first moving image and the second moving image are different, the shot time length does not change before and after the replacement of the moving image. The second moving image can be corrected.

これにより、例えば、第一の動画像が、再生時間が決まっている音データが付与されている場合に、第二の動画像と置換したとしても、途中で動画像が途切れるなどの不具合を防止できる。   As a result, for example, when the first moving image is provided with sound data with a predetermined playback time, even if the first moving image is replaced with the second moving image, the problem that the moving image is interrupted in the middle is prevented. it can.

また、ユーザは、第二の動画像を撮影する際、ショットの時間長が第一の動画像全く同じになるように撮影することを意識しなくても済む。そのため、ユーザが撮影した動画像を既存の動画像に置換する場合における、ユーザが撮影する動画像のショットの時間長の制約を緩和することができ、ユーザにとってより利便性の高い画像置換が可能となる。   In addition, when shooting the second moving image, the user does not need to be aware that the shot time length is exactly the same as the first moving image. Therefore, when replacing a moving image shot by the user with an existing moving image, the restriction on the time length of the shot of the moving image shot by the user can be relaxed, and more convenient image replacement for the user is possible. It becomes.

なお、本実施形態においては、補正部14と合成部15とを区別して記載したが、これに限らない。すなわち、合成部15が、補正部14の機能も備え、第二の動画像の補正を行うこととしても良い。   In the present embodiment, the correction unit 14 and the synthesis unit 15 are described separately, but the present invention is not limited to this. That is, the synthesis unit 15 may have the function of the correction unit 14 and correct the second moving image.

また、本実施形態における画像処理装置10が更に備える制御部が、バスを介して、画像処理装置10の各構成部位を制御する構成としても良い。同様に通信端末20が更に備える制御部が、バスを介して、通信端末20の各構成部位を制御する構成としても良い。   Further, the control unit further provided in the image processing apparatus 10 according to the present embodiment may be configured to control each component of the image processing apparatus 10 via a bus. Similarly, the control unit further included in the communication terminal 20 may be configured to control each component of the communication terminal 20 via a bus.

このように、制御部が画像処理装置あるいは通信端末の各構成部位の制御を行う構成としても良いことは、後述する全ての実施形態においても同様である。   As described above, the configuration in which the control unit controls each component of the image processing apparatus or the communication terminal is the same in all embodiments described later.

[第2の実施形態]
次に、本発明の第2の実施形態における画像処理システムについて図4を用いて説明する。
[Second Embodiment]
Next, an image processing system according to the second embodiment of the present invention will be described with reference to FIG.

本実施形態における画像処理システム200は、画像処理装置30と、通信端末40と、を備える。   The image processing system 200 in the present embodiment includes an image processing device 30 and a communication terminal 40.

画像処理装置30は、第一の実施形態における画像処理装置10の構成に加えて、分割部16と、判定部17と、表示部18と、送信部19と、を備える。分割部16は、複数のショットから構成される動画像を、ショットごとに分割する。判定部17は、記録部11に記録された動画像と受信部12が受信した動画像とが類似するか否かを判定する。表示部18は、合成部15によって作成された情報データに含まれる動画像を表示する。   In addition to the configuration of the image processing apparatus 10 in the first embodiment, the image processing apparatus 30 includes a dividing unit 16, a determination unit 17, a display unit 18, and a transmission unit 19. The dividing unit 16 divides a moving image composed of a plurality of shots for each shot. The determination unit 17 determines whether the moving image recorded in the recording unit 11 is similar to the moving image received by the receiving unit 12. The display unit 18 displays a moving image included in the information data created by the combining unit 15.

通信端末40は、第一の実施形態の画像処理システム100における通信端末20の構成に加えて、受信部23と、表示部24と、を備える。   The communication terminal 40 includes a receiving unit 23 and a display unit 24 in addition to the configuration of the communication terminal 20 in the image processing system 100 of the first embodiment.

次に、本実施形態における動作について図5を用いて説明する。   Next, the operation in this embodiment will be described with reference to FIG.

初めに、記録部11は、複数のショットから構成される動画像を含む第一の情報データを記録している(ステップ11)。本実施形態においては、第一の情報データに含まれる動画像を、カラオケ用動画像とする。カラオケ用動画像とは、例えば、音楽のフレーズごとに動画像のショットが切り替わる動画像である。また、第一の情報データは、カラオケ用動画像の他に、例えばカラオケ用動画像に付与された音データや、文字情報を含むこととしても良い。カラオケ用動画像に付与された音データとは、例えば、カラオケ用音楽である。また、カラオケ用動画像に付与された文字情報とは、例えば、カラオケ用音楽の歌詞の字幕である。   First, the recording unit 11 records first information data including a moving image composed of a plurality of shots (step 11). In the present embodiment, the moving image included in the first information data is a moving image for karaoke. The karaoke moving image is, for example, a moving image in which moving image shots are switched for each musical phrase. In addition to the karaoke moving image, the first information data may include, for example, sound data added to the karaoke moving image or character information. The sound data assigned to the karaoke moving image is, for example, karaoke music. Moreover, the character information given to the moving image for karaoke is, for example, subtitles of lyrics of karaoke music.

一方、通信端末40は、撮影部21で撮影した撮影動画像を、送信部22によって画像処理装置30に送信する。   On the other hand, the communication terminal 40 transmits the captured moving image captured by the capturing unit 21 to the image processing apparatus 30 by the transmission unit 22.

画像処置装置30の受信部12は、通信端末40から送信された撮影動画像を受信する(ステップ12)。なお、送信部22や受信部12が動画像を送受信する際には、画像データをエンコード及びデコードする技術を用いる。   The receiving unit 12 of the image treatment device 30 receives the captured moving image transmitted from the communication terminal 40 (step 12). In addition, when the transmission unit 22 and the reception unit 12 transmit and receive moving images, a technique for encoding and decoding image data is used.

次に、分割部16は、カラオケ用動画像をショットごとに分割する(ステップ13)。ショットごとに分割する方法としては、例えば、ショット境界を検出し、動画像をショット単位に分割する方法がある。また、ショットの境界には、カットと呼ばれるショット境界と、トランジションと呼ばれるショット境界がある。カットとは、瞬間的に切り替わるショット境界である。トランジションとは、ある時間内に徐々に切り替わるショット境界である。これらのショット境界については、それぞれその検出技術が開発されている。そのような検出技術は、例えば、特開2004−260734号公報に記載されている。   Next, the dividing unit 16 divides the karaoke moving image for each shot (step 13). As a method of dividing for each shot, for example, there is a method of detecting a shot boundary and dividing a moving image into shot units. Further, shot boundaries include a shot boundary called a cut and a shot boundary called a transition. A cut is a shot boundary that switches instantaneously. A transition is a shot boundary that changes gradually within a certain period of time. A detection technique for each of these shot boundaries has been developed. Such a detection technique is described in, for example, Japanese Patent Application Laid-Open No. 2004-260734.

そして、分割部16によりカラオケ用動画像がショットごとに分割されると、判定部17は、各ショットの動画像と、撮影動画像とが類似するか否かを判定する(ステップ14)。   Then, when the karaoke moving image is divided for each shot by the dividing unit 16, the determining unit 17 determines whether or not the moving image of each shot is similar to the captured moving image (step 14).

動画像同士の類似の判定にあたっては、例えば、それぞれの動画像に含まれる人物を抽出して、その人物の数に基づいて判断されることとしても良い。あるいは、それぞれの動画像の背景の色によって判定されることとしても良い。動画像同士の特徴の類似性を判定する技術としては、例えば、特開2004−234613号公報に記載されている技術を用いることとしても良い。   In determining similarity between moving images, for example, a person included in each moving image may be extracted, and the determination may be made based on the number of persons. Alternatively, it may be determined based on the background color of each moving image. For example, a technique described in Japanese Patent Application Laid-Open No. 2004-234613 may be used as a technique for determining the similarity of features between moving images.

ここで、カラオケ用動画像に含まれる各ショットの動画像のうち、判定部17によって、撮影動画像と類似すると判定されたショットの動画像(以下、類似動画像とする)があったとする(ステップ14においてYES)。   Here, it is assumed that, among the moving images of each shot included in the moving image for karaoke, there is a moving image of a shot (hereinafter referred to as a similar moving image) determined by the determination unit 17 to be similar to the captured moving image (hereinafter referred to as a similar moving image). YES in step 14).

この場合、検出部13は、類似動画像と撮影動画像とのショットの時間長の差を検出する(ステップ15)。そして、補正部14は、類似動画像と撮影動画像とのショットの時間長の差に基づいて、撮影動画像を補正する(ステップ16)。すなわち、補正部14は、撮影動画像のショットの時間長が、類似動画像のショットの時間長と同じになるように、撮影動画像を補正する。   In this case, the detection unit 13 detects a difference in shot time length between the similar moving image and the captured moving image (step 15). Then, the correcting unit 14 corrects the captured moving image based on the difference in shot time length between the similar moving image and the captured moving image (step 16). That is, the correction unit 14 corrects the captured moving image so that the time length of the shot of the captured moving image is the same as the time length of the shot of the similar moving image.

例えば、類似動画像のショットの時間長が、撮影動画像のショットの時間長よりも長い場合、撮影動画像に含まれる最後のフレームを静止させるように補正することとしても良い。あるいは、撮影動画像の各フレームの切り替えを遅くして、全体的にスローモーションとなるように補正することとしても良い。   For example, when the time length of the shot of the similar moving image is longer than the time length of the shot of the captured moving image, the last frame included in the captured moving image may be corrected to be stationary. Or it is good also as correcting so that it may become slow motion as a whole by delaying switching of each frame of a photography moving picture.

一方、類似動画像のショットの時間長が、撮影動画像のショットの時間長よりも短い場合、撮影動画像の一部を削除することとしても良い。あるいは、撮影動画像の各フレームの切り替えを速くして、全体的に早送りとなるように補正することとしても良い。   On the other hand, when the time length of the shot of the similar moving image is shorter than the time length of the shot of the captured moving image, a part of the captured moving image may be deleted. Or it is good also as correcting so that switching of each flame | frame of a picked-up moving image may be speeded up and it may be fast-forwarded as a whole.

なお、撮影動画像の一部を削除する場合には、撮影動画像のうち、人物が登場しない部分を削除することとしても良い。あるいは、撮影動画像のうち、画像のピントが合っていない部分を削除することとしても良い。なお、人物が登場しているか否かは、例えば、特開2010−147808号公報に記載された顔検出技術を用いることとしても良い。   In addition, when deleting a part of a picked-up moving image, it is good also as deleting the part in which a person does not appear among a picked-up moving image. Alternatively, a portion of the captured moving image that is not in focus may be deleted. Whether or not a person has appeared may be determined using, for example, a face detection technique described in Japanese Patent Application Laid-Open No. 2010-147808.

次に、合成部15は、補正部14によって補正された撮影動画像を、類似動画像に置換する。これにより、第一の情報データに含まれるカラオケ用動画像の一部である類似動画像が、補正部14による補正後の撮影動画像に置換された情報データ(以下、第二の情報データとする)が生成する(ステップ17)。   Next, the synthesizing unit 15 replaces the captured moving image corrected by the correcting unit 14 with a similar moving image. Thereby, information data (hereinafter referred to as second information data) in which the similar moving image that is a part of the moving image for karaoke included in the first information data is replaced with the captured moving image corrected by the correcting unit 14. Is generated (step 17).

ここで、本実施形態における合成部15は、類似動画像に施された画像処理を、撮影動画像に対しても施すこととする。類似動画像に施された画像処理とは、例えば、画像の色彩調整やトランジション処理である。より具体的には、例えば、類似動画像がモノクロで表示されるよう画像処理が施されている場合、合成部15は、撮影動画像もモノクロで表示されるように画像処理を施す。また、類似動画像のショットとその前後のショットとの切替えが、フェードアウトあるいはフェードインする形式により実行される場合、撮影動画像のショットの切替えについても、同様の形式で実行されるように画像処理を施す。   Here, the synthesis unit 15 in the present embodiment performs the image processing performed on the similar moving image also on the captured moving image. The image processing applied to the similar moving image is, for example, image color adjustment or transition processing. More specifically, for example, when image processing is performed so that similar moving images are displayed in monochrome, the synthesizing unit 15 performs image processing so that captured moving images are also displayed in monochrome. Also, when switching between shots of similar moving images and the previous and subsequent shots are executed in a fade-out or fade-in format, image processing is performed so that shots of shot moving images are also switched in the same format. Apply.

なお、記録部11は、カラオケ用動画像に含まれる各ショットの画像処理に関する情報を記録することとしても良い。そして、合成部15は、記録部11に記録された類似動画像の画像処理に関する情報を参照して、撮影動画像の画像処理を行うこととしても良い。   The recording unit 11 may record information related to image processing of each shot included in the karaoke moving image. Then, the synthesizing unit 15 may perform image processing of the captured moving image with reference to information related to image processing of the similar moving image recorded in the recording unit 11.

あるいは、合成部15が、類似動画像の画像処理を分析した上で、その分析結果に基づき、撮影動画像の画像処理を行うこととしても良い。この場合、記録部11は、カラオケ用動画像の各ショットの動画像の画像処理の情報を記録しておく必要はなくなる。   Alternatively, the synthesis unit 15 may analyze the image processing of the similar moving image and then perform the image processing of the captured moving image based on the analysis result. In this case, the recording unit 11 is not required to record the image processing information of the moving image of each shot of the karaoke moving image.

なお、ステップ14において、カラオケ用動画像に含まれる各ショットの動画像のうち、撮影動画像と類似する動画像が複数あると判定された場合は、最も類似性の高い動画像と、撮影動画像とを置換することとしても良い。あるいは、撮影動画像と一定以上の類似性を有する動画像はそれぞれ、撮影動画像と置換することとしても良い。この場合、カラオケ用動画像に含まれる複数のショットの動画像が、同じ撮影動画像に置換される場合が生じる。   If it is determined in step 14 that there are a plurality of moving images similar to the captured moving image among the moving images of each shot included in the moving image for karaoke, the most similar moving image and the captured moving image It is also possible to replace the image. Alternatively, each moving image having a certain degree of similarity to the captured moving image may be replaced with the captured moving image. In this case, a plurality of shot moving images included in the karaoke moving image may be replaced with the same captured moving image.

なお、ステップ14において、カラオケ用動画像に含まれる各ショットの動画像のうち、撮影動画像と類似する動画像が一つもないと判定された場合には(ステップ14においてNO)、ステップ11の後に戻り、別の撮影動画像を受信するのを待つこととしても良い。   If it is determined in step 14 that there is no moving image similar to the captured moving image among the moving images of each shot included in the karaoke moving image (NO in step 14), It is also possible to return later and wait for receiving another captured moving image.

以上のようにして、合成部15による第二の情報データの作成が完了する。   As described above, the creation of the second information data by the combining unit 15 is completed.

そして、表示部18は、第二の情報データに含まれる動画像を表示する(ステップ18)。なお、第二の情報データに、動画像に付与された音データが含まれる場合には、画像処理装置30が更に備える音出力部により、その音データを再生することとしても良い。   Then, the display unit 18 displays the moving image included in the second information data (step 18). When the second information data includes sound data added to the moving image, the sound data may be reproduced by a sound output unit further included in the image processing device 30.

ここで、図6に、本実施形態における画像処理装置30で処理される動画像の一例を示す。図6に示す例においては、第一の情報データに含まれるカラオケ用動画像を、少なくとも5つのショット1〜5から構成されたカラオケ用動画像とする。そして、ショット分割されたショットのうちのショット2の動画像が、撮影動画像と類似すると判定され、ステップ15〜ステップ17が実行される。これにより、第二の情報データに含まれるカラオケ用動画像が作成される。   Here, FIG. 6 shows an example of a moving image processed by the image processing apparatus 30 in the present embodiment. In the example illustrated in FIG. 6, the karaoke moving image included in the first information data is a karaoke moving image including at least five shots 1 to 5. Then, it is determined that the moving image of shot 2 of the shots divided into shots is similar to the captured moving image, and step 15 to step 17 are executed. Thereby, the moving image for karaoke included in the second information data is created.

以上のように、本実施形態においては、カラオケ用動画像に含まれるショットのうち、撮影動画像と類似する動画像のショットを、撮影動画像に置換する。そのため、例えば、カラオケ用動画像の中で、人物が登場するショットの動画像を、通信端末40のユーザが撮影した動画像に置換することができる。これにより、通信端末40のユーザは、自身が撮影した動画像が挿入されたカラオケ用動画像を楽しむことができる。   As described above, in the present embodiment, among shots included in the karaoke moving image, a shot of a moving image similar to the captured moving image is replaced with the captured moving image. Therefore, for example, in a moving image for karaoke, a moving image of a shot in which a person appears can be replaced with a moving image taken by a user of the communication terminal 40. Thereby, the user of the communication terminal 40 can enjoy the moving image for karaoke in which the moving image which he image | photographed was inserted.

また、合成部15は、撮影動画像に対して、類似動画像に施された画像処理と同様の画像処理を施すこととした。そのため、類似動画像を撮影動画像に置換した後、カラオケ用動画像全体を見た際の違和感を生じにくくさせることができる。例えば、第一の情報データに含まれるカラオケ用動画像の全てのショットの動画像に、モノクロで表示されるための画像処理が施されていたとする。この場合、カラオケ用動画像の一部を、カラーモードで撮影された撮影動画像にそのまま置換すると、置換した部分だけカラー表示されることとなる。そのため、第二の情報データに含まれるカラオケ用動画像全体を通して見た際に違和感が生じる。しかし、本実施形態においては、撮影動画像に対しても、類似動画像と同様の画像処理を施すこととした。そのため、撮影動画像に置換した部分もモノクロで表示されることとなり、違和感は生じにくい。   The synthesizing unit 15 performs image processing similar to the image processing applied to the similar moving image on the captured moving image. For this reason, after replacing the similar moving image with the captured moving image, it is possible to make it difficult to cause a sense of incongruity when the entire moving image for karaoke is viewed. For example, it is assumed that the image processing for displaying in monochrome is performed on the moving images of all the shots of the moving image for karaoke included in the first information data. In this case, if a part of the karaoke moving image is directly replaced with a captured moving image captured in the color mode, only the replaced portion is displayed in color. Therefore, a sense of incongruity occurs when viewed through the entire karaoke moving image included in the second information data. However, in this embodiment, the same image processing as that of the similar moving image is performed on the captured moving image. For this reason, the portion replaced with the captured moving image is also displayed in monochrome, and a sense of incongruity is unlikely to occur.

但し、ユーザが、撮影動画像の色調や画像効果にこだわりを持っており、撮影動画像に対して類似動画像と同様の画像処理がなされることを希望しない場合も考えられる。そのため、このような画像処理を行わないように設定できることとしても良い。   However, there may be a case where the user is particular about the color tone and image effect of the captured moving image and does not wish to perform the same image processing as the similar moving image on the captured moving image. Therefore, it may be set so that such image processing is not performed.

また、ステップ14において、判定部17が動画像同士の類似を判定する際には、ショットの時間長の差も考慮することとしても良い。すなわち、ショット時間長の差が所定の値以上の場合には、類似しないと判定することとしても良い。これにより、ステップ16において、補正部14が撮影動画像のショット時間長を大幅に補正することにより、不自然な動画像となってしまうことを回避できる。   In step 14, when the determination unit 17 determines the similarity between moving images, a difference in shot time length may be taken into consideration. That is, when the difference in shot time length is equal to or greater than a predetermined value, it may be determined that they are not similar. Thereby, it can be avoided in step 16 that the correction unit 14 significantly corrects the shot time length of the captured moving image, thereby causing an unnatural moving image.

なお、本実施形態においては、画像処理装置30の表示部18が、第二の情報データに含まれるカラオケ用動画像を表示することとしたが、これに限らない。例えば、第二の情報データは、画像処理装置30の送信部19から通信端末40に送信されることとしても良い。この場合、通信端末40の受信部23が第二の情報データを受信する。そして、表示部24が、第二の情報データに含まれるカラオケ用動画像を表示することとしても良い。また、第二の情報データを受信するのは、通信端末40ではなく、他の通信端末とすることとしても良い。   In the present embodiment, the display unit 18 of the image processing apparatus 30 displays the karaoke moving image included in the second information data. However, the present invention is not limited to this. For example, the second information data may be transmitted from the transmission unit 19 of the image processing device 30 to the communication terminal 40. In this case, the receiving unit 23 of the communication terminal 40 receives the second information data. And the display part 24 is good also as displaying the moving image for karaoke contained in 2nd information data. The second information data may be received not by the communication terminal 40 but by another communication terminal.

また、本実施形態においては、通信端末40が送信する撮影動画像が1つである場合について述べたが、これに限らない。すなわち、通信端末40は、複数の撮影動画像を送信することとしても良い。この場合、通信端末40から送信された複数の撮影動画像それぞれについて、ステップ12〜ステップ17の動作が実行されることとしても良い。   In the present embodiment, the case where there is one captured moving image transmitted by the communication terminal 40 has been described, but the present invention is not limited to this. That is, the communication terminal 40 may transmit a plurality of captured moving images. In this case, the operations of Step 12 to Step 17 may be executed for each of the plurality of captured moving images transmitted from the communication terminal 40.

また、本実施形態においては、撮影動画像を送信するのは通信端末40のみとしたが、これに限らない。すなわち、複数の通信端末から、それぞれ撮影動画像が送信されることとしても良い。この場合についても、複数の通信端末から送信された撮影動画像のそれぞれについて、ステップ12〜ステップ17の動作が実行されることとしても良い。   In the present embodiment, only the communication terminal 40 transmits the captured moving image, but the present invention is not limited to this. That is, a captured moving image may be transmitted from each of a plurality of communication terminals. Also in this case, the operations of Step 12 to Step 17 may be executed for each of the captured moving images transmitted from the plurality of communication terminals.

また、第一の情報データに含まれるカラオケ用動画像の一部を撮影動画像に置換する際、撮影動画像から人物などをオブジェクト単位で切り出して、オブジェクト単位で置換することとしても良い。   In addition, when replacing a part of the karaoke moving image included in the first information data with the captured moving image, a person or the like may be cut out from the captured moving image in units of objects and replaced in units of objects.

更に、本実施形態で述べたカラオケ用動画像は、複数のカラオケ用動画像からユーザが選択するものとしても良い。例えば、ユーザが特定の楽曲を選択し、その楽曲に対応する情報データに含まれるカラオケ用動画像について、ステップ13〜ステップ18が実行されることとしても良い。これにより、ユーザが希望する楽曲のカラオケ用動画像に、ユーザが撮影した動画像を挿入することができる。   Furthermore, the karaoke moving image described in the present embodiment may be selected by the user from a plurality of karaoke moving images. For example, the user may select a specific piece of music, and step 13 to step 18 may be executed for the karaoke moving image included in the information data corresponding to the piece of music. Thereby, the moving image which the user image | photographed can be inserted in the moving image for karaoke of the music which a user desires.

[第3の実施形態]
次に、本発明の第3の実施形態における画像処理システムについて図7を用いて説明する。
[Third Embodiment]
Next, an image processing system according to the third embodiment of the present invention will be described with reference to FIG.

本実施形態における画像処理システム300は、画像処理装置50と、通信端末40とを備える。画像処理装置50は、第1の実施形態における画像処理装置10の構成に加えて、表示部18、送信部19、撮影補助部51と、を備える。通信端末40は、第2の実施形態の通信端末40と同様の構成である。   The image processing system 300 according to this embodiment includes an image processing device 50 and a communication terminal 40. The image processing device 50 includes a display unit 18, a transmission unit 19, and an imaging assistance unit 51 in addition to the configuration of the image processing device 10 in the first embodiment. The communication terminal 40 has the same configuration as the communication terminal 40 of the second embodiment.

撮影補助部51は、記録部11に記録された第一の情報データに含まれる動画像(以下、第一の動画像とする)に基づいた撮影情報を送出する。   The imaging assistance unit 51 sends imaging information based on a moving image (hereinafter referred to as a first moving image) included in the first information data recorded in the recording unit 11.

次に、本実施形態における画像処理システム300の動作について説明する。なお、第一の実施形態と同様、記録部11は、第一の動画像を含む第一の情報データを記録している。   Next, the operation of the image processing system 300 in this embodiment will be described. As in the first embodiment, the recording unit 11 records the first information data including the first moving image.

初めに、通信端末40の送信部22は、通信端末40のユーザ操作に基づき、画像処理装置50に対して撮影情報を要求する信号(以下、要求信号とする)を送信する。要求信号の送信は、例えば、所定の電子メールを送信することで実行されることとしても良い。   First, the transmission unit 22 of the communication terminal 40 transmits a signal (hereinafter referred to as a request signal) requesting photographing information to the image processing device 50 based on a user operation of the communication terminal 40. The transmission of the request signal may be executed by transmitting a predetermined electronic mail, for example.

次に、受信部12が要求信号を受信すると、撮影補助部51は、第一の動画像に基づいて、撮影情報を送出する。撮影情報とは、通信端末40のユーザが、第一の動画像に類似した動画像を撮影するにあたって参照するものであり、例えば、第一の動画像のショットの時間長や、登場する人物の人数、背景の色などが含まれる。   Next, when the receiving unit 12 receives the request signal, the shooting assisting unit 51 sends shooting information based on the first moving image. The shooting information is referred to by the user of the communication terminal 40 when shooting a moving image similar to the first moving image. For example, the shooting time length of the first moving image or the character of the person appearing is referred to. Number of people, background color, etc. are included.

撮影補助部51から送出された撮影情報は、画像処理装置50の表示部18に表示されることとしても良い。この場合、通信端末40のユーザは、表示部18に表示された撮影情報を確認することができる。   The shooting information sent from the shooting assistance unit 51 may be displayed on the display unit 18 of the image processing apparatus 50. In this case, the user of the communication terminal 40 can check the shooting information displayed on the display unit 18.

あるいは、撮影補助部51から送出された撮影情報は、画像処理装置50の送信部19によって、通信端末40に送信されることとしても良い。そして、通信端末40の表示部24に、撮影情報が表示されることとしても良い。この場合、通信端末40のユーザは、通信端末40に表示された撮影情報を確認することができる。なお、撮影情報は、画像処理装置50あるいは通信端末40が更に備える音出力部により、音声によって通信端末40のユーザに通知されることとしても良い。   Alternatively, the shooting information sent from the shooting assistance unit 51 may be transmitted to the communication terminal 40 by the transmission unit 19 of the image processing device 50. Then, the shooting information may be displayed on the display unit 24 of the communication terminal 40. In this case, the user of the communication terminal 40 can check the shooting information displayed on the communication terminal 40. Note that the shooting information may be notified to the user of the communication terminal 40 by voice by a sound output unit further included in the image processing device 50 or the communication terminal 40.

そして、撮影補助部51から送出された撮影情報を確認したユーザは、その撮影情報に従って、撮影部21によって撮影を実行する。   Then, the user who has confirmed the shooting information sent from the shooting assistance unit 51 performs shooting by the shooting unit 21 in accordance with the shooting information.

例えば、撮影補助部51から、人物2名が登場する動画像を15秒間撮影する旨の撮影情報が送出されたとする。この場合ユーザは、15秒間、人物2名を被写体として動画像を撮影する。また、背景が緑の動画像を撮影する旨の撮影情報が送出された場合には、ユーザは、例えば公園などの緑の多い場所で動画像を撮影する。   For example, it is assumed that shooting information indicating that a moving image in which two persons appear is shot for 15 seconds is sent from the shooting assistance unit 51. In this case, the user shoots a moving image with two persons as subjects for 15 seconds. In addition, when shooting information indicating that a moving image with a green background is to be shot is sent, the user takes a moving image in a place with a lot of green, such as a park.

そして、ユーザが撮影情報に従って撮影した動画像(以下、第二の動画像とする)は、送信部22によって画像処理装置50に送信される。   A moving image (hereinafter, referred to as a second moving image) captured by the user according to the shooting information is transmitted to the image processing device 50 by the transmission unit 22.

画像処理装置50の受信部12が、第二の動画像を受信した後の動作については、第1の実施形態におけるステップ3〜5と同様であるため、説明は省略する。   Since the operation after the receiving unit 12 of the image processing apparatus 50 receives the second moving image is the same as Steps 3 to 5 in the first embodiment, the description thereof is omitted.

以上のように、本実施形態においては、撮影補助部51が、第一の動画像に基づいた撮影情報を送出することとした。これにより、ユーザは、第一の動画像のショットの時間長等を予め確認することなく、第一の動画像に類似した動画像を撮影することが可能となる。   As described above, in the present embodiment, the shooting assistance unit 51 sends shooting information based on the first moving image. Accordingly, the user can capture a moving image similar to the first moving image without confirming in advance the time length of the shot of the first moving image.

一般に、カラオケ用音楽に付与された既存の第一の動画像は、そのカラオケ用音楽に適した動画像であることが多い。そのため、ユーザは、第一の動画像に基づいた撮影情報を確認しながら撮影を実行することで、カラオケ用音楽に適した動画像を撮影することができる。そして、ユーザが撮影した動画像を第一の動画像と置換することで、ユーザは、自身が撮影した動画像をそのカラオケ用音楽と共に、より楽しむことができる。   Generally, the existing first moving image assigned to karaoke music is often a moving image suitable for the karaoke music. Therefore, the user can shoot a moving image suitable for karaoke music by performing shooting while confirming shooting information based on the first moving image. Then, by replacing the moving image taken by the user with the first moving image, the user can enjoy the moving image taken by the user together with the music for karaoke.

また、本実施形態における第一の動画像は、第一の情報データに含まれる複数のショットから構成される動画像の一部のショットであることとしても良い。また、第一の動画像は、複数の動画像からユーザ操作によって選択されるものとしても良い。これにより、ユーザが希望する動画像に関する撮影情報を取得することができる。そして、取得した撮影情報に基づいて撮影した動画像を、ユーザが希望する動画像に置換させることができる。   In addition, the first moving image in the present embodiment may be a partial shot of a moving image composed of a plurality of shots included in the first information data. The first moving image may be selected by a user operation from a plurality of moving images. Thereby, it is possible to acquire shooting information related to a moving image desired by the user. Then, it is possible to replace the moving image shot based on the acquired shooting information with the moving image desired by the user.

[第4の実施形態]
次に、本発明の第4の実施形態における画像処理システムについて、図8を用いて説明する。
[Fourth Embodiment]
Next, an image processing system according to the fourth embodiment of the present invention will be described with reference to FIG.

本実施形態における画像処理システム400の構成は、画像処理装置60と通信端末40とからなる。画像処理装置60は、第1の実施形態における画像処理装置10の構成に加えて、表示部18と、保存判定部61と、通知部62と、を備える。保存判定部61は、合成部15により作成された第二の情報データを、第一の情報データに上書き保存するか否かを判定する。通知部62は、通信端末40に対して所定の通知を行う。   The configuration of the image processing system 400 in this embodiment includes an image processing device 60 and a communication terminal 40. The image processing device 60 includes a display unit 18, a storage determination unit 61, and a notification unit 62 in addition to the configuration of the image processing device 10 in the first embodiment. The storage determination unit 61 determines whether or not the second information data created by the combining unit 15 is to be overwritten and stored on the first information data. The notification unit 62 makes a predetermined notification to the communication terminal 40.

本実施形態における通信端末40は、第2の実施形態における通信端末40と同様の構成である。   The communication terminal 40 in this embodiment has the same configuration as the communication terminal 40 in the second embodiment.

次に、本実施形態における画像処理システム400の動作について説明する。本実施形態における画像処理システム400の動作と第1の実施形態における画像処理システム100との相違点は、ステップ5が完了した後の動作である。そのため、ステップ1〜5の動作については、説明を省略する。   Next, the operation of the image processing system 400 in this embodiment will be described. The difference between the operation of the image processing system 400 in the present embodiment and the image processing system 100 in the first embodiment is the operation after step 5 is completed. Therefore, the description of the operations in steps 1 to 5 is omitted.

ステップ5において、合成部15による第二の情報データの作成が完了すると、保存判定部61は、第二の情報データを、記録部11に記録されている第一の情報データに上書きして保存するか否かを判定する。ここで、保存判定部61による判定は、例えば、画像処理装置60に対して入力される保存指示に基づいて行われる。保存指示は、例えば、第一の情報データと第二の情報データとのそれぞれに含まれる動画像等を鑑賞した第三者が、第二の情報データの方が優れていると判断した場合に入力することとしても良い。   In step 5, when the creation of the second information data by the synthesis unit 15 is completed, the storage determination unit 61 stores the second information data by overwriting the first information data recorded in the recording unit 11. It is determined whether or not to do. Here, the determination by the storage determination unit 61 is performed based on a storage instruction input to the image processing device 60, for example. The save instruction is, for example, when a third party who has viewed a moving image or the like included in each of the first information data and the second information data determines that the second information data is superior. It is good also as inputting.

そして、保存判定部61によって第二の情報データを第一の情報データに上書き保存する旨の判定がなされた場合、記録部11は、第二の情報データを第一の情報データに上書きして保存する。   When the storage determination unit 61 determines that the second information data is to be overwritten on the first information data, the recording unit 11 overwrites the second information data on the first information data. save.

また、第二の情報データが第一の情報データに上書き保存された場合、画像処理装置60の通知部62は、ステップ2において受信された第二の動画像の送信元である通信端末40に対して、所定の通知をする。   When the second information data is overwritten and stored on the first information data, the notification unit 62 of the image processing device 60 sends the communication terminal 40 that is the transmission source of the second moving image received in Step 2. A predetermined notification is given.

そして、通信端末40の受信部23は、該所定の通知を受信する。これにより、通信端末40のユーザは、自身が撮影した動画像が挿入されている第二の情報データが、第一の情報データに上書き保存されたことを知ることができる。   Then, the receiving unit 23 of the communication terminal 40 receives the predetermined notification. Thereby, the user of the communication terminal 40 can know that the second information data in which the moving image photographed by himself / herself is inserted is overwritten on the first information data.

この時、通信端末40に送信される所定の通知には、通信端末40のユーザに対するポイントの賞与の情報を含めることとしても良い。そして、このポイントは、例えば、画像処理装置60がカラオケボックスに設置されている場合などにおいては、そのカラオケボックスを利用する際の料金の割引券として使用できることとしても良い。   At this time, the predetermined notification transmitted to the communication terminal 40 may include bonus information for the user of the communication terminal 40. For example, when the image processing apparatus 60 is installed in a karaoke box, this point may be used as a discount ticket for using the karaoke box.

以上のように、本実施形態においては、第二の情報データを第一の情報データに上書き保存した場合、通信端末40にその旨が通知されることとした。そのため、通信端末40のユーザは、自身が撮影した動画像が画像処理装置60に保存される情報データに挿入されたことを知ることができ、自身が撮影した動画像を、画像処理装置に投稿する楽しみが増す。   As described above, in the present embodiment, when the second information data is overwritten and saved on the first information data, the communication terminal 40 is notified accordingly. Therefore, the user of the communication terminal 40 can know that the moving image captured by himself / herself has been inserted into the information data stored in the image processing device 60, and post the moving image captured by himself / herself to the image processing device. To enjoy.

なお、第1の実施形態乃至第4の実施形態は、各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を通信端末に供給し、その通信端末のコンピュータが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。   In the first to fourth embodiments, a recording medium in which a program code of software that realizes the functions of each embodiment is recorded is supplied to a communication terminal, and the computer of the communication terminal is stored in the recording medium. Needless to say, this can also be achieved by reading and executing the program code.

なお、プログラムを供給する記録媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、DVD−R(Digital Versatile Disk Recordable)、光ディスク、磁気ディスク、不揮発性メモリカードなど、上記プログラムを記憶できるものであれば良い。   As the recording medium for supplying the program, for example, the above-mentioned program can be stored such as a CD-ROM (Compact Disc Read Only Memory), a DVD-R (Digital Versatile Disk Recordable), an optical disc, a magnetic disc, and a nonvolatile memory card. Anything is fine.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。   A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.

(付記1)第一の動画像を含む第一の情報データを記録する記録部と、第二の動画像を受信する第一の受信部と、前記第一の動画像と前記第二の動画像とのショットの時間長の差を検出する検出部と、前記検出部によって検出された前記ショットの時間長の差に基づいて、前記第二の動画像を補正する補正部と、前記第一の情報データに含まれる前記第一の動画像を、前記補正部によって補正された前記第二の動画像に置換する置換処理を実行することで、第二の情報データを生成する合成部と、を備えることを特徴とする、画像処理装置。   (Supplementary note 1) A recording unit that records first information data including a first moving image, a first receiving unit that receives a second moving image, the first moving image, and the second moving image A detection unit that detects a difference in time length of a shot from an image, a correction unit that corrects the second moving image based on the difference in time length of the shot detected by the detection unit, and the first A synthesizing unit that generates second information data by executing a replacement process for replacing the first moving image included in the information data with the second moving image corrected by the correcting unit; An image processing apparatus comprising:

(付記2)前記第一の動画像と前記第二の動画像とが類似するか否かを判定する判定部と、前記判定部により、前記第一の動画像と前記第二の動画像とが類似すると判定された場合、前記合成部は、前記置換処理を実行することを特徴とする、付記1に記載の画像処理装置。   (Supplementary Note 2) A determination unit that determines whether the first moving image and the second moving image are similar to each other, and the determination unit determines whether the first moving image and the second moving image are The image processing apparatus according to appendix 1, wherein the combining unit executes the replacement process when it is determined that the two are similar to each other.

(付記3)前記判定部は、前記第一の動画像と前記第二の動画像とのショットの時間長の差が所定の値以上である場合、前記第一の動画像と前記第二の動画像とは類似しないと判定することを特徴とする、付記2に記載の画像処理装置。   (Additional remark 3) When the difference of the time length of the shot of said 1st moving image and said 2nd moving image is more than predetermined value, said determination part is said 1st moving image and said 2nd moving image. The image processing apparatus according to attachment 2, wherein it is determined that the moving image is not similar to the moving image.

(付記4)前記第一の情報データは、複数のショットから構成される第三の動画像を含み、前記第一の動画像は、前記第三の動画像の一部のショットであることを特徴とする、付記1乃至3のいずれか一つに記載の画像処理装置。   (Supplementary Note 4) The first information data includes a third moving image composed of a plurality of shots, and the first moving image is a partial shot of the third moving image. The image processing apparatus according to any one of Supplementary notes 1 to 3, which is a feature.

(付記5)前記第二の情報データに含まれる、前記第二の動画像を表示する第一の表示部を更に備えることを特徴とする、付記1乃至4のいずれか一つに記載の画像処理装置。   (Additional remark 5) The image as described in any one of additional remark 1 thru | or 4 further provided with the 1st display part which displays said 2nd moving image contained in said 2nd information data. Processing equipment.

(付記6)前記合成部は、前記第一の動画像に施された画像処理に基づいて、前記第二の動画像に対して画像処理を施すことを特徴とする、付記1乃至5のいずれか一つに記載の画像処理装置。   (Additional remark 6) The said synthetic | combination part performs image processing with respect to said 2nd moving image based on the image processing performed to said 1st moving image, Any of Additional remark 1 thru | or 5 characterized by the above-mentioned. The image processing apparatus according to claim 1.

(付記7)前記第一の動画像に関する所定の撮影情報を出力する撮影補助部を更に備えることを特徴とする、付記1乃至6のいずれか一つに記載の画像処理装置。   (Supplementary note 7) The image processing apparatus according to any one of supplementary notes 1 to 6, further comprising a photographing auxiliary unit that outputs predetermined photographing information relating to the first moving image.

(付記8)前記第二の情報データを、前記記録部に記録された前記第一の情報データに上書き保存するか否かを判定する保存判定部と、前記保存判定部が、前記第二の情報データが前記第一の情報データに上書き保存すると判定した場合、前記第二の動画像の送信元に、所定の通知を送信する通知部と、を更に備えることを特徴とする、付記1乃至7のいずれか一つに記載の画像処理装置。   (Supplementary Note 8) A storage determination unit that determines whether to overwrite the second information data to the first information data recorded in the recording unit, and the storage determination unit includes the second information data Supplementary notes 1 to 3, further comprising: a notification unit that transmits a predetermined notification to the transmission source of the second moving image when it is determined that the information data is to be overwritten and stored on the first information data. 8. The image processing apparatus according to any one of 7.

(付記9)付記1乃至8のいずれか一つに記載の画像処理装置と、通信端末と、を備え、前記通信端末は、撮影部と、第二の送信部と、を有し、前記撮影部は、前記第二の動画像を撮影し、前記第二の送信部は、前記第二の動画像を、前記画像処理装置に送信することを特徴とする、画像処理システム。   (Supplementary note 9) The image processing apparatus according to any one of supplementary notes 1 to 8, and a communication terminal, wherein the communication terminal includes a photographing unit and a second transmission unit, and the photographing An image processing system, wherein the unit captures the second moving image, and the second transmitting unit transmits the second moving image to the image processing apparatus.

(付記10)前記画像処理装置は、前記第二の情報データを送信する第一の送信部を更に有し、前記通信端末は、前記第二の情報データを受信する第二の受信部と、前記第二の受信部が受信した前記第二の情報データに含まれる前記第二の動画像を表示する第二の表示部と、を更に有することを特徴とする、付記9に記載の画像処理システム。   (Supplementary Note 10) The image processing apparatus further includes a first transmission unit that transmits the second information data, and the communication terminal includes a second reception unit that receives the second information data; The image processing according to appendix 9, further comprising: a second display unit that displays the second moving image included in the second information data received by the second receiving unit. system.

(付記11)前記画像処理装置は、付記7に記載の画像処理装置であり、前記通信端末は、前記撮影補助部から出力された前記撮影情報を受信する第二の受信部と、前記第二の受信部が受信した前記撮影情報を表示する第二の表示部と、を更に有することを特徴とする、付記9に記載の画像処理システム。   (Additional remark 11) The said image processing apparatus is an image processing apparatus as described in Additional remark 7, The said communication terminal is a said 2nd receiving part which receives the said imaging | photography information output from the said imaging | photography auxiliary | assistant part, and said 2nd The image processing system according to appendix 9, further comprising: a second display unit that displays the photographing information received by the receiving unit.

(付記12)第一の動画像を含む第一の情報データを記録する工程と、第二の動画像を受信する工程と、前記第一の動画像と前記第二の動画像とのショットの時間長の差を検出する検出工程と、前記検出工程によって検出された前記ショットの時間長の差に基づいて、前記第二の動画像を補正する補正工程と、前記第一の情報データに含まれる前記第一の動画像を、前記補正工程によって補正された前記第二の動画像に置換する置換処理を実行することで、第二の情報データを生成する合成工程と、を備えることを特徴とする、画像処理方法。   (Supplementary Note 12) Recording the first information data including the first moving image, receiving the second moving image, and shots of the first moving image and the second moving image Included in the first information data, a detection step for detecting a difference in time length, a correction step for correcting the second moving image based on the difference in time length of the shot detected by the detection step, and And a synthesizing step for generating second information data by executing a replacement process for replacing the first moving image with the second moving image corrected by the correcting step. An image processing method.

(付記13)前記第一の動画像と前記第二の動画像とが類似するか否かを判定する判定工程と、前記判定工程により、前記第一の動画像と前記第二の動画像とが類似すると判定された場合、前記合成工程は、前記置換処理を実行することを特徴とする、付記12に記載の画像処理方法。   (Supplementary Note 13) A determination step of determining whether or not the first moving image and the second moving image are similar to each other, and the determination step determines whether the first moving image and the second moving image are 13. The image processing method according to appendix 12, wherein when it is determined that the two are similar, the synthesis step executes the replacement process.

(付記14)前記判定工程において、前記第一の動画像と前記第二の動画像とのショットの時間長の差が所定の値以上である場合、前記第一の動画像と前記第二の動画像とは類似しないと判定されることを特徴とする、付記13に記載の画像処理方法。   (Supplementary note 14) In the determination step, when the difference in shot time length between the first moving image and the second moving image is a predetermined value or more, the first moving image and the second moving image 14. The image processing method according to appendix 13, wherein the image processing method is determined not to be similar to a moving image.

(付記15)前記第一の情報データは、複数のショットから構成される第三の動画像を含み、前記第一の動画像は、前記第三の動画像の一部のショットであることを特徴とする、付記12乃至14のいずれか一つに記載の画像処理方法。   (Supplementary Note 15) The first information data includes a third moving image composed of a plurality of shots, and the first moving image is a partial shot of the third moving image. 15. The image processing method according to any one of appendices 12 to 14, which is a feature.

(付記16)前記第二の情報データに含まれる、前記第二の動画像を表示する工程を更に備えることを特徴とする、付記12乃至15のいずれか一つに記載の画像処理方法。   (Supplementary note 16) The image processing method according to any one of supplementary notes 12 to 15, further comprising a step of displaying the second moving image included in the second information data.

(付記17)前記第二の情報データを送信する工程を更に備えることを特徴とする、付記12乃至16のいずれか一つに記載の画像処理方法。   (Supplementary note 17) The image processing method according to any one of supplementary notes 12 to 16, further comprising a step of transmitting the second information data.

(付記18)前記合成工程において、前記第一の動画像に施された画像処理に基づいて、前記第二の動画像に対して画像処理を施すことを特徴とする、付記12乃至17のいずれか一つに記載の画像処理方法。   (Additional remark 18) Any one of Additional remarks 12 thru | or 17 characterized by performing image processing with respect to said 2nd moving image based on the image processing performed to said 1st moving image in said synthetic | combination process. An image processing method according to claim 1.

(付記19)前記第一の動画像に関する所定の撮影情報を出力する工程を更に備えることを特徴とする、付記12乃至18のいずれか一つに記載の画像処理方法。   (Supplementary note 19) The image processing method according to any one of supplementary notes 12 to 18, further comprising a step of outputting predetermined shooting information related to the first moving image.

(付記20)前記第二の情報データを、前記記録部に記録された前記第一の情報データに上書き保存するか否かを判定する保存判定工程と、前記保存判定工程により、前記第二の情報データが前記第一の情報データに上書き保存すると判定された場合、前記第二の動画像の送信元に、所定の通知を送信する工程と、を更に備えることを特徴とする、付記12乃至19のいずれか一つに記載の画像処理方法。   (Supplementary note 20) The storage determination step for determining whether or not the second information data is to be overwritten on the first information data recorded in the recording unit, and the storage determination step, And further comprising a step of transmitting a predetermined notification to the transmission source of the second moving image when it is determined that the information data is overwritten and stored on the first information data. The image processing method according to any one of 19.

(付記21)付記12乃至20のいずれか一つに記載の画像処理方法に含まれる工程を、コンピュータに実行させることを特徴とする、画像処理プログラム。   (Supplementary note 21) An image processing program causing a computer to execute the steps included in the image processing method according to any one of supplementary notes 12 to 20.

(付記22)付記21に記載の画像処理プログラムを記録することを特徴とする、記録媒体。   (Additional remark 22) The recording medium which records the image processing program as described in additional remark 21.

10、30、50、60 画像処理装置
11 記録部
12、23 受信部
13 検出部
14 補正部
15 合成部
16 分割部
17 判定部
18、24 表示部
19、22 送信部
20、40 通信端末
21 撮影部
51 撮影補助部
61 保存判定部
62 通知部
10, 30, 50, 60 Image processing device 11 Recording unit 12, 23 Receiving unit 13 Detection unit 14 Correction unit 15 Combining unit 16 Dividing unit 17 Judgment unit 18, 24 Display unit 19, 22 Transmitting unit 20, 40 Communication terminal 21 Shooting Unit 51 Shooting auxiliary unit 61 Save determination unit 62 Notification unit

Claims (10)

第一の動画像を含む第一の情報データを記録する記録部と、
第二の動画像を受信する第一の受信部と、
前記第一の動画像と前記第二の動画像とのショットの時間長の差を検出する検出部と、
前記検出部によって検出された前記ショットの時間長の差に基づいて、前記第二の動画像を補正する補正部と、
前記第一の情報データに含まれる前記第一の動画像を、前記補正部によって補正された前記第二の動画像に置換する置換処理を実行することで、第二の情報データを生成する合成部と、を備えることを特徴とする、画像処理装置。
A recording unit for recording first information data including the first moving image;
A first receiver for receiving the second moving image;
A detection unit that detects a difference in shot time length between the first moving image and the second moving image;
A correction unit that corrects the second moving image based on a difference in time length of the shot detected by the detection unit;
Synthesis that generates second information data by executing a replacement process that replaces the first moving image included in the first information data with the second moving image corrected by the correction unit. An image processing apparatus.
前記第一の動画像と前記第二の動画像とが類似するか否かを判定する判定部と、
前記判定部により、前記第一の動画像と前記第二の動画像とが類似すると判定された場合、前記合成部は、前記置換処理を実行することを特徴とする、請求項1に記載の画像処理装置。
A determination unit for determining whether or not the first moving image and the second moving image are similar;
The said synthetic | combination part performs the said replacement process, when the said determination part determines with said 1st moving image and said 2nd moving image being similar, The said replacement | exchange process is characterized by the above-mentioned. Image processing device.
前記判定部は、前記第一の動画像と前記第二の動画像とのショットの時間長の差が所定の値以上である場合、前記第一の動画像と前記第二の動画像とは類似しないと判定することを特徴とする、請求項2に記載の画像処理装置。   When the difference in shot time length between the first moving image and the second moving image is equal to or greater than a predetermined value, the determination unit determines that the first moving image and the second moving image are The image processing apparatus according to claim 2, wherein the image processing apparatuses are determined not to be similar to each other. 前記第一の情報データは、複数のショットから構成される第三の動画像を含み、
前記第一の動画像は、前記第三の動画像の一部のショットであることを特徴とする、請求項1乃至3のいずれか一項に記載の画像処理装置。
The first information data includes a third moving image composed of a plurality of shots,
The image processing apparatus according to claim 1, wherein the first moving image is a shot of a part of the third moving image.
前記合成部は、前記第一の動画像に施された画像処理に基づいて、前記第二の動画像に対して画像処理を施すことを特徴とする、請求項1乃至4のいずれか一項に記載の画像処理装置。   The said synthetic | combination part performs image processing with respect to said 2nd moving image based on the image processing performed to said 1st moving image, The any one of Claim 1 thru | or 4 characterized by the above-mentioned. An image processing apparatus according to 1. 前記第一の動画像に関する所定の撮影情報を出力する撮影補助部を更に備えることを特徴とする、請求項1乃至5のいずれか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a shooting assistance unit that outputs predetermined shooting information relating to the first moving image. 前記第二の情報データを、前記記録部に記録された前記第一の情報データに上書き保存するか否かを判定する保存判定部と、
前記保存判定部が、前記第二の情報データが前記第一の情報データに上書き保存すると判定した場合、前記第二の動画像の送信元に、所定の通知を送信する通知部と、を更に備えることを特徴とする、請求項1乃至6のいずれか一項に記載の画像処理装置。
A storage determination unit that determines whether or not to overwrite the second information data over the first information data recorded in the recording unit;
A notification unit that transmits a predetermined notification to the transmission source of the second moving image when the storage determination unit determines that the second information data is to be overwritten and stored on the first information data; The image processing apparatus according to claim 1, further comprising: an image processing apparatus according to claim 1.
請求項1乃至7のいずれか一項に記載の画像処理装置と、
通信端末と、を備え、
前記通信端末は、撮影部と、第二の送信部と、を有し、
前記撮影部は、前記第二の動画像を撮影し、
前記第二の送信部は、前記第二の動画像を、前記画像処理装置に送信することを特徴とする、画像処理システム。
An image processing apparatus according to any one of claims 1 to 7,
A communication terminal,
The communication terminal includes a photographing unit and a second transmission unit,
The photographing unit photographs the second moving image,
The image processing system, wherein the second transmission unit transmits the second moving image to the image processing apparatus.
第一の動画像を含む第一の情報データを記録する工程と、
第二の動画像を受信する工程と、
前記第一の動画像と前記第二の動画像とのショットの時間長の差を検出する検出工程と、
前記検出工程によって検出された前記ショットの時間長の差に基づいて、前記第二の動画像を補正する補正工程と、
前記第一の情報データに含まれる前記第一の動画像を、前記補正工程によって補正された前記第二の動画像に置換する置換処理を実行することで、第二の情報データを生成する合成工程と、を備えることを特徴とする、画像処理方法。
Recording the first information data including the first moving image;
Receiving a second moving image;
A detection step of detecting a difference in shot time length between the first moving image and the second moving image;
A correction step of correcting the second moving image based on a difference in time length of the shots detected by the detection step;
Synthesis that generates second information data by executing a replacement process that replaces the first moving image included in the first information data with the second moving image corrected by the correction step. And an image processing method.
請求項9に記載の画像処理方法に含まれる工程を、コンピュータに実行させることを特徴とする、画像処理プログラム。   An image processing program for causing a computer to execute the steps included in the image processing method according to claim 9.
JP2010213202A 2010-09-24 2010-09-24 Image processing device, image processing system, and image processing method Withdrawn JP2012070212A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010213202A JP2012070212A (en) 2010-09-24 2010-09-24 Image processing device, image processing system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010213202A JP2012070212A (en) 2010-09-24 2010-09-24 Image processing device, image processing system, and image processing method

Publications (1)

Publication Number Publication Date
JP2012070212A true JP2012070212A (en) 2012-04-05

Family

ID=46166943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010213202A Withdrawn JP2012070212A (en) 2010-09-24 2010-09-24 Image processing device, image processing system, and image processing method

Country Status (1)

Country Link
JP (1) JP2012070212A (en)

Similar Documents

Publication Publication Date Title
CN101263706A (en) Imaging device and recording method
JP2012060218A5 (en)
KR20070116093A (en) Moving image playback device with camera-shake correction function
JP2012100216A (en) Camera and moving image capturing program
JP2010045765A (en) Reproducing apparatus
JP2012015830A (en) Camera
JP2010136191A (en) Imaging apparatus, recording device, and recording method
US20090109323A1 (en) Image pick-up apparatus, image playback apparatus, method of controlling a recording operation, method of controlling a displaying operation, and recording medium
US8139124B2 (en) Erroneous erasure determination apparatus, method and computer program product, and image file generation apparatus
KR101737086B1 (en) Digital photographing apparatus and control method thereof
JP2002057930A (en) Digital still camera and its operation control method
JP5600405B2 (en) Image processing apparatus, image processing method, and program
JP2010081528A (en) Image processing apparatus, method and program
JP2012120036A (en) Imaging apparatus
JP4009173B2 (en) Digital camera
JP6355333B2 (en) Imaging apparatus, image processing apparatus, image processing method, and program
JP2007082076A (en) Camera apparatus, image recording method, and image display method
JP2003304492A (en) Image processing device
JP2011193117A (en) Image processing apparatus, and program
JP4218909B2 (en) Imaging device
JP2004312218A (en) Digital camera and image reproducing apparatus
JP2007166539A (en) Imaging apparatus, imaging method, program and storage medium
JP2012070212A (en) Image processing device, image processing system, and image processing method
JP2004104534A (en) Image pickup device
JP5332668B2 (en) Imaging apparatus and subject detection program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131203